python爬取某网站妹子图集

Sunxuebing

1. import requests
   
2. from lxml import etree
   
3. import time
   
4. import os
   
5. import re
   
6. 
   
7. def huoquyuanma(url = 'https://www.tujigu.com/'):
   
8.     headers = {
   
9.         'Accept': '*/*',
   
10.         'Accept-Language': 'en-US,en;q=0.8',
    
11.         'Cache-Control': 'max-age=0',
    
12.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36',
    
13.         'Connection': 'keep-alive',
    
14.         'Referer': 'http://www.baidu.com/'
    
15.             }
    
16.     try:
    
17.         new = requests.get(url , headers=headers , timeout = 16)  #获取源码
    
18.         time.sleep(2)                                       #等待
    
19.         new.encoding = new.apparent_encoding   #防乱码
    
20.         t = new.text
    
21.         t = etree.HTML(t)   #转换成xml格式
    
22.         return t
    
23.     except:
    
24.         print(f'获取{url}页面失败，已经放弃！')
    
25.         pass
    
26. 
    
27. def huoquzuidaye (count):
    
28.     t = huoquyuanma()
    
29.     shuliang = t.xpath('//div[5]/ul/li[1]/a/@href')   #取得最新图集链接
    
30.     zuidashu = shuliang[0].split('/')    #分割链接，取得最大的图集数量
    
31.     if int(count) +6 > int(zuidashu[-2]):
    
32.         # 最大图集数量获取的是首页最新图集的编号！
    
33.         print(f'输入的数值超过现有图集数量，已经把数量更改为现有图集数量{zuidashu[-2]}')
    
34.         print('准备开始>>>>>>>')
    
35.         return zuidashu[-2]
    
36.     else:
    
37.         print('准备开始>>>>>>>')
    
38.         return count + 6
    
39. 
    
40. def huoqutujimingcheng(url):
    
41.     url1 = url
    
42.     t = huoquyuanma(url1)  # 获取页面源码
    
43.     tujimingc = t.xpath('//div[@class="tuji"]/div[@class="weizhi"]/h1/text()')   #获取图集标题
    
44.     tup = t.xpath('//div[@class="tuji"]/p[3]/text()')    #获取图集内图片数量
    
45.     pppp = tup[0].split('P')        #分割文本去掉数字后的”p“
    
46.     mp = pppp[0].split(' ')        #分割文本 获得图集内图片数量的数字
    
47.     link = t.xpath('//*[@id="pages"]/a/@href')
    
48.     zishuliang = t.xpath('//*[@id="pages"]/text()/following-sibling::a/text()')         #子页面总数量
    
49.     # print(link)
    
50.     return mp[1] , tujimingc ,link,zishuliang[-2]   #把图集内图片数量和图集名称返回
    
51. 
    
52. zongji = 0  
    
53. print('采集的图集数量最小为1')
    
54. count = input('请输入需要采集的图集数量:')
    
55. 
    
56. zuidaye = int(huoquzuidaye(count))           #调用函数取得最大图集编号
    
57. for i in range(6,zuidaye):                 #在6-最大图集编号中间循环
    
58.     tuji = 'https://www.tujigu.com/a/' + str(i) + '/'          #构造url
    
59.     # print(tuji)
    
60.     aaa = huoqutujimingcheng(tuji)                              #调用函数取得图集名称和图集内图片数量及全部的图集子页面url
    
61.     mingcheng = 1                        #实在不知道咋命名了……随便弄了个变量命名!
    
62.     name = re.sub('\s' , '' , aaa[1][0])           #清理一下获取到的图集名，免得命名文件夹的时候出现奇怪的问题
    
63.     path = 'D:/tujigu/'+str(name)                                   #构造存储路径
    
64.     if not os.path.exists(path):               
    
65.         os.makedirs(path)                       #如果路径不存在就创建
    
66.     ss = int(aaa[3])
    
67.     for j in range(1,ss+1):
    
68.         if j == 1:
    
69.             ht =  'https://www.tujigu.com/a/' + str(i) + '/'           #第一页后面加后缀不能访问
    
70.         else:
    
71.             ht =  'https://www.tujigu.com/a/' + str(i) + '/' + str(j) + '.html'      #构造第二页以后的页面
    
72.         piclist = huoquyuanma(ht).xpath('//div[@class="content"]/img/@src')            #获取当前页面下所有的图片列表
    
73.         for m in piclist:
    
74.             # print(f'正在采集{aaa[1][0]}的第{mingcheng}张，一共{aaa[0]}张')
    
75.             tupian = requests.get(m)                  
    
76.             with open(path + '/' + str(mingcheng) + '.jpg' , 'wb') as f:                 #写入图片
    
77.                 f.write(tupian.content)
    
78.             zongji += 1
    
79.             print(f'{aaa[1][0]}的第{mingcheng}张采集完毕！一共{aaa[0]}张，还剩{int(aaa[0]) - mingcheng}张！当前图集编号：{i}')
    
80.             mingcheng += 1                                    
    
81.             
    
82. print(f'采集完毕！本次采集一共采集到了{zongji}张图片！')

复制代码

笑东风丶

感谢大佬分享，大牛因有你而更精彩。

1575719575

谢谢大佬

fxqssg

谢谢大牛

w

6666

沉默不失优雅

谢谢楼主分享，先收藏了。

莫感孤独

多谢分享多谢分享

1769178286

不错不错，，，

可乐123

6666666666

2401719240

多谢楼主分享