【python】妹子图网站图片爬虫

-°李先森~

妹子图网站图片爬虫

不多说，直接上代码：

1. import os
   
2. import requests
   
3. from lxml import etree
   
4. import urllib
   
5. 
   
6. 
   
7. class MZiTu:
   
8. 
   
9.     # 初始化对象属性
   
10.     def __init__(self):
    
11.         a = eval(input("直接下载请按1、搜索下载请按2、性感类请按3、日本类请按4、台湾类请按5、清纯类请按6："))
    
12.         if a==1:
    
13.             self.index_url = "https://www.mzitu.com/"
    
14.         elif a==2:
    
15.             search = input("请输入要搜索的名字：")
    
16.             self.index_url = "https://www.mzitu.com/search/"+ urllib.parse.quote(search) + "/"
    
17.         elif a==3:
    
18.             self.index_url = "https://www.mzitu.com/xinggan/"
    
19.         elif a==4:
    
20.             self.index_url = "https://www.mzitu.com/japan/"
    
21.         elif a==5:
    
22.             self.index_url = "https://www.mzitu.com/taiwan/"
    
23.         elif a==6:
    
24.             self.index_url = "https://www.mzitu.com/mm/"
    
25.         print(self.index_url)
    
26.         self.headers = {
    
27.             "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36",
    
28.             "Referer": "https://www.mzitu.com/"
    
29.         }
    
30.         self.path = input('请输入保存的文件夹名:')
    
31. 
    
32.     # 发送request请求
    
33.     def send_request(self, url):
    
34.         return requests.get(url, headers=self.headers,timeout=3).content
    
35. 
    
36.     # 解析每页的数据
    
37.     def parse(self, html_str):
    
38.         html = etree.HTML(html_str)
    
39.         titles = html.xpath('//img[@class="lazy"]')
    
40.         content_list = []
    
41.         for title in titles:
    
42.             item = {}
    
43.             item['title'] = title.xpath('./@alt')[0]
    
44.             item['href'] = title.xpath('../@href')[0]
    
45.             content_list.append(item)
    
46.             # print(item)
    
47.         # print(content_list)
    
48.         next_url = html.xpath('//a[contains(text(),"下一页")]/@href')
    
49.         next_url = next_url[0] if next_url else None
    
50.         return content_list, next_url
    
51. 
    
52.     # 获取每张写真集的img_url
    
53.     def get_img_url(self, detail_html):
    
54.         html = etree.HTML(detail_html)
    
55.         img_url = html.xpath('//div[@class="main-image"]/p/a/img/@src')[0]
    
56.         next_img_url = html.xpath('//span[contains(text(),"下一页")]/../@href')
    
57.         next_url = next_img_url[0] if next_img_url else None
    
58.         return img_url, next_url
    
59. 
    
60.     # 判断文件夹是否存在,不存在创建文件夹
    
61.     def mkdir(self, dir_name, img_url_list):
    
62.         total_image = len(img_url_list)
    
63.         meizi_dir = self.path if self.path else 'meizitu'
    
64.         finall_dir = meizi_dir + '/' + '[{}P]'.format(str(total_image)) + dir_name
    
65.         if os.path.isdir("F:\Python爬取\图片/"+finall_dir) != True:  # 如果保存的路径不存在
    
66.             os.makedirs(r"F:\Python爬取\图片/"+finall_dir)  # 如果不存在。我们将创立这个路径
    
67.         path = "F:\Python爬取\图片/"+finall_dir+"/"
    
68.         return path
    
69. 
    
70.     # 保存img
    
71.     def save_image(self, j, final_dir, img_url_list):
    
72.         for img_url in img_url_list:
    
73.             try:
    
74.                 image_data = self.send_request(img_url)
    
75.             except:
    
76.                 continue
    
77.             file_name = final_dir + '/' + img_url[-9:]
    
78.             with open(file_name, 'wb') as image:
    
79.                 image.write(image_data)
    
80.             print("*" * 14, img_url, '下载完成', "*" * 14)
    
81.         print("-" * 29 + '第{}张写真集保存完毕'.format(int(j)) + "-" * 30 + '\n\n')
    
82. 
    
83.     # 运行爬虫
    
84.     def run(self):
    
85.         # 1. 获取url
    
86.         next_page_url = self.index_url
    
87.         i = 1
    
88.         # 获取每页的url地址并解析
    
89.         while True:
    
90.             # 2. 发送请求,获取响应
    
91.             try:
    
92.                 html_str = self.send_request(next_page_url).decode()
    
93.             except:
    
94.                 continue
    
95.             # 3. 解析数据
    
96.             content_list, next_page_url = self.parse(html_str)
    
97.             # 4. 获取详情页的img
    
98.             j = 1
    
99.             # 获取每张写真集并解析
    
100.             for content in content_list:
     
101.                 img_url_list = []
     
102.                 print("-" * 30 + '正在获取第{}张写真集'.format(int(j)) + "-" * 30)
     
103.                 # 获取每张写真集的img_url
     
104.                 # 第一页的img地址
     
105.                 dir_name = content['title']
     
106.                 next_url = content['href']
     
107.                 # print(next_url)
     
108.                 # 获取每张写真集每页的img_url
     
109.                 while True:
     
110.                     try:
     
111.                         detail_html = self.send_request(next_url).decode()
     
112.                     except:
     
113.                         continue
     
114.                     img_url, next_url = self.get_img_url(detail_html)
     
115.                     # 第二页的img地址
     
116.                     # detail_html = self.send_request(next_url)
     
117.                     # img_url, next_url =self.get_img_url(detail_html)
     
118.                     img_url_list.append(img_url)
     
119.                     if next_url is None:
     
120.                         break
     
121.                 # 保存图片
     
122.                 if img_url_list:
     
123.                     final_dir = self.mkdir(dir_name, img_url_list)
     
124.                     self.save_image(j, final_dir, img_url_list)
     
125.                 j += 1
     
126.             print("-" * 32 + '第{}页获取完成'.format(int(i)) + "-" * 32 + '\n\n')
     
127.             i += 1
     
128.             if next_page_url is None:
     
129.                 break
     
130. 
     
131. 
     
132. def main():
     
133.     mz = MZiTu()
     
134.     mz.run()
     
135. 
     
136. 
     
137. if __name__ == '__main__':
     
138.     main()

复制代码

想要下载哪种类型自己选择："直接下载请按1、搜索下载请按2、性感类请按3、日本类请按4、台湾类请按5、清纯类请按6："

我的存储地址为：F:\Python爬取\图片\，可以自己更改，存储文件夹可自己命名
最后郑重提醒：注意身体！！！！！！！！！！

原野

谢谢大佬

蒙a你哥

谢谢大牛

shmqwd

6666

Jacklin

goooooood

Neil0424

感谢楼主分享

fengxing

好的，非常感谢

BearKnight

谢谢分享

五块二毛一

6666666666

彼岸花开

怎么用