又一个爬取小姐姐图片的爬虫

再战秋名山

附上源码，解释在下面的代码中

1. import requests
   
2. import parsel
   
3. import time
   
4. import os
   
5. for page in range(1,17): #做一个从1到16的循环
   
6.     print("----------正在保存第{}页-----------".format(page))
   
7.     url = 'https://xn--wcsw84dcxi8ta.xyz/list_7_{}.html'.format(page)#从第一页到第十六页
   
8.     #请求头
   
9.     headers={'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36'}
   
10. 
    
11.     response=requests.get(url=url,headers=headers).text
    
12.     #print(response)
    
13.     parse=parsel.Selector(response)
    
14.     #用xpath找到我们需要的链接
    
15.     data_list=parse.xpath('//div[@id="page-content"]/div/ul/li/a/@href').getall()
    
16.     #print(data_list)
    
17.     url_1='https://xn--wcsw84dcxi8ta.xyz/'
    
18.     #合并我们的图片链接
    
19.     data=[url_1+i for i in data_list]
    
20.     #print(data)
    
21.     page_1=str(page)
    
22.     if not os.path.exists('img_1'):#判断是否创建了img_1文件夹
    
23.         os.makedirs('img_1')
    
24.     if not os.path.exists('img_1\\'+page_1): #判断是否创建page_1文件夹
    
25.             os.mkdir('img_1\\'+page_1)
    
26.     for img_url in data:
    
27.         file_name = img_url.split('_')[-2]+'.jpg'
    
28.         response_1=requests.get(url=img_url,headers=headers).content
    
29.         #保存文件
    
30.         with open('img_1\\'+page_1+'\\'+file_name,'wb')as f:
    
31.             f.write(response_1)
    
32.     #每次翻页都过8秒在运行，以免对面服务器爆了，也以免封我们的ip
    
33.     time.sleep(8)

复制代码

ljj289

6666666666

stmichael_wy

谢谢大佬

ki1nxttja

6666

847401419

感谢楼主分享

一加一

谢谢分享

g352118926

好的，非常感谢

pp105125300

谢谢大牛