十万多rss源爬虫

hirgnz

如题，最近喜欢上折腾rss，就差rss订阅源。最近新上架了一个应用，抓包接口，从里面爬取一些rss源。

没时间去学python，但是又想去尝试写，结果多线程写出来的比java慢很多，就放单线程代码上来吧。

感兴趣的也可以帮忙修改下放评论区（随机user-agent+代{过}{滤}理ip），不然十万多条数据，估计给封ip

接口从1到十万多，因为中间有些rss是失效的，被删除所以没数据。我是用count进行判断的，连续30次获取到的数据都为空即退出。

附上代码；

1. import requests
   
2. import json
   
3. import csv
   
4. 
   
5. rows = []
   
6. num = 3000
   
7. count = 0
   
8. headers = {
   
9.         'Host': 'api.qingmang.me',
   
10.         'Connection': 'close',
    
11.         'User-Agent': 'Mango 3.0.0 (iPhone 6s Plus; ios-iphone 13.3.1; zh_CN)'
    
12.     }
    
13. 
    
14. for n in range(0, 500):
    
15.     url = 'http://api.qingmang.me/v2/pool.list.info?list=k'
    
16.     num = num + 1
    
17.     url = url + str(num)
    
18.     row = []
    
19.     # 打印本次请求地址
    
20.     print(url)
    
21. 
    
22.     # 发送请求，获取响应结果
    
23.     response = requests.get(url=url, headers=headers, verify=False)
    
24.     text = response.text
    
25. 
    
26.     # 将响应内容转换为Json对象
    
27.     res_json = json.loads(text)
    
28.     if str(res_json['ok']) == 'True':
    
29.         count = 0
    
30.         # 从Json对象获取想要的内容
    
31.         temp = res_json['listInfo']
    
32.         if 'listId' in temp:
    
33.             id = temp['listId']
    
34.         else:
    
35.             id = ''
    
36.         if 'contentType' in temp:
    
37.             contentType = temp['contentType']
    
38.         else:
    
39.             contentType = ''
    
40.         if 'name' in temp:
    
41.             name = temp['name']
    
42.         else:
    
43.             name = ''
    
44.         if 'rssUrl' in temp:
    
45.             rssUrl = temp['rssUrl']
    
46.         else:
    
47.             rssUrl = ''
    
48.         if 'sourceUrl' in temp:
    
49.             sourceUrl = temp['sourceUrl']
    
50.         else:
    
51.             sourceUrl = ''
    
52.         # 生成行数据
    
53.         row.append(str(id))
    
54.         row.append(str(contentType))
    
55.         row.append(str(name))
    
56.         row.append(str(rssUrl))
    
57.         row.append(str(sourceUrl))
    
58. 
    
59.         # 保存行数据
    
60.         rows.append(row)
    
61. 
    
62.     else:
    
63.         print("该节点没有rss")
    
64.         print(count)
    
65.         count = count + 1
    
66.         # 由于接口部分rss源失效，因此判定连续30次没有获取数据即退出爬取
    
67.         if count > 30:
    
68.             print("已经到尽头了，最后id为：k" + str(num))
    
69.             break
    
70. 
    
71. # 生成Excel表头
    
72. header = ['Id','类型','名称','rss订阅源地址','原始地址']
    
73. 
    
74. # 将表头数据和爬虫数据导出到Excel文件
    
75. with open('D:\\rss.csv', 'w', encoding='gb18030',newline='') as f:
    
76.     f_csv = csv.writer(f)
    
77.     f_csv.writerow(header)
    
78.     f_csv.writerows(rows)

复制代码

761326862

6666666666

1415759153

谢谢大牛

1257787137

谢谢分享

17743005111

6666

haihai

感谢楼主分享

bzpzmmsl

谢谢大佬

machuanfeng

好的，非常感谢