[爬虫]斯坦福课程资料获取

MonkYang

Stanford计算机专业课程：https://docs.google.com/spreadsheets/d/1zfw8nPvJeewxcFUBpKUKmAVE8PjnJI7H0CKimdQXxr0/htmlview
里面涵盖了Stanford本科计算机专业基础课程乃至一些高端（至少我不知道是什么的东西），众所周知，Stanford计算机专业不是盖的。
本着仓鼠精神，是绝对要把这些资料搬走的，又懒得一个一个下载，花了一个周末简单了解了一下requests库和Beautiful库，不得不说，我虽然了解过python但是没有敲过任何py程序，在啃文档的时候还是吃了不少亏。
还好谷歌云盘（看域名像）没有做什么防护，很轻松的拿下课程号CS356的Topics in Computer and Network Security一门课程的全部pdf资料。
对于这些资料，如果你英语不好（三分之一以上单词不认识）的话，请酌情观看。
下面是代码，想要直接看资料的可以直接去首行的链接。

[Python] 纯文本查看 复制代码

# 爬!
# 获取https://docs.google.com/spreadsheets/d/1zfw8nPvJeewxcFUBpKUKmAVE8PjnJI7H0CKimdQXxr0/htmlview下PDF文档
# 获取https://cs356.stanford.edu/ CS356——计算机网络安全主题下所有pdf
 
from requests import get 
from requests.exceptions import ReadTimeout
from bs4 import BeautifulSoup
 
def main():
    url = 'https://cs356.stanford.edu/'
    html = request_stanford(url)
    url_list = parse(html)
    new_list = new(url_list)
    download(new_list)
    return 0
 
 
# 获取网站源代码
def request_stanford(url):
    try:
        header = {
            'user-agent': 'Mozilla/5.0'
                        '(Windows NT 10.0; Win64; x64)'
                        'AppleWebKit/537.36 (KHTML, like Gecko)'
                        'Chrome/91.0.4472.114 Safari/537.36 OPR/77.0.4054.172'
        }
        response = get(url, headers = header)
     
    except ReadTimeout as e:
        print(e)
    return response.text
 
# 调用BeautifulSoup get_url_list
def parse(html):
    soup = BeautifulSoup(html, features = 'lxml')
    s = soup.find_all('a')
    url_list = []
    for link in soup.find_all('a'):
        url = link.get('href')
        url_list.append(url)
    url_list = list(filter(lambda url_str: 'pdf' in url_str, url_list))
    return url_list
 
 
# 补全URL
def new(*url_list):
    new_list = []
    for urls in url_list:
        for url in urls:
            if 'http' in url:
                new_list.append(url)
            else:
                url = 'https://cs356.stanford.edu/' + url
                new_list.append(url)
    return new_list
 
 
 
 
# build_folder download
def download(*urls):
    folder_path = 'E:\Stanford\cs256_Topics in Computer and Network Security'
    i = 0
    for url in urls:
        for u in url:
            print('正在下载：{}'.format(u))
            filename = str(u).split('/')[-1]
            filename = '[' + str(i) + ']' + filename
            i = i + 1
            filepath = folder_path + '/' + filename
            pdf = get(u)
            with open(filepath,'wb') as book:
                book.write(pdf.content)
    return 0
 
if __name__ == '__main__':
    main()

思路挺简单的，
<1>分析https://cs356.stanford.edu/下HTML。
<2>BeautifulSoup拿到HTML再直接提取所有超链接，找出herf内容，筛选出所有后缀为.pdf的链接。
<3>补全URL。
<4>下载。这里并没有用多线程，因为这个界面数据量并不大，而且看着一条一条不断下载也挺爽的（好吧，其实我是还没学到多线程）。
缺点：首先是多线程，其次是没有用到报错分析。这个是国外站点，访问并不稳定，如果不通可以多试两次。
后面是爬到的资料和源码，（注意爬虫用到requests和BeautifulSoup(集成在bs4中了)）想要试试源码需要先安装python环境并配置path，最后再pip install 一下。
https://cloud.189.cn/t/JfUrey6J36z2 (访问码:rko6)
建议高考结束的考生可以先去Stanford站点学习一下，了解一下计算机专业，相关专业已经录取了的也可以查一下本校培养计划，按照课程先看一下外国名校的内容。

可可托海放牛娃

谢谢大佬

825421934

支持楼主，谢谢分享。

笑东风丶

感谢大佬分享，大佬666666

lhq662521

谢谢大牛

不羁的风

牛一批的了的