记python爬取课表和爬取新闻网站时遇到的一些坑点

一，爬取课表

fzu教务处的登陆步骤是要经过两次重定向，看起来麻烦爬起来其实并不复杂，用requests爬取的时候遇到坑点是页面来源错误，页面来源信息是放在请求头中的，将header['referer'] 设置为上一级的url链接就可以解决了

爬取表格信息可以直接用pandas来爬取简洁美观

 

 

二，爬取fd要闻

这个做得相对顺利，有个小坑点，就是过几天就2021了，注意这个可能引发的bug