python3 爬取网页上的信息，并以sql格式显示（针对QQ/微信授权登录）

首先，需要先用Firefox浏览器登录目标网页，然后将cookies导出。

（导出可选用Firefox插件：Firebug）

 

导出的文件需要在首行进行声明：

# Netscape HTTP Cookie File

 

 【 针对于需要授权认证或者登录的网站，都可以利用cookies方法直接进入二级界面，并进行爬取/post 】

 

#以我爬取学校表白墙信息为例
import http.cookiejar
import requests
from bs4 import BeautifulSoup
from prettytable import PrettyTable

cookie = http.cookiejar.MozillaCookieJar()
cookie.load('cookies.txt', ignore_discard=True, ignore_expires=True)
y = requests.get("http://zzu.superdaxue.com/Expresswall",cookies=cookie)
y.encoding = 'utf-8'
soup = BeautifulSoup(y.text,'html.parser')
zzu  = PrettyTable(["dear","content"])
for yzc in soup.select('.MessageBox'):
    c = yzc.select('.Message')[0].text
    z = yzc.select('.movieName')[0].text
    z = z.strip()
    c = c.strip()
    zzu.add_row([z,c])
    print(zzu)

 

如需详解，请留言