python selenium 踩坑

想做做信息检索课设，先写个爬虫爬爬微博。

看了一下午微博的api，晚上决定用chromnium。

 

先通过pip安装selenium，官方文档看一眼，

 pip install selenium 

然后需要安装浏览器的driver，浏览器的调试模式一样

通过Choco安装，powershell一句话

 choco install selenium-all-drivers 

完毕。然后开始写代码

from selenium import webdriver
from time import sleep


browser = webdriver.Chrome()
try:
    print("open the browser...")
    browser.get(r'http://weibo.com')
    print(browser.title)
except Exception:
    print('browser open failed...')

sleep(5)


print("select href_links...")
href_li = browser.find_elements_by_css_selector('a')
print("total links:",len(href_li))
print('not tag named <a>')
print(" for all the links")
for href_element in href_li:
    print(href_element.text)

微博首页有js的动态加载，本来打算游客登陆的，结果发现直接访问会卡在一个游客的认证空白页几秒钟，然后针对网页的分析什么都是空的， sleep(5) 之后才能找到想要的东西。

干啥都得等一等，我决定下次用微博的api。。。