随笔分类 - 技术 - python爬虫教程

爬虫 fake_useragent

摘要：``` import requests from fake_useragent import UserAgent ua = UserAgent() headers = { "UserAgent": ua.random } song_name = 'test' res = requests.get(search_url, headers=headers) ``` 阅读全文

posted @ 2019-08-05 14:52 jwang106 阅读(139) 评论(0) 推荐(0)

python爬虫教程之美丽汤（一）

摘要：python 爬虫之美丽汤 BeautifulSoup 作者： jwang106 1. 使用requests获取网页的html源码 request用法总结 2. 使用美丽汤举例：如果目标是爬取某个html里某个id下a标签的图片打印一下这些元素的type，就更容易懂了 output: 打印一下阅读全文

posted @ 2019-01-11 14:37 jwang106 阅读(2880) 评论(0) 推荐(1)