随笔分类 -  爬虫

Python标准库urllib中parse.quote()
摘要：大概意思是，按照标准，URL只允许一部分ASCII字符，其他字符（如汉字）是不符合标准的，此时就要进行编码。 因为我在构造URL的过程中要使用到中文： >>> string = "全文搜索" >>> parse.quote(string) '%E5%85%A8%E6%96%87%E6%90%9C%E 阅读全文
posted @ 2021-04-29 19:53 半个程序猿Cohen_Lee 阅读(1431) 评论(0) 推荐(0)
爬虫的请求头（headers）和代理IP（proxies）设置
摘要：PROXIES = [ 'http://183.136.177.77:3128', 'http://54.229.233.101:80', ........... 'http://194.167.44.91:80' ] USER_AGENTS = [ "Mozilla/5.0 (Windows NT 阅读全文
posted @ 2021-04-29 19:48 半个程序猿Cohen_Lee 阅读(879) 评论(0) 推荐(0)