Loading

随笔分类 -  爬虫

爬虫工程师的日常进坑与脱坑。
摘要:龟叔带你探索 Python 协程的奥妙~ 阅读全文
posted @ 2021-06-30 23:17 kingron 阅读(344) 评论(0) 推荐(0)
摘要:安卓逆向初体验~ 阅读全文
posted @ 2021-03-10 15:57 kingron 阅读(670) 评论(0) 推荐(0)
摘要:简介 XPath:XML Path Language,一门在XML和HTML文档中查找信息的语言。 插件安装: Chrome浏览器插件安装:XPath Helper 火狐浏览器插件安装:try XPath 常见语法 选取节点 XPath使用路径表达式来选取XML文档中的节点(集)。 表达式 描述 示 阅读全文
posted @ 2020-09-21 18:00 kingron 阅读(1239) 评论(0) 推荐(0)
摘要:引言 数据采集工作中,难免会遇到增量采集。而在增量采集中,如何去重是一个大问题,因为实际的需要采集的数据也许并不多,但往往要在判断是否已经采集过这件事上花点时间。比如对于资讯采集,如果发布网站每天只更新几条或者根本就不更新,那么如何让采集程序每次只采集这更新的几条(或不采集)是一件很简单的事,数据库 阅读全文
posted @ 2020-09-20 21:43 kingron 阅读(1397) 评论(0) 推荐(2)
摘要:\xa0表示不间断空白符,爬虫中遇到它的概率不可谓不小,而经常和它一同出现的还有\u3000、\u2800、\t等Unicode字符串。单从对\xa0、\t、\u3000等含空白字符的处理来说,有以下几种方法可行: 使用re.sub 使用正则表达式可以轻松匹配所有空白字符,它对于Unicode字符也 阅读全文
posted @ 2020-09-20 21:20 kingron 阅读(742) 评论(0) 推荐(1)
摘要:使用脚本 window.scrollBy(0, 1000),放入 while True 循环,示例代码: while True: js = 'window.scrollBy(0, 1000)' driver.execute_script(js) 阅读全文
posted @ 2020-09-20 21:19 kingron 阅读(575) 评论(0) 推荐(0)
摘要:1 使用 scrapy 做采集实在是爽,但是遇到网站反爬措施做的比较好的就让人头大了。除了硬着头皮上以外,还可以使用爬虫利器 selenium,selenium 因其良好的模拟能力成为爬虫爱(cai)好(ji)者爱不释手的武器。但是其速度又往往令人感到美中不足,特别是在与 scrapy 集成使用时, 阅读全文
posted @ 2020-09-20 21:08 kingron 阅读(1602) 评论(0) 推荐(0)