摘要: 爬取的时候很在乎异步爬取、多进程操作等,后来再发现自己路都不会走,还想跑。打好基础!!! 第一步观察网页,在XHR中发现数据,其https://careers.tencent.com/tencentcareer/api/post/Query?timestamp=1626350822054&count 阅读全文
posted @ 2021-07-15 20:37 BulletsintheBible 阅读(68) 评论(0) 推荐(0) 编辑
摘要: 1.初使用Scrapy框架爬虫,当当图书关于某个关键字的爬取。 创建dangdang.py 1)添加首先爬取的目录,对于URL的拼接 使用urlencode from urllib.parse import urlencode data = {'key': 'python', 'act': 'inp 阅读全文
posted @ 2021-07-13 09:11 BulletsintheBible 阅读(44) 评论(1) 推荐(0) 编辑