摘要: 做程序有时候有点像爱迪生发明电灯的样子,一次次的失败,一次次的调优,即使是达到了目的,有时候也要继续优化,升级。 想做淘宝的爬取其实很久了,但看了下前辈人做过的,要么不能稳定运行,要么已经过期,被淘宝已经各种摩擦过了。只好自己重新造轮子。 好在,经过5次失败的轮子,终于可以使用了。 阅读全文
posted @ 2022-03-24 10:53 bugtraq 阅读(170) 评论(2) 推荐(0)
摘要: 原来一直以为转转APP的数据质量比较差,好长时间没有研究过转转数据的抓取。 最近又看了下转转,发现数据上面应该整顿了不少。所以花了段时间研究转转的数据采集。 从转转APP获取到数据,json输出。 阅读全文
posted @ 2022-03-24 10:52 bugtraq 阅读(366) 评论(0) 推荐(0)
摘要: 抓过淘宝包的同学肯定都有类似的感觉吧。 如果你想做一个淘宝系的爬虫,不管是淘宝、闲鱼、还是其他程序、APP,淘宝总会有一大堆的参数让你去构造。 做为一个靠数据做生意的公司,把自己的数据看得这么自私,也真的很难想象了。 再看淘宝的请求信息,你有没有觉得很搞笑? 如此严防死守一些商品的数据,真的很尴尬有 阅读全文
posted @ 2021-12-20 14:00 bugtraq 阅读(2668) 评论(5) 推荐(0)
摘要: 程序一直在更新,目前已经更新到11版,在更新12版了。 1213 v 1.1.12 添加AI智能模块 目前正在添加和优化AI搜索功能,可以AI智能跳过无效搜索,提高搜索效率。 1212 v 1.1.11 版本号从1.0 过渡到1.1 整个程序模块重构。 1.0.9 添加数据库监控模块 1.1.10 阅读全文
posted @ 2021-12-20 13:47 bugtraq 阅读(879) 评论(5) 推荐(0)