2021/2/2

今天将昨天的农作物病虫害数据进行整理使其符合neo4j的数据格式;

还进行了农作物统计年鉴的爬取工作,国家统计局的网站有反扒机制:

优化方案:headers尽量完整,爬取前用浏览器打开一下网页。

 

posted @ 2021-02-02 21:31  fsdx  阅读(37)  评论(0编辑  收藏  举报