风缘

摘要： Python读取jsonlines格式文件 json lines文件是一种便于存储结构化数据的格式，可以一次处理一条记录。可以用作日志文件或者其他。每条json数据之间存在一个"\n"分隔符。 具体信息可以查看http://jsonlines.org/ 之前爬虫存储数据，使用了这个格式文件，但是在读 阅读全文

摘要： 编辑器，IDE调试Scrapy方法 目前手里使用VSCode和PyCharm写程序 关于Scrapy调试，可以分别设置： 1、PyCharm： 在scrapy.cfg同级目录下，创建py文件，之后运行该文件即可，断点调试打在爬虫代码上 2、VSCode： 在爬虫代码文件中，添加代码，直接运行即可ht 阅读全文