一葉知秋

摘要： 在安装完scrapy以后，相信大家都会跃跃欲试想定制一个自己的爬虫吧？我也不例外，下面详细记录一下定制一个scrapy工程都需要哪些步骤。如果你还没有安装好scrapy，又或者为scrapy的安装感到头疼和不知所措，可以参考下前面的文章安装python爬虫scrapy踩过的那些坑和编程外的思考。... 阅读全文

摘要： python如何将json格式的数据快速的转化成指定格式的数据呢？或者转换成sql文件？下面的例子是将json格式的数据准换成以#_#分割的文本数据，也可用于生成sql文件。[root@bogon tutorial]# vi json2txt.py #-*- coding: UTF-8 -*-imp... 阅读全文

摘要： 测试文件[root@bogon ~]# cat >testjasonjasonjasonfffffjason按 Ctr + D保存1、sort -u[root@bogon ~]# sort -u testfffffjason2、uniq[root@bogon ~]# uniq testjasonff... 阅读全文