摘要：用python做爬虫的，肯定熟悉scrapy,不过新手安装总是会遇到各种奇葩错误。 错误一：building 'twisted.test.raiser' extensionerror: Microsoft Visual C++ 14.0 is required. Get it with "Micro 阅读全文

摘要：1、常见的方法 这种方法可以随机取得数据，但是如果表比较大，数据量很多的时候会很耗时。 2、优化后的方式 分析，首先根据条件筛选出要选的数据，然后随机排序取出要的条数的id ，（由于limit和in不能连着用，所有还需嵌套一层查出id供后面in使用） 阅读全文