吉阿吉

2021年5月16日

增量式爬虫案例

摘要： 一、增量式爬虫：检测网站数据更新情况，只爬取网站最近更新出来的数据。 核心思路：将爬取过的详情url存储到redis的set集合。 爬虫文件： # -- coding: utf-8 -- import scrapy from scrapy.linkextractors import LinkExtr 阅读全文

posted @ 2021-05-16 17:58 吉阿吉 阅读(123) 评论(0) 推荐(0)

全站数据爬虫CrawlSpider类

摘要： 一、目标网址 http://wz.sun0769.com/political/index/politicsNewest 二、scrapy创建项目 scrapy startproject SunPro cd SunPro scrapy genspider -t crawl sun www.xxx.co 阅读全文

posted @ 2021-05-16 08:14 吉阿吉 阅读(62) 评论(0) 推荐(0)

网易新闻爬虫

摘要： 一、通过网易新闻首页解析出各板块对应的url 阅读全文

posted @ 2021-05-16 06:28 吉阿吉 阅读(95) 评论(0) 推荐(0)

python垃圾回收机制

摘要： 我们知道，目前的计算机都采用的是图灵机架构，其本质就是用一条无限长的纸带，对应今天的存储器。随后在工程学的推演中，逐渐出现了寄存器、易失性存储器（内存）以及永久性存储器（硬盘）等产品。由于不同的存储器，其速度越快，单位价格也就越昂贵，因此，妥善利用好每一寸告诉存储器的空间，永远是系统设计的一个核心。 阅读全文

posted @ 2021-05-16 02:57 吉阿吉 阅读(57) 评论(0) 推荐(0)

导航