摘要：
前言 之前有写过一篇python元类的笔记，元类主要作用就是在要创建的类中使用参数 调用自定义的元类，这样就可以为所有调用了这个元类的类添加相同的属性了。 有需要查看链接:https://mp.weixin.qq.com/s/gmR_pggxeitPWKmnbo1usw 本篇笔记主要是对 的特性作了 阅读全文
摘要：
前言 接着 "上一篇笔记" ，我们来看看内置装饰器 、`staticmethod classmethod` 一、property装饰器 1. 普通方式修改属性值 code output 这里直接通过实例来修改类的属性值，但从输出可以看到温度超过了绝对零度 273.15却没有保错，这是一个bug，下面 阅读全文
摘要：
前言 在上一篇笔记说过会录个视频帮助理解里面的类方法，现在视频来了。只录了debug scheduler.py里面的类方法，还有spiders.py里面的类方法差不多，就不说了，自己动手丰衣足食。限于个人水平，有错误之处，恳请指出，谢谢！ debug代码 视频 博客园好像上传不了视频， "查看原文视 阅读全文
摘要：
"原文链接" 前言 分析这个项目的源码原因是需要有 去重过滤，增量爬取 两个功能，而 项目已经帮我们实现了，想看看他是怎么实现的。这里只贴出部分主要代码，查看时请打开源码对照，笔记有点长，建议看的童鞋按部分看。这是第一次分析源码，限于个人水平，如有错误恳请指正，谢谢！ 地址：https://gith 阅读全文
摘要：
"原文链接" 前言 这篇笔记基于上上篇笔记的 《 " scrapy电影天堂实战(二)创建爬虫项目 " 》，而这篇又涉及redis，所以又先熟悉了下redis，记录了下《 " redis基础笔记 " 》，这篇为了节省篇幅所以只添加改动部分代码。 个人实现思路 过滤重复数据 在pipeline写个red 阅读全文
摘要：
"公众号原文" 前言 reference: https://www.tutorialspoint.com/redis/redis_quick_guide.htm scrapy过滤重复链接要使用到redis，所以就先熟悉了下redis的基础。这篇笔记记录了redis的安装、配置、操作数据类型等 优势和 阅读全文
摘要：
"公众号原文" 创建数据库 我在上一篇笔记中已经创建了数据库，具体查看《 "scrapy电影天堂实战(一)创建数据库" 》，这篇笔记创建scrapy实例，先熟悉下要用到到xpath知识 用到的xpath相关知识 reference: https://germey.gitbooks.io/python 阅读全文
摘要：
"原文链接" 这里的排版没微信公众号那么友好，建议查看公众号原文 创建数据库 首先我们需要创建数据库和表等来存储数据 创建mysql.cnf配置文件 创建mysql库 root@ubuntu:/home/vickey/test_scrapy docker run itd name scrapy_my 阅读全文
摘要：
"公众号原文" 公众号排版更友好，建议查看公众号原文 前言 reference: https://www.tutorialspoint.com/scrapy/scrapy_quick_guide.htm offical doc: http://doc.scrapy.org/en/1.0/intro/ 阅读全文
摘要：
"原文链接" 前言 reference:https://vsupalov.com/docker build time env values/ 很多时候，我们需要 在docker镜像中加入环境变量 ，本人了解的有2种方法可以做到 第一种 使用 直接添加变量， 适用于直接用docker启动的项目 第二种 阅读全文