cheflone

摘要： 1.request Request是一个类 get请求 1 scrapy.Request(url=url,callback=self.parse_item,meta={'item':item},headers=header,dont_filter=True) url:要求的u地址 callback： 阅读全文

摘要： 1.一直以来都在pycharm的terminal里输入： 1 scrapy crawl XX #XX代表spider_name 2.建立main.py来快速调试 import os import sys from scrapy.cmdline import execute def carry_out 阅读全文

摘要： 在使用Django进行开发时，碰到了一个比较隐蔽的问题，其实是一个很简单的问题，但是却很容易忽略，所以用再次作为一个提醒之用。 具体报错信息如下： ERRORS:?: (staticfiles.E001) The STATICFILES_DIRS setting is not a tuple or 阅读全文

摘要： os.path.abspath(__file__) 作用： 获取当前脚本的完整路径 import os print(os.path.abspath(__file__) ) result: 注意： 只有当在脚本中执行的时候，os.path.abspath(__file__)才会起作用，因为该命令是获取 阅读全文

摘要： 1.情况 mac os mysql 8 pycharm2018 2.解决 在网上查询后都是pymysql版本问题：pymysql.err.InternalError: (1043, 'Bad handshake') 大多是这样的：旧的pymysql插件支持新的MySQL的连接了。 python -m 阅读全文

摘要： 1.varchar(N)的逻辑意义从MySQL4.1开始，varchar (N)中的N指的是该字段最多能存储多少个字符(characters)，不是字节数。不管是一个中英文字符或者数字、或者一个汉字，都当做一个字符。在4.1之前，N表示的是最大存储的字节数（bytes）。 2.MySQL建立索引时如 阅读全文

摘要： 图片懒加载指的是在浏览过程中随着需要才被加载出来，例如某宝上面浏览商品时，会伴随很多的图片，如果一次全部加载出来的话，显然资源有些浪费，并且加载速度也会相对降低，那么懒加载的实现很重要。即随着浏览翻阅时，下面的图片才被加载出来，这样又不浪费带宽，访问网页速度也很快，用户体验也会有所提升。 说了这么多 阅读全文

摘要： 1.目标 利用链接提取器爬取目标网站简单信息 2.代码 read.py # -*- coding: utf-8 -*- from scrapy.linkextractors import LinkExtractor from scrapy.spiders import CrawlSpider, Ru 阅读全文

摘要： 1.实例环境 mac os scrapy 1.3.3 conda env 2.使用读书网为例子： https://www.dushu.com/book/1107.html 2.1 xpath规则提取 1 #打开shell交互 2 scrapy shell https://www.dushu.com/ 阅读全文

摘要： 层次模型 优点： 数据结构简单清晰。 因为记录之间的联系用有向边表示，这种联系在DBMS中通常使用指针实现，查询效率高。层次模型数据库性能优于关系数据库，不低于网状数据库。 提供了良好的完整性支持。进行插入操作时，如果没有对应的双亲结点就不能插入它的子女结点值。进行删除操作时，如果删除双亲结点，则相 阅读全文