摘要： 1.一行代码实现对列表a=[1,2,3,4,5]中的偶数位置的元素进行加3后求和 a=[1,2,3,4,5] print(sum([3 + i for i in a if i % 2 == 0])) 阅读全文

摘要： 1.查看mysql80字符集 show variables like 'character_set%'; 2.修改server编码格式 在mysql安装目录下找到my-default.ini文件并复制一份改为my.ini,文件内加入如下设置 [mysqld]character-set-server= 阅读全文

摘要： 1.django启动报错: Error loading MySQLdb module. Did you install mysqlclient? 原因:初次安装配置pymysql时需要在__init__.py文件中添加以下代码 import pymysql pymysql.install_as_My 阅读全文

摘要： 1.简介 迁移是 Django 将你对模型的修改（例如增加一个字段，删除一个模型）应用至数据库表结构对方式 2.基本命令 python manage.py migrate 负责应用和撤销迁移 python manage.py makemigrations 基于模型的修改创建迁移 阅读全文

摘要： 提示报错 原因: items没有接收到Spider的返回值,导致pipelines没有接收到items模块的返回值,检查Spider模块是否正确返回值,我这里的原因是,数据解析完成后没有yield item,导致pipelines不能执行数据处理操作 加上后就正常操作数据库了 阅读全文

摘要： 一、概述 Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试. 其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 后台也应用在获取API所返回的数据(例如 Am 阅读全文

摘要： 1.当爬取页面状态码是异常状态码，但response是正常的时候，正常情况Scrapy框架会判断状态码，如果不是正常状态码会停止后续操作 解决方案: 在meta"handle_httpstatus_all": True yield scrapy.Request(url=hear,callback=s 阅读全文

摘要： 1.在scrapy.Request方法里边加上参数dont_filter=True（去重） 2.增加是不是allowed_domains范围内的url 3.yield Request 改为yield scrapy.http.Request 4.在scrapy.Request方法里边添加errback 阅读全文

摘要： Navicat 连接MySQL数据库 报错2059 - authentication plugin ‘caching_sha2_password‘的解决办法 2059 - Authentication plugin 'caching_sha2_password' #在数据库的命令行中输入以下代码即可 阅读全文

摘要： re.match 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回none #函数语法 re.match(pattern, string, flags=0) #注解 pattern:匹配的正则表达式 string:要匹配的字符串 flags:标志位，用于控制正则 阅读全文