02 2020 档案

scrapy中在spider爬虫模块中使用get_project_settings方法得不到settings中自定义的变量
摘要：在用scrapy写爬虫的时候，在settings中设定了自定义的变量 KEW_WORDS 但是在爬虫模块要使用get_project_settings 方法调用此参数day_num时，结果为空值NoneType，没有将参数调用过来 原因： 在settings中引用了爬虫模块中的类，导致爬虫模块提前被 阅读全文
posted @ 2020-02-24 18:18 cknds 阅读(1172) 评论(0) 推荐(0)
使用scrapy shell时设置cookies和headers
摘要：有时为了测试xpath，需要临时下载个页面，这时使用命令行进行测试是最方便的，但是很多网站页面需要认证，不能直接使用scrapy shell命令进行页面的抓取，所以需要重新对请求进行构造，设置cookies和headers。首先在当前装有scrapy的python环境中安装ipython # pyt 阅读全文
posted @ 2020-02-22 23:33 cknds 阅读(1201) 评论(0) 推荐(0)
Scrapy shell 带头部headers请求
摘要：scrapy shell 命令请求网页： scrapy shell "https://www.baidu.com" 就会得到请求的网页源代码，我们通过response.text可以获取请求之后的源代码，然后就可以通过正则匹配我们想要的内容 2.然后上面请求方法，对一些不做限制的网站请求时ok，但是就 阅读全文
posted @ 2020-02-22 23:30 cknds 阅读(768) 评论(0) 推荐(0)
1366, "Incorrect string value: '\\xF0\\x9F\\x91\\x89\\xE3\\x80...' for column 'content' at row 1"
摘要：问题描述：Python从网站中抓取网页文本保存到MySQL数据中，对应数据库字段为longtext，字符编码utf-8。部分插入成功，部分插入失败，报错如下。1366, "Incorrect string value: '\\xF0\\x9F\\x91\\x89\\xE3\\x80...' for 阅读全文
posted @ 2020-02-21 22:47 cknds 阅读(1556) 评论(0) 推荐(0)
Python判断文件是否存在的三种方法
摘要：Python判断文件是否存在的三种方法 目录 1.使用os模块 判断文件是否可做读写操作 2.使用Try语句 3. 使用pathlib模块 正文 通常在读写文件之前，需要判断文件或目录是否存在，不然某些处理方法可能会使程序出错。所以最好在做任何操作之前，先判断文件是否存在。 这里将介绍三种判断文件或 阅读全文
posted @ 2020-02-15 23:03 cknds 阅读(1432) 评论(0) 推荐(0)
python txt文件常用读写操作
摘要：文件的打开的两种方式 f = open("data.txt","r") #设置文件对象 f.close() #关闭文件 #为了方便，避免忘记close掉这个文件对象，可以用下面这种方式替代 with open('data.txt',"r") as f: #设置文件对象 str = f.read() 阅读全文
posted @ 2020-02-15 21:30 cknds 阅读(8368) 评论(0) 推荐(0)
python字符串与列表的相互转换
摘要：学习内容： 1.字符串转列表 2.列表转字符串 1. 字符串转列表 str1 = "hi hello world" print(str1.split(" ")) 输出： ['hi', 'hello', 'world'] 2. 列表转字符串 l = ["hi","hello","world"] pri 阅读全文
posted @ 2020-02-12 13:14 cknds 阅读(589) 评论(0) 推荐(0)
关于python操作带有中文文件名报错的解决办法
摘要：python代码的编码格式 #coding：utf-8 在操作文件时，如果文件名带有中文，则需要将文件路径以Unicode的编码格式进行操作 具体的方式如下 path = "你的路径" ipath = unicode(path, "utf8")# 也可以使用以下方法Path = open(u'行业拆 阅读全文
posted @ 2020-02-09 23:08 cknds 阅读(2332) 评论(0) 推荐(0)
Python 字符串操作方法大全
摘要：1、去空格及特殊符号 复制代码代码如下: s.strip().lstrip().rstrip(',') 2、复制字符串 复制代码代码如下: #strcpy(sStr1,sStr2)sStr1 = 'strcpy'sStr2 = sStr1sStr1 = 'strcpy2'print sStr2 3、 阅读全文
posted @ 2020-02-09 20:10 cknds 阅读(369) 评论(0) 推荐(0)
MySQL中数据类型介绍
摘要：一、MySQL的数据类型 主要包括以下五大类： 整数类型：BIT、BOOL、TINY INT、SMALL INT、MEDIUM INT、 INT、 BIG INT 浮点数类型：FLOAT、DOUBLE、DECIMAL 字符串类型：CHAR、VARCHAR、TINY TEXT、TEXT、MEDIUM 阅读全文
posted @ 2020-02-07 16:16 cknds 阅读(242) 评论(0) 推荐(0)
Linux rpm命令详解
摘要：rpm命令是RPM软件包的管理工具。rpm原本是Red Hat Linux发行版专门用来管理Linux各项套件的程序，由于它遵循GPL规则且功能强大方便，因而广受欢迎。逐渐受到其他发行版的采用。RPM套件管理方式的出现，让Linux易于安装，升级，间接提升了Linux的适用度。 rpm常见命令参数 阅读全文
posted @ 2020-02-05 15:49 cknds 阅读(904) 评论(0) 推荐(0)