摘要: 盘点3种Python网络爬虫过程中的中文乱码的处理方法 1)方法一:将requests.get().text改为requests.get().content 我们可以看到通过text()方法获取到的源码,之后进行打印输出的话,确实是会存在乱码的,如下图所示。 此时可以考虑将请求变为.content, 阅读全文
posted @ 2021-10-13 17:28 秋叶落日 阅读(997) 评论(0) 推荐(0) 编辑
摘要: mysql排名次语法 select emp_no,salary,dense_RANK() over (ORDER BY salary DESC) from salaries rank(): 对同一个字段排序,出现相同时,会并列排名,并且会出现排名间隙。 dense_rank() : 对同一个字段排序 阅读全文
posted @ 2021-03-29 16:20 秋叶落日 阅读(179) 评论(0) 推荐(0) 编辑
摘要: SELECT @@sql_mode; SET SESSION sql_mode=(SELECT REPLACE(@@sql_mode,'ONLY_FULL_GROUP_BY,','')); 阅读全文
posted @ 2021-03-26 17:10 秋叶落日 阅读(63) 评论(0) 推荐(0) 编辑
摘要: 命令提示符中操作scrapy startproject anjuke1 //创建项目cd anjuke1 //切换到文件夹scrapy genspider anjuke tianjin.anjuke.com/sale/?from=navigation //创建应用pycharm中base=respo 阅读全文
posted @ 2021-03-26 16:53 秋叶落日 阅读(57) 评论(0) 推荐(0) 编辑
摘要: QQ版 # import win32api # import win32gui # import win32con # import win32clipboard as w # import time # list1=['有人打王者荣耀吗?','没有','真的没有吗?','那就算了','over'] 阅读全文
posted @ 2021-03-26 16:50 秋叶落日 阅读(798) 评论(0) 推荐(0) 编辑
摘要: 问题内容: 解决方案: 该文件中用ctrl+g切换到 738行 修改该行的encoding=None 修改前 修改后 阅读全文
posted @ 2021-03-25 18:35 秋叶落日 阅读(33) 评论(0) 推荐(0) 编辑
摘要: 安装包 pip install pyexecjs py文件内容 import execjs def get_js(): f=open('hellojs.js','r',encoding='utf-8') line=f.readline() htmlstr = '' while line: htmls 阅读全文
posted @ 2021-02-24 21:26 秋叶落日 阅读(72) 评论(0) 推荐(0) 编辑
摘要: AES加密解密方法:ECB,CBC,CTR,CFB,OFB. 进行加密解密前先安装包 pip install pycryptodome pip install pyaes 解密示例:注此为CFB解密方式 #_*_coding:utf-8_*_ import requests from lxml.ht 阅读全文
posted @ 2021-02-24 17:22 秋叶落日 阅读(1146) 评论(0) 推荐(0) 编辑
摘要: 1 引擎:Hi!Spider, 你要处理哪一个网站? 2 Spider:老大要我处理xxxx.com。 3 引擎:你把第一个需要处理的URL给我吧。 4 Spider:给你,第一个URL是xxxxxxx.com。 5 引擎:Hi!调度器,我这有request请求你帮我排序入队一下。 6 调度器:好的 阅读全文
posted @ 2021-02-03 14:37 秋叶落日 阅读(66) 评论(0) 推荐(0) 编辑
摘要: 一、下载包 pip install redis redis支持的5种数据结构 1、字符串(strings) 2、链表(lists) 3、集合(sets) 4、有序集合(order set) 5、hash (列表) 字符串的操作 1、set key value ex(px) # 设置单个数据下的值超时 阅读全文
posted @ 2021-02-03 13:49 秋叶落日 阅读(387) 评论(0) 推荐(0) 编辑