逐梦的猫 - 博客园

VM安装linux2022、设置root密码、设置国内更新源

摘要：一、创建虚拟机 1、打开VM软件选择“创建新的虚拟机” 2、选择“典型”即可 3、选择“稍后安装操作系统” 4、选择客户机操作系统为“Linux” 5、自定义命名虚拟机名称和选择存放位置 6、设置磁盘容量（建议40G以上） 7、设置“自定义硬件” 8、内存设置（建议4G起步） 9、处理器设置（建议最阅读全文

posted @ 2023-03-02 12:51 逐梦的猫阅读(373) 评论(0) 推荐(0)

向mysql插入数据是出现Incorrect string value错误

摘要：在向Mysql中添加中文数据时,报错(incorrect string value ) 字符转换不正确插入语句：mysql> insert into user1 (name,password,email,age) values ('zs',md5('123456'),'zs@sohu.com',3 阅读全文

posted @ 2022-02-13 10:43 逐梦的猫阅读(1858) 评论(0) 推荐(0)

python翻译（二）

摘要：百度翻译，通过设置参数可可以实现翻译为指定语种 baidujs1.js var i = "320305.131321201" function n(r, o) { for (var t = 0; t < o.length - 2; t += 3) { var a = o.charAt(t + 2); 阅读全文

posted @ 2021-03-03 23:47 逐梦的猫阅读(248) 评论(0) 推荐(0)

python翻译（一）

摘要：有道翻译 # -*- coding: UTF-8 -*- import requests import time import random import hashlib #用于md5加密 ''' 有道js加密代码 define("newweb/common/service", ["./utils" 阅读全文

posted @ 2021-03-03 23:41 逐梦的猫阅读(123) 评论(0) 推荐(0)

python读取xml格式数据

摘要：读取节点文本值和，属性值 # -*- coding: UTF-8 -*- from xml.dom import minidom dom=minidom.parse('F:\\python_project\\爬虫\\双色球\\shuangseqiu.xml') root=dom.documentEl 阅读全文

posted @ 2021-02-23 19:07 逐梦的猫阅读(566) 评论(0) 推荐(0)

python存储xml格式数据

摘要：例子 import xml.dom.minidom # 在内存中创建一个空的文档 doc = xml.dom.minidom.Document() # 创建一个根节点Managers对象 root = doc.createElement('Managers') # 设置根节点的属性 root.set 阅读全文

posted @ 2021-02-22 18:37 逐梦的猫阅读(474) 评论(1) 推荐(1)

scrapy中发送post请求

摘要： 1、可以使用`yield scrapy.FormRequest(url,formdata,callback)`方法发送POST请求。其中构造参数formdata可以是字典，也可以是可迭代的（key,value）元组，代表着需要提交的表单数据。 2、如果希望程序执行一开始就发送POST请求，可以重写阅读全文

posted @ 2021-02-07 19:53 逐梦的猫阅读(388) 评论(0) 推荐(0)

Scrapy之Request函数回调未执行 Filtered offsite request to 'XXX'

摘要：在爬取免费代理ip室发现，第一页爬取之后后续的多页爬取没有被解析。在查看调试信息时发现显示 Filtered offsite request to 'www.kuaidaili.com'，经网上查找先关问题解决方案，发现为域名爬取限制，即allowed_domains = ['www.kuaidai 阅读全文

posted @ 2021-02-02 19:46 逐梦的猫阅读(232) 评论(0) 推荐(0)

scrapy框架学习（六）日志设置和数据存储

摘要：日志设置 CRITICAL ：严重错误 ERROR ：一般错误 WARNING : 警告 INFO : 一般的信息 DEBUG ：调试信息默认的显示级别是DEBUG # 设置错误显示级别 LOG_LEVEL = 'DEBUG' # 将日志信息写到文件中，不要显示到屏幕中 LOG_FILE = 阅读全文

posted @ 2021-01-30 20:28 逐梦的猫阅读(257) 评论(0) 推荐(0)

scrapy框架学习（五）定义数据结构和多页爬取

摘要：定义数据结构和多页爬取定义数据结构在items.py文件中定义你要提取的内容（定义数据结构），比如我提取的内容为用户名name、用户头像链接face_src、好笑数funny、评论数comment，我就创建4个变量。Field方法实际上的做法是创建一个字典，给字典添加一个建，暂时不赋值，等待提取阅读全文

posted @ 2021-01-29 22:34 逐梦的猫阅读(251) 评论(0) 推荐(0)