09 2019 档案

scrapy 图片爬取 多层多页 保存不同的文件夹 重命名full文件夹
摘要：记录下整个爬虫代码，我已经把实验网站爬完了。。 items.py spider.py settings.py pipelines.py 结果： 阅读全文
posted @ 2019-09-29 14:32 再次路过之 阅读(1598) 评论(0) 推荐(0)
安装Python + PyCharm + PyQt5配套设置
摘要：1、安装Python 访问官网https://www.python.org/，下载并安装你的目标Python版本。 2、安装PyQt5 1）进入cmd界面。执行命令 pip install pyqt5 pyqt5-tools ，等待一会儿，命令执行完毕后PyQt5就安装好了。 在python 自带的 阅读全文
posted @ 2019-09-18 11:14 再次路过之 阅读(2528) 评论(0) 推荐(0)
python用pymysql模块操作数据库MySQL,实现查增删改
摘要：这里主要写四个函数，查增删改 下面是目标数据库的样式，数据库：testpy，数据表：movie1，（拼错了不改了,猪啊），有四个字段，id是主键。 查，下面的例子加个函数名就可以运行了 增 删 改 上面的四个函数写在一个py里，调用函数即可，自己备份一下用法。 阅读全文
posted @ 2019-09-09 13:29 再次路过之 阅读(1487) 评论(0) 推荐(0)
Navicat导入TXT文档到Mysql， excel文档导入用同样操作
摘要：1.先做TXT文档的格式工作，另存为UTF-8的txt格式。 然后再文档最顶端，命名跟数据库一样的列名，方便后面识别 2.点击导入 3.选择txt导入向导 4.选择txt文件的位置 5.这里如果是用tab隔开的数据，如图，就不用动，全部默认 6.因为我们前面使用了跟数据库列名一样的名字，这里也不用动 阅读全文
posted @ 2019-09-08 13:06 再次路过之 阅读(1291) 评论(0) 推荐(0)
MySQL 数据库常用命令
摘要：一、操作技巧 1、如果你打命令时，回车后发现忘记加分号，你无须重打一遍命令，只要打个分号回车就可以了。 也就是说你可以把一个完整的命令分成几行来打，完后用分号作结束标志就OK。 2、你可以使用光标上下键调出以前的命令。 二、显示命令 1、显示当前数据库服务器中的数据库列表： mysql> SHOW 阅读全文
posted @ 2019-09-08 11:11 再次路过之 阅读(2063) 评论(0) 推荐(0)
程序猿也要学英语
摘要：发音，这个应该算是学习英语的头等大事，如果没有机会和条件练好发音，也可以先将就着，不过后面你就会感觉到你说的人家可能会听不懂，我自己也曾经深受其害。 基本常用单词积累（大概2000~4000左右的词汇量就可以了，这个跟汉语一样，属于最基本的积累），可以借助一些单词小软件。 走遍美国（一共78集，每集 阅读全文
posted @ 2019-09-08 10:50 再次路过之 阅读(212) 评论(0) 推荐(0)
scrapy 爬取链家网站房价爬虫 多页爬取
摘要：直接上代码，顺便在这里记录，时间2190906. 刚开始爬贝壳网的，发现有反爬虫，我也不会绕，换了链家网，原来中文也可以做变量。 spider.py item.py settings.py 只用到了3个y文件，其他的都是命令生成的，保持默认。 执行结果： 阅读全文
posted @ 2019-09-06 11:14 再次路过之 阅读(1679) 评论(0) 推荐(0)
Scrapy 实现爬取多页数据 多层url数据爬取 meta传递 链接为相对路径
摘要：提取电影网站的片名，导演，影片播放地址。 item.py spider,py settings.py 1 FEED_EXPORT_ENCODING ='utf-8' #插入这两行，解码成中文，不然出现的是乱码 2 FEED_EXPORT_ENCODING = 'gb18030' 运行 scrapy 阅读全文
posted @ 2019-09-04 09:16 再次路过之 阅读(1560) 评论(0) 推荐(0)
scrapy 爬取图片 最基本操作
摘要：使用scrapy里自带的Image功能下载,下面贴代码，解释在代码的注释里。 items.py settings.py spider.py(这里是carhome） pipelines.py 代码就这么多，下面执行一下： 文件夹结果： 还不会的快去试试吧！ 阅读全文
posted @ 2019-09-02 21:34 再次路过之 阅读(1902) 评论(0) 推荐(0)
python 文件操作 os模块 常用函数
摘要：python编程时，经常和文件、目录打交道，这是就离不了os模块。os模块包含普遍的操作系统功能，与具体的平台无关。以下列举常用的命令 1. os.name——判断现在正在实用的平台，Windows 返回 ‘nt'; Linux 返回’posix' 用python IDLE测试，可以直接返回结果，如 阅读全文
posted @ 2019-09-02 17:12 再次路过之 阅读(1503) 评论(0) 推荐(0)
python 文件操作 基本篇
摘要：1、打开文件 with语句的语法 with open('1.txt','r') as f: print(f.read()) 2.操作文件 1）写文件 函数格式：write(str)返回值：返回所写入文件的字符串中的字符数。说明：该函数可以一次性写入一个字符串内容，到文件中。每次写入文件是，如果使用的 阅读全文
posted @ 2019-09-02 14:38 再次路过之 阅读(327) 评论(0) 推荐(0)
pyspider 安装报错 先安装pycurl就OK了
摘要：pip install pyspider 最终解决方案：（参考 http://www.v2ex.com/t/173842） 1： http://www.lfd.uci.edu/~gohlke/pythonlibs/ 下载 pycurl-7.19.5.3-cp27-none-win_amd64.whl 阅读全文
posted @ 2019-09-01 17:56 再次路过之 阅读(470) 评论(0) 推荐(0)