月见空青

摘要： 官先去网下载点击MySQL的下载 下载完成后解压 解压完是这个样子 配置初始化的my.ini的文件解压后的目录并没有my.ini文件，没关系可以自行创建。在安装根目录下添加my.ini（新建文本文件，将文件类型改为.ini），写入基本配置： 安装MySQL 在安装时，尽量用管理员身份运行CMD，否则 阅读全文

摘要： scrapy的Selector选择器其实也可以用来解析，今天主要总结下css和xpath的用法，其实我个人最喜欢用css 以慕课网嵩天老师教程中的一个网页为例，python123.io/ws/demo.html 解析是提取信息的一种手段，主要提取的信息包括：标签节点、属性、文本，下面从这三个方面来分 阅读全文

摘要： 数据存储一般使用本地或者存储在数据库，MongoDB是一个非关系型数据库，今天小结下走过的一些坑。 1、网上的很多教程对自己无效 解决方法：这种情况一般都是和版本有关系，数据库在不断的更新发展，很多东西可能发生变化，建议找教程的时候按照特定的版本进行查找，否则很容易就入坑了 2、以前安装过的Mong 阅读全文

摘要： 一、scrapy生成csv文件会有多余的空行 当使用scrapy crawl testspider -o test.csv后，生成的默认csv文件每一行之间是有空行的，解决的方法是修改scrapy的源代码 首先打开C:\Users\fengyun\AppData\Local\Programs\Pyt 阅读全文

摘要： 最终目的：能通过输入关键字进行搜索，爬取相应的图片存储到本地或者数据库 首先打开百度图片的网站，搜索任意一个关键字，比如说：水果，得到如下的界面 分析： 1、百度图片搜索结果的页面源代码不包含需要提取的图片信息，需要借助Chrome调试工具（F12调出）分析请求的URL地址 2、图片显示页面没有翻页 阅读全文

摘要： 之前都是用phantomjs和selenium模拟浏览器动作的，后来phantomjs不再更新，就转用chrome了 本次模拟登录的网站是中国知网http://login.cnki.net/login/?platform=kns&ReturnURL=http://nvsm.cnki.net/ 分析： 阅读全文

摘要： http://my.cnki.net/elibregister/CheckCode.aspx每次刷新该网页可以得到新的验证码进行测试 以我本次查看的验证码图片为例，右键保存图片为image.jpg 下面用代码来对该图片验证码进行识别： 最后输出结果：P4CJ，代表图片验证码识别成功。 对于图片上有线 阅读全文

摘要： 待爬取的网页地址为https://maoyan.com/board/4，本次以requests、BeautifulSoup css selector为路线进行爬取，最终目的是把影片排名、图片、名称、演员、上映时间与评分提取出来并保存到文件。 初步分析：所有网页上展示的内容后台都是通过代码来完成的，所 阅读全文

摘要： 备查： 阅读全文

摘要： 1.先安装git yum install git -y 2.克隆pyenv到本地 git clone git://github.com/yyuu/pyenv.git .pyenv 3.对pyenv环境配置 echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.b 阅读全文