随笔分类 -  python

爬虫 （6）- Scrapy 实战案例 - 爬取不锈钢的相关钢卷信息
摘要：超详细创建流程及思路 一. 新建项目 1.创建文件夹，然后在对应文件夹创建一个新的python项目 2.点击Terminal命令行窗口，运行下面的命令创建scrapy项目 二、明确目标 1.我们打算抓取2018年1月到8月，佛山市场各个公司关于304钢卷的价格、规格等数据； （1）打开mySpide 阅读全文
posted @ 2018-09-17 17:28 shifu204 阅读(529) 评论(0) 推荐(0)
爬虫 （5）- Scrapy 框架简介与入门
摘要：Scrapy 框架 Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。 框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。 Scrapy 使用了 Twisted['twɪstɪd](其主要对手 阅读全文
posted @ 2018-09-17 17:22 shifu204 阅读(379) 评论(0) 推荐(0)
爬虫 （4）- Selenium与PhantomJS（chromedriver）与爬取案例
摘要：Selenium文档 Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，类型像我们玩游戏用的按键精灵，可以按指定的命令自动操作，不同是Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器）。 Selenium 可以根据 阅读全文
posted @ 2018-09-17 15:56 shifu204 阅读(1195) 评论(0) 推荐(0)
爬虫 （3）- lxml库和贴吧图片下载案例
摘要：lxml库 lxml 是 一个HTML/XML的解析器，主要的功能是如何解析和提取 HTML/XML 数据。 lxml和正则一样，也是用 C 实现的，是一款高性能的 Python HTML/XML 解析器，我们可以利用之前学习的XPath语法，来快速的定位特定元素以及节点信息。 lxml pytho 阅读全文
posted @ 2018-09-17 15:34 shifu204 阅读(531) 评论(0) 推荐(0)
爬虫 （1）- 简介与概念
摘要：一、"大数据时代"，数据获取的方式 1. 企业生产的用户数据：大型互联网公司有海量用户，所以他们积累数据有天然的优势。 有数据意识的中小型企业，也开始积累的数据。 2. 数据管理咨询公司：通常这样的公司有很庞大的数据采集团队，一般会通过市场调研、问卷调查、固定的样本检测， 和各行各业的公司进行合作、 阅读全文
posted @ 2018-09-17 14:21 shifu204 阅读(265) 评论(0) 推荐(0)
selenium 自动化工具
摘要：问题 今天在使用selenium+PhantomJS动态抓取网页时，出现如下报错信息： 翻译过来就是：selenium已经放弃PhantomJS，了，建议使用火狐或者谷歌无界面浏览器。 解决办法： 我们就改用 Selenium + Headless Chrome 1.安装Chrome浏览器 2.安装 阅读全文
posted @ 2018-07-10 17:37 shifu204 阅读(454) 评论(0) 推荐(0)
python 开发技巧（0）-- 各个系统的python安装
摘要：window安装 Python的安装： 1.进入Python官方网站下载安装包 点击导航栏的 Downloads 会自动识别你的windows系统 你会看到 Python3.6.2 和 Python2.7.13 （32位系统）的安装包 注：Python3以后版本不再向Python2进行兼容，所有如果 阅读全文
posted @ 2018-06-13 18:39 shifu204 阅读(205) 评论(0) 推荐(0)
python 开发技巧（4）-- 用PyCharm实用技巧（我自己常用的）
摘要：pycharm快捷键 1.快速导入类 2.追踪类和方法的定义 3.复制当前行 4.移动当前行 5.快速提示并且导入需要的包 正常开发的时候，我们都手动去写要引入到包，但是怎么可能记住这么多包在哪个模块，所以这个快捷能够提示并且帮你导入 1.设置pycharm的自动导入包功能，这个一般默认 2.设置快 阅读全文
posted @ 2018-05-24 17:17 shifu204 阅读(304) 评论(0) 推荐(0)
python 开发技巧（3）-- 连接mysql 出现错误 ModuleNotFoundError: No module named 'MySQLdb'
摘要：python3中使用mysql报错ModuleNotFoundError: No module named 'MySQLdb' 原因是：在python2.x中用mysqldb，但是在python3.x中已经不支持那个组件了。取而代之的是： import pymysql 1、在项目文件夹下的_init 阅读全文
posted @ 2018-05-24 16:42 shifu204 阅读(7346) 评论(0) 推荐(1)
python 开发技巧（2）-- Django的安装与使用
摘要：一、安装Django 或者直接使用PyCharm安装 参考 二、添加环境变量 将 "(python安装路径)\Scripts" 添加到环境变量 三、生成Django项目 四、运行项目 进入项目中输入 阅读全文
posted @ 2018-05-23 11:33 shifu204 阅读(235) 评论(0) 推荐(0)
python 开发技巧（1）-- 用PyCharm安装第三方库
摘要：在python开发中，我们经常需要安装一些python的第三方类库，包等等，用PyCharm就会安装就会超级方便 1.打开上面的小扳手 2.点击页面左边的Project Interpreter 3.点击左边的加号按钮 4.填写需要导入的库名 5.点击Install进行安装 比较常见的错误就是安装不了 阅读全文
posted @ 2018-05-11 12:52 shifu204 阅读(867) 评论(0) 推荐(0)