休耕

摘要： 一、介绍 持久化存储操作分为两类： 磁盘文件 和 数据库 。 而磁盘文件存储方式又分为： 基于终端指令 和 基于管道 二、基于终端指令的持久化存储 Scrapy是通过 scrapy 命令行工具进行控制的。 这里我们称之为 “Scrapy tool” 以用来和子命令进行区分。 对于子命令，我们称为 “ 阅读全文

摘要： 一、Scrapy介绍 1、Scrapy是什么 Scrapy 是一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取AP 阅读全文

摘要： 一、selenlum介绍 selenium这个三方库，最初是一个自动化测试工具，可以实现让浏览器完成自动化的操作。 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器。 而爬虫中使用它主要是为了解决 requests无 阅读全文

摘要： 一、lxml介绍 第三方库lxml是第一款表现出高性能特征的python xml库，天生支持Xpath1.0、XSLT1.0、定制元素类，甚至python风格的数据绑定接口。lxml是通过Cpython实现的，构建在两个C库上（libxml2和libxslt），为执行解析、序列化、转换等核心任务提供 阅读全文

摘要： 一、urllib介绍 urllib是python中自带的一个基于爬虫的模块， 作用：urllib 模块是一个高级的 web 交流库，其核心功能就是模仿web浏览器等客户端，去请求相应的资源，并返回一个类文件对象。可以使用代码模拟浏览器发起请求。 详见官网资料：2.7.5：urllib — Open 阅读全文

摘要： 一、Jupyter Notebook介绍 1、什么是Jupyter Notebook Jupyter Notebook是基于网页的用于交互计算的应用程序。其可被应用于全过编码开发、文档编写、运行代码和展示结果。——Jupyter Notebook官方介绍。 简而言之，Jupyter Notebook 阅读全文

摘要： 一、介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航、查找、修改文档的方式。Beautiful Soup会帮你节省数小时甚至数天的工作时间。Beautiful Soup 3 目前已经停止开发,官网推荐在现在的项 阅读全文

摘要： 一、requests介绍 Python标准库中提供了：urllib、urllib2、httplib等模块以供Http请求，但是它的 API 太渣了。它是为另一个时代、另一个互联网所创建的。它需要巨量的工作，甚至包括各种方法覆盖，来完成最简单的任务。 import urllib2 import jso 阅读全文

摘要： 一、爬虫是什么 1、什么是互联网？互联网建立的目的？ 互联网由网络设备和一台台计算机连接而成，像一张网一样。 互联网的核心价值在于数据的共享/传递：数据是存放于一台台计算机上的，而将计算机互联到一起的目的就是为了能够方便彼此之间的数据共享/传递，否则你只能拿U盘去别人的计算机上拷贝数据了。 2、什么 阅读全文

摘要： 一、版本控制 假设你在的公司要上线一个新功能，你们开发团队为实现这个新功能，写了大约5000行代码，上线没2天，就发现这个功能用户并不喜欢，你老板让你去掉这个功能。 急需要一个工具，帮你记录每次对代码做了哪些修改，并且可以轻易的把代码回滚到历史上的某个状态。 这个神奇的工具就叫做版本控制。 版本控制 阅读全文