摘要：1.安装和引用 安装方法: pip install pyquery 引用方法: from pyquery import PyQuery as pq 2.使用方法 2.1 初始化方法 from pyquery import PyQuery as pq doc = pq(html) # 解析html字符 阅读全文

摘要：1.Scrapy简介 scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以实现网站抓取，数据存储等操作。 2.各组件作用 Scrapy Engine 引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。此组件相当于爬虫的"大脑"，是整个爬虫的调度中心。 调度器( 阅读全文

摘要：1.pip国内的一些镜像 阿里云 http://mirrors.aliyun.com/pypi/simple/ 中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/ 豆瓣(douban) http://pypi.douban.com/simple/ 清华大学 阅读全文

摘要：csdn python笔记:https://edu.csdn.net/notebook/python/ 廖雪峰Python笔记:https://www.liaoxuefeng.com/wiki/1016959663602400 阅读全文

摘要：1XPath简介 说明 XPath语法 1.Xpath常用规则 nodename选取此节点的所有子节点/从当前节点选取直接子节点//从当前节点选取子孙节点.选取当前节点..选取当前节点的父节点@选取属性 这这里列出了,xpath的常用规则, //title[@lang="eng"],代表获取所有名称 阅读全文