摘要: 环境搭建 本次爬去糗事百科,爬取地址:http://www.qiushibaike.com/8hr/page/1/ python3 代码示例 import requests import threading from queue import Queue from lxml import etree 阅读全文
posted @ 2018-09-04 19:10 逐梦客! 阅读(249) 评论(0) 推荐(0)
摘要: lxml官网:https://lxml.de/ 目前有很多xml,html文档的parser,如标准库的xml.etree , beautifulsoup , 还有lxml. 都用下来感觉lxml不错,速度也还行,就他了. 围绕三个问题: 问题1:有一个XML文件,如何解析 问题2:解析后,如果查找 阅读全文
posted @ 2018-09-04 15:52 逐梦客! 阅读(574) 评论(0) 推荐(0)
摘要: 一、选取节点 常用的路劲表达式: 二、谓语 谓语被嵌在方括号内,用来查找某个特定的节点或包含某个制定的值的节点 实例: 三、通配符 Xpath通过通配符来选取未知的XML元素 四、取多个路径 使用“|”运算符可以选取多个路径 五、Xpath轴 轴可以定义相对于当前节点的节点集 六、功能函数 使用功能 阅读全文
posted @ 2018-09-04 14:25 逐梦客! 阅读(96) 评论(0) 推荐(0)
摘要: Github:https://github.com/json-path/JsonPath 文档:http://goessner.net/articles/JsonPath/ python jsonpath:https://pypi.org/project/jsonpath/#files 安装命令: 阅读全文
posted @ 2018-09-04 12:56 逐梦客! 阅读(498) 评论(0) 推荐(0)
摘要: 作者:武沛齐 出处:http://www.cnblogs.com/wupeiqi/articles/5246483.html Model 到目前为止,当我们的程序涉及到数据库相关操作时,我们一般都会这么搞: 创建数据库,设计表结构和字段 使用 MySQLdb 来连接数据库,并编写数据访问层代码 业务 阅读全文
posted @ 2018-09-04 11:19 逐梦客! 阅读(619) 评论(0) 推荐(0)
摘要: 1、~:表示用户家目录,如: cd ~ 回到用户家目录。如果是以root身份登录,则回到/root/目录下 2、Linux source命令: 通常用法:source filepath 或 . filepath 功能:使当前shell读入路径为filepath的shell文件并依次执行文件中的所有语 阅读全文
posted @ 2018-09-04 11:19 逐梦客! 阅读(146) 评论(0) 推荐(0)
摘要: 下载地址 新浪:http://tech.sina.com.cn/down/ 阅读全文
posted @ 2018-09-04 11:15 逐梦客! 阅读(123) 评论(0) 推荐(0)