Fate0729

摘要： json简介 json是一种轻量级的数据交换格式 完全独立于编程语言的文本格式来存储和表示数据 简单和清晰的层次结构使得json成为理想的数据交换语言。易于阅读和编写，易于机器解析和生成，并有效地提升网络传输效率 json相比于xml来讲，数据体积小，传输速度快，格式都是压缩的 json格式语法上与 阅读全文

摘要： 1. 检查robots.txt 大多数网站都会定义一robots.txt文件，这样可以了解爬取该网站时存在哪些限制，在爬取之前检查robots.txt文件这一宝贵资源可以最小化爬虫被封禁的可能，而且还能发现和网站结构相关的线索。 输入http://example.webscraping.com/ro 阅读全文

摘要： os.path常用函数 示例 参考：https://www.cnblogs.com/wuxie1989/p/5623435.html 阅读全文

摘要： pickle模块常用函数 示例 >>> [[1, 1, 'yes'], [1, 1, 'yes'], [1, 0, 'no'], [0, 1, 'no'], [0, 1, 'no']] >>> {0: [1, 2, 3, 4], 1: ('a', 'b'), 2: {'c': 'yes', 'd': 阅读全文

摘要： xpath表达式格式 xpath通过"路径表达式"来选择节点，在表现形式上与传统的文件系统类似 绝对路径（absolute path）必须用"/"起首，后面紧跟根节点，比如/step/step/... 相对路径（relative path）则是除了绝对路径以外的其他写法，比如 step/step，也 阅读全文