云野Winfield

摘要： "scrapy官方文档" Scrapy架构 Engine：引擎，负责整个系统的数据流处理，触发事务，是整个框架的核心 Scheduler：调度器，负责组织请求队列 Downloader：下载器，负责发送请求，下载内容 Spiders：蜘蛛，负责解析策略 Item、Pipline：管道组件，负责处理s 阅读全文

摘要： 模拟浏览器的动机 JS动态渲染的页面不止Ajax一种 很多网页的Ajax接口含有加密参数，分析其规律的成本过高 通过对浏览器运行方式的模拟，我们将做到： 可见即可爬 Python中常用的模拟浏览器运行的库为Selenium和Splash Splash 一个很不错的介绍：https://www.jia 阅读全文

摘要： Ajax的基本原理 以 "菜鸟教程的代码" 为例： XMLHTTPRequest对象是JS对Ajax的底层实现： 调用onreadystatechange属性实现响应监听： 调用open()和send()方法向服务器发送请求： 综上，Ajax数据爬取的关键是JS分析，只要找到JS的请求参数，我们就能 阅读全文

摘要： 输出： 阅读全文

摘要： 下载地址：https://www.mongodb.com/download center/community 安装及配置指南：https://docs.mongodb.com/manual/installation/ tutorial installation pymongo文档：https://a 阅读全文

摘要： CSS选择器 "CSS 选择器参考手册" XPath XPath也叫XML路径语言，用来搜索XML文档 "w3cschool教程" "XPath语法速记" 在python中，一般使用lxml库来实现XPath解析： Beautiful Soup Beautiful Soup是在其他解析器(包括lxm 阅读全文

摘要： 2019年4月24日 err on the side of... 意为“宁愿过于……；力求” err /ɜː/ 不及物动词，意为“犯错误” forge /fɔːdʒ/ 及物动词，意为“（尤指努力地）开创；开拓” dawn on sb 意为“开始明白” perimeter /pə'rɪmɪtə/ 可数 阅读全文

摘要： 正则表达式 "正则表达式30分钟入门教程" "runoob正则式教程" "正则表达式练习题集(附答案)" 元字符 代表单词的分界处，在英文中指空格，标点符号或换行 例子： 可以用来匹配hi这个单词，且不会匹配到him，china或sushi. 注意\b并不匹配任何字符，它只匹配一个位置 元字符 代表 阅读全文

摘要： 第一章 哲学视域下的意识难题 结论：生理变化对人的意识具有决定性的影响，人的思想不过是大脑生理活动的产物 论据1：CT扫描大脑，可以发现人的思维活动与大脑特定脑区的活跃状态存在关联 论据2：大量现代医学实践证明：当大脑发生生理变化后，人的思想（性格，认知能力，etc.）也会随之发生变化 论据3：人造 阅读全文

摘要： urllib urllib是Python3内置的HTTP请求库，它包含4个模块 request：HTTP请求模块，用来模拟发送请求 error：异常处理模块 parse：工具模块，提供了许多URL处理方法，包括拆分，解析，合并等 robotparser：用于识别网站的爬虫证书，该模块一般很少使用 发 阅读全文