04 2018 档案

Python3爬虫（五）解析库的使用之XPath
摘要：Infi-chu: http://www.cnblogs.com/Infi-chu/ XPath： 全称是 XML Path Language，XML路径语言，它是一门在XML文档中和HTML文档中查找信息的语言 1.XPath常用规则 表达式 描述 nodename 选取此节点的所有子节点 / 从 阅读全文
posted @ 2018-04-27 11:23 Infi_chu 阅读(6602) 评论(0) 推荐(0)
Python3爬虫（四）请求库的使用requests
摘要：Infi-chu: http://www.cnblogs.com/Infi-chu/ 一、基本用法： 1. 安装： 2. 例子： 【注】其余请求方法也是一样的 3. GET请求： 例子 若想在url中添加参数有两种方式： a. 直接添加 b. 通过params参数添加 网页的返回类型是str类型，是 阅读全文
posted @ 2018-04-27 10:12 Infi_chu 阅读(1194) 评论(0) 推荐(0)
Python3爬虫（三）请求库的使用之urllib
摘要：Infi-chu: http://www.cnblogs.com/Infi-chu/ 一、urllib库： 1. 是Python内置的HTTP请求库 2. 在Python2中，由urllib和urllib2之分，而在Python3中，统一为urllib 3. 主要包含模块： request：最基本的 阅读全文
posted @ 2018-04-26 11:49 Infi_chu 阅读(1602) 评论(0) 推荐(0)
生产Web架构优化方案（动态转静态）
摘要：Infi-chu: http://www.cnblogs.com/Infi-chu/ 一、门户新闻业务： 1. 特点：网页一旦发布，再次改动网页内容的几率很低，新闻业务内容的静态化相对比较简单 2. 步骤： a. 程序要支持发布的内容有动态转成静态的功能。 b. 运营编辑人员发布新闻网页后，后台程序 阅读全文
posted @ 2018-04-25 14:54 Infi_chu 阅读(382) 评论(0) 推荐(0)
Python3爬虫（二）网络爬虫的尺寸与约束
摘要：Infi-chu: http://www.cnblogs.com/Infi-chu/ 一、网络爬虫的尺寸： 1.小规模，数据量小，爬取速度不敏感，Requests库，爬取网页 2.中规模，数据规模较大，爬取速度敏感，Scrapy库，爬取网站 3.大规模，大规模，搜索引擎，爬取速度很关键，定制开发，爬 阅读全文
posted @ 2018-04-25 13:02 Infi_chu 阅读(960) 评论(1) 推荐(0)
Python3爬虫（一）HTTP相关基础
摘要：Infi-chu: http://www.cnblogs.com/Infi-chu/ 一、URI、URL、URN、HTTP URI：统一资源标志符 URL：是URI的一个子集 URN：是URI的另一个子集，统一资源名称 HTTP协议： 超文本传输协议，是一个基于“请求与响应”模式的、无状态的引用层协 阅读全文
posted @ 2018-04-25 11:54 Infi_chu 阅读(818) 评论(0) 推荐(0)