摘要： 什么是http和https协议 http协议：全称是HyperText Transfer Protocol，中文意思是超文本传输协议，是一种发布和接受HTML页面的方法，服务器端口号是80端口。 https协议：是HTTP协议的加密版本，在HTTP下加入了SSL层。服务器端口号是443端口。 在浏览 阅读全文

摘要： 爬虫基础 爬虫前奏 http协议 urllib库 持续更新 阅读全文

摘要： 爬虫的实际例子 什么是爬虫 1. 通俗理解，爬虫是模拟人请求网站的程序。可以自动请求网页，并将数据抓取下来，然后使用一定的规则提取有价值的数据。 2. 专业介绍：百度百科 通用爬虫和聚焦爬虫 1. 通用网络爬虫是捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分。主要目的是将互 阅读全文

摘要： Scrapy 框架的介绍 Scrapy 是一个基于Twisted的异步处理框架，是纯Python实现的爬虫框架，其架构清晰模块之间的耦合成都低，可扩展性极强，可以灵活完成各种需求。我们只需要定制开发几个模块就可以轻松实现一个爬虫。 1. 架构介绍 它可以分为如下几个部分。 Engine 引擎，处理整 阅读全文

摘要： 1、每次启动需要配置启动文件 mongod --dbpath G:\data\db 执行完上面命令再打开一个新的窗口执行 mongo 也可通过后台参数启动mongo： ./mongod -dbpath /data/mongo/ -logpath /data/mongo/mongo.log -loga 阅读全文

摘要： 客户端使用navicat for mysql。本地安装了mysql 8.0。但是在链接的时候提示： 主要原因是mysql服务器要求的认证插件版本与客户端不一致造成的。 打开mysql命令行输入如下命令查看，系统用户对应的认证插件： 可以看到root用户使用的plugin是caching_sha2_p 阅读全文

摘要： 1：strip()方法，去除字符串开头或者结尾的空格 >>> a = " a b c " >>> a.strip() 'a b c' 2：lstrip()方法，去除字符串开头的空格 >>> a = " a b c " >>> a.lstrip() 'a b c ' 3：rstrip()方法，去除字符 阅读全文

摘要： 使用XPath XPath,全称XML Path Language,即XML路径语言，它是一门在xml文档中查找信息的语言。它最初是用来搜寻XML文档的，但是它同样使用于HTML文档的搜索。 所以在做爬虫时，我们完全可以使用XPath来做相应的信息抽取。 XPath 常用规则 表 达 式 描 述 n 阅读全文

摘要： 主流的匹配字符有两种 [\u4e00-\u9fa5]和[\u2E80-\u9FFF]，后者范围更广，包括了日韩地区的汉字 阅读全文

摘要： window.navigator.userAgent 1) Chrome Win7: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1 2) Firefox Win7: Mozilla/5.0 (Windows NT 6.1;... 阅读全文