程序员宋雨

摘要： 图形验证码识别技术： 阻碍我们爬虫的。有时候正是在登录或者请求一些数据时候的图形验证码。因此这里我们讲解一种能将图片翻译成文字的技术。将图片翻译成文字一般被成为光学文字识别（Optical Character Recognition），简写为OCR。实现OCR的库不是很多，特别是开源的。因为这块存在 阅读全文

摘要： 多线程爬虫 有些时候，比如下载图片，因为下载图片是一个耗时的操作。如果采用之前那种同步的方式下载。那效率肯会特别慢。这时候我们就可以考虑使用多线程的方式来下载图片。Pycharm激活注册码教程使用更多解释请见：https://vrg123.com/ 多线程介绍： 多线程是为了同步完成多项任务，通过提 阅读全文

摘要： 安装mysql： 在官网：https://dev.mysql.com/downloads/windows/installer/5.7.html 如果提示没有.NET Framework框架。那么就在提示框中找到下载链接，下载一个就可以了。 如果提示没有Microsoft Virtual C++ x6 阅读全文

摘要： csv文件处理 读取csv文件： import csv with open('stock.csv','r') as fp: reader = csv.reader(fp) titles = next(reader) for x in reader: print(x) 这样操作，以后获取数据的时候，就 阅读全文

摘要： 什么是正则表达式： 通俗理解：按照一定的规则，从某个字符串中匹配出想要的数据。这个规则就是正则表达式。 一个段子： 世界是分为两种人，一种是懂正则表达式的，一种是不懂正则表达式的。 Pycharm注册码安装教程资料：vrg123.com 正则表达式常用匹配规则： 匹配某个字符串： text = 'h 阅读全文

摘要： 和 lxml 一样，Beautiful Soup 也是一个HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 数据。lxml 只会局部遍历，而Beautiful Soup 是基于HTML DOM（Document Object Model）的，会载入整个文档，解析整个DOM树， 阅读全文

摘要： XPath语法和lxml模块 什么是XPath？ xpath（XML Path Language）是一门在XML和HTML文档中查找信息的语言，可用来在XML和HTML文档中对元素和属性进行遍历。 XPath开发工具 Chrome插件XPath Helper。 Firefox插件Try XPath。 阅读全文

摘要： requests库 虽然Python的标准库中 urllib模块已经包含了平常我们使用的大多数功能，但是它的 API 使用起来让人感觉不太好，而 Requests宣传是 “HTTP for Humans”，说明使用更简洁方便。 安装和文档地址： 利用pip可以非常方便的安装： pip install 阅读全文

摘要： urllib库 urllib库是Python中一个最基本的网络请求库。可以模拟浏览器的行为，向指定的服务器发送一个请求，并可以保存服务器返回的数据。 urlopen函数： 在Python3的urllib库中，所有和网络请求相关的方法，都被集到urllib.request模块下面了，以先来看下urlo 阅读全文

摘要： http协议和Chrome抓包工具 什么是http和https协议： HTTP协议：全称是HyperText Transfer Protocol，中文意思是超文本传输协议，是一种发布和接收HTML页面的方法。服务器端口号是80端口。 HTTPS协议：是HTTP协议的加密版本，在HTTP下加入了SSL 阅读全文