随笔分类 -  python爬虫

python爬虫 tensseroce的安装
摘要：python爬虫 tensseroce的安装 简介 在爬虫过程中，难免会遇到各种各样的验证码，而大多数验证码还是图形验证码，这时候我们可以直接用OCR来识别 OCR OCR,光学字符识别，是指通过扫描字符，然后通过其形状将其翻译成电子文本的过程。对于图形验证码来说，它们都是一些不规则的字符，这些字符 阅读全文
posted @ 2020-10-25 12:40 等风吹来 阅读(131) 评论(0) 推荐(0)
python爬虫 解析库的安装（lxml、Beautiful Soup、pyquery）
摘要：python爬虫 解析库的安装（lxml、Beautiful Soup、pyquery） 简介 抓取网页代码之后，下一步就是从网页中提取信息。提取信息的方式有多种多样，可以使用正则来提取，但是写起来相对比较繁琐。这里还有许多强大的解析库，如lxml、Beautiful Soup、pyquery等，此 阅读全文
posted @ 2020-10-24 10:27 等风吹来 阅读(473) 评论(0) 推荐(0)
python爬虫 aiohttp的安装 (aiohttp 一个提供异步Web服务的库)
摘要：python爬虫 aiohttp的安装 简介 之前介绍的requests库是一个阻塞式的HTTP请求库，当我们发出一个请求后，程序会一直等待服务器相应，直到得到相应后，程序才会进行下一步处理，其实，这个过程比较耗费时间。如果程序可以在这个等待过程中做一些其他的事情，如进行请求的调度、响应的处理等，那 阅读全文
posted @ 2020-10-24 10:07 等风吹来 阅读(835) 评论(0) 推荐(0)
python爬虫 PhantomJS的安装
摘要：PhantomJS的安装 简介 PhantomJS是一个无界面的、可脚本编程的WebKit浏览器引擎，它原生支持多种Web标准：DOM操作、CSS选择器、JSON、Canvas以及SVG. Slenium支持PhantomJS,这样在运行的和时候就不会弹出一个浏览器了。而且PhantomJS的运行效 阅读全文
posted @ 2020-10-22 21:31 等风吹来 阅读(198) 评论(0) 推荐(0)
Ubuntu ChromeDriver的安装
摘要：相关链接 官方网站：http://sites.google.com/a/chromium.org/chromedriver 下载地址：http://chromedriver.storage.googleapis.com/index.html 查看Chrome版本 点击Chrome菜单“帮助”->关于 阅读全文
posted @ 2020-10-22 20:42 等风吹来 阅读(316) 评论(0) 推荐(0)
Ubuntu20.0.4 安装chrome浏览器
摘要：1.进入 Ubuntu 16.04 桌面，按下 Ctrl + Alt + t 键盘组合键，启动终端。 也可以按下 Win 键（或叫 Super 键），在 Dash 的搜索框中输入 terminal 或“终端”字样，Dash 即返回终端的结果，回车即可启动。 2.在终端中，输入以下命令： sudo w 阅读全文
posted @ 2020-10-22 20:28 等风吹来 阅读(838) 评论(0) 推荐(0)
Ubuntn 下搭建python人工智能环境
摘要：Ubuntn 下搭建python人工智能环境 为Python 3安装pip sudo apt install python3-pip 检验是否安装 pip3 --version 安装用于构建Python模块所需的开发工具 sudo apt install build-essential python 阅读全文
posted @ 2020-10-22 20:14 等风吹来 阅读(243) 评论(0) 推荐(0)
Windows 下安装Linux Ubuntu
摘要：Windows 下安装Ubuntu 18.04 LTS 在微软商店里安装Ubuntu 启动环境 1.控制面板->程序和功能->启用或关闭Windows功能->选中 适用于Linux的Windos子系统 不立即重启 2.设置->更新和安全->开发者选项->选中 开发人员模式 完成后重启 启动Ubunt 阅读全文
posted @ 2020-09-01 20:07 等风吹来 阅读(260) 评论(0) 推荐(0)