Pyppeteer 的使用
摘要:1.Pyppeteer 介绍 Puppeteer 是 Google 基于 Node.js 开发的一个工具,有了它我们可以通过 JavaScript 来控制 Chrome 浏览器的一些操作,当然也可以用作网络爬虫上,其 API 极其完善,功能非常强大,Selenium 当然同样可以做到。 而 Pypp
阅读全文
pyppeteer
摘要:1.安装 pip3.6 install pyppeteer==0.2.2 -i https://mirrors.aliyun.com/pypi/simple pyppeteer-install.exe # 安装 chromium 浏览器到 pyppeteer 的默认位置 2.用法 https://m
阅读全文
from urllib import parse模块的使用
摘要:from urllib import parse模块的使用 方法一:urlparse 实现url的识别和分段 from urllib import parse url = 'https://www.cnblogs.com/angelyan/' """ url:待解析的url scheme='':假如
阅读全文
youtube-dl 基本使用
摘要:1.安装youtube-dl pip3.6 install youtube-dl 2.直接下载视频 youtube-dl [url] # 程序自动选择一个最清晰的格式下载 3.查看视频所有类型,只看不下载 youtube-dl -F [url] 4.下载指定质量的视频和音频并自动合并 youtube
阅读全文
获取图片大小
摘要:获取图片大小 import io, urllib from PIL import Image # url = 'https://steamcdn-a.akamaihd.net/steamcommunity/public/images/apps/578080/ecb8776e4e2b3d962a16b
阅读全文
WINDOWS代理服务器搭建 - Apache httpd
摘要:1.检查电脑系统类型 检查电脑版本是为 32位操作系统 还是 64位操作系统 2.下载安装Apache Httpd 下载地址:https://www.apachehaus.com/cgi-bin/download.plx 下载完成后解压 解压: 进入conf 目录,打开httpd.conf文件进行修
阅读全文
windows 端口占用
摘要:1.查看所有连接的PID 开始--运行--cmd ,输入netstat -ano 2.查看占用8080端口程序 netstat -ano|findstr "8080" 协议 本地地址 外部地址 状态 PID TCP 127.0.0.1:1433 0.0.0.0 LISTENING 4984 task
阅读全文
windows搭建成代理服务器 CCProxy
摘要:1.软件下载地址 http://www.ccproxy.com/ 2.账号激活 CCProxy无限用户版序列号:JHEHIHCDDAHC注册码:15f7f78febfaee55afeafefff7cb7fdfb3 3.软件设置 5.测试 import requests proxies = { "ht
阅读全文
selenium 浏览器常用设置和部署
摘要:chrome实用参数 1 --allow-outdated-plugins 不停用过期的插件。 2 --allow-running-insecure-content 默认情况下,https 页面不允许从 http 链接引用 javascript/css/plug-ins。添加这一参数会放行这些内容。
阅读全文