星辰

摘要： 报错信息 remote: error: File: ad29d743061366b6a2b30b347c6907934ac7152e 101.85 MB, exceeds 100.00 MB. remote: Use command below to see the filename: remote 阅读全文

摘要： pip freeze > requirements.txt 导出python中的依赖包 pip install -r requirements.txt 位置 例如：./requirements.txt 相对路径 阅读全文

摘要： redis-server 连接服务器 redis-cli.exe 连接客户端 kill -9 PID 强制杀死进程 ping 看是否连接上如果返回PONG则连上 database 16 默认为[0,15] 例：选择数据库select 8 选第九个数据库，默认为select0第一个数据库 keys * 阅读全文

摘要： 爬取电商网站的商品信息: URL为: https://www.zhe800.com/ju_type/baoyou 抓取不同分类下的商品数据 抓取内容为商品的名称, 价格数字, 商品图片 将商品图片二进制流, 商品名称和价格数字一同存储于MongoDB数据库 存储数据结构为: { ‘name’: ‘懒 阅读全文

摘要： eg: import requests url = 'https://mip.tutumanhua.com/' headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, 阅读全文

摘要： #安装 pip install virtualenvwrapper-win -->windows版本 pip install virtualenvwrapper -->mac #使用 1.创建一个虚拟环境并且切换到该环境下：mkvirtualenv name 2.切换至虚拟环境下：pip insta 阅读全文

摘要： 为什么要建立用户代理池? 如果我们用浏览器伪装，仅用一个浏览器标识，如果对方服务器的反爬手段高，我们这一个一直访问很容易被抓到，这时候我们可以建一个用户代理池，随机进行访问，增加我们的成功率 话不多说上代码 import urllib.request import random from my_fa 阅读全文

摘要： 由上一个爬取到内存中的例子爬取京东的标题，轻而易举的就爬下来了，接下来我们将网址换一个例如：https://www.qiushibaike.com/ import urllib.request import re #ignore小细节自动略过，大大减少出错率 #将数据爬到内存中 #http://ww 阅读全文

摘要： 将数据爬取到内存中 import urllib import urllib.request import re #打开京东网页并且进行读取，解码格式utf-8,ignore小细节自动略过，大大减少出错率 #将数据爬到内存中 #http://www.jd.com url = "http://www.j 阅读全文

摘要： # 1.# ctr + alt + t# 打开新的终端窗口# 2.# ctr + shift + + 终端窗口字体放大# 3.# ctr + - 终端窗口字体缩小# 4.# ls: 查看目录下的文件信息# 5.# pwd: 查看目录所对应路径# 6.# touch: 创建文件# 7.# mkdir: 阅读全文