小明在线

摘要： 1.这次爬虫用到了之前封装的Url_ProxyHelper类，源代码如下 2.爬取源代码： 阅读全文

摘要： 本人刚刚学习爬虫，见每次都需要添加报头比较繁琐，故将该过程封装为Url_ProxyHelper类，代码如下 测试： 阅读全文

摘要： 前提条件，安装过Mongondb,并且装一下Robomongo（为了更加直观地看到测试时数据的变化 ） 1.安装PyMySQL pip install pymongo 2.测试 3.结果 阅读全文

摘要： 1 import urllib.request as ur 2 import urllib.error as ue 3 import re 4 # 目标网址 5 url = 'https://list.jd.com/list.html?cat=670,671,672' 6 # 存放路径 7 save_path = 'E:/workspace/PyCharm/codeSpace/bo... 阅读全文

摘要： 一、引入拓展库 由于刚刚起步学习爬虫，故从urllib库开始 首先引入urllib，这里主要用到urllib中request类 二、设置全局参数 我把它分为三个变量：代理服务器IP、目标网址、存放路径。 三、将爬虫模拟成浏览器访问页面 由于urlopen不支持一些HTTP的高级功能，所以要想达到预期 阅读全文

摘要： 前提条件，已经安装过MySQL（比如说以前web开发安装过MySQL） 1.安装PyMySQL pip install PyMySQL 2.测试 3.验证成功 阅读全文

摘要： 1.在网址https://pip.pypa.io/en/latest/installing 下载get-pip.py文件，放在python更目录，如python3.6目录下 2.在dos命令行中进入get-pip.py目录，输入"get-pip.py" 3.配置环境变量，在PATH中添加E:\wor 阅读全文

摘要： 1.首先得下载安装DEV-cpp 2.打开Editplus编辑器，工具->配置自定义工具 3.具体配置 编译C：命令:D:\Dev-Cpp\MinGW64\bin\g++.exe参数:"$(FilePath)" -o "$(FileNameNoExt)"初始目录:$(FileDir)动作:捕捉控制台 阅读全文

摘要： 在Python自带的编辑器IDLE中或者python shell中不能使用cd命令，那么跳到目标路径呢。方法是使用os包下的相关函数实现路径切换功能。 import os os.getcwd() #获取当前路径 os.chdir("D:\\test") #跳到目标路径下 os.chdir('D:\\ 阅读全文

摘要： idle命令行按ALT+P重复调出上个语句 阅读全文