一光年太远

摘要： 1.关于wordcloud的安装 --win10，py3.6环境下安装总是出现安装错误，解决方法，下载wordcloud的wheel文件，进行安装。 详情参考：https://github.com/amueller/word_cloud wordcloud下载链接：http://www.lfd.uc 阅读全文

摘要： 使用pip install pymssql安装时，总是会出现UnicodeDecodeError。于是下载了适用的pymssql.whl进行安装，详细可参考 https://docs.microsoft.com/en-us/sql/connect/python/pymssql/step-1-conf 阅读全文

摘要： ##author:wuhao#import urllib.requestfrom http import cookiejar import xlrd import threading #有效的代理，可添加一个全局变量用于存储，然后保存到文件#这里由于可行的代理IP太少，就未保存至本地 def Validate_proxy(url,proxy): opener.add_handler(... 阅读全文

摘要： # #author:wuhao # #--*------------*-- #-****#爬取代理IP并保存到Excel----#爬取当日的代理IP并保存到Excel,目标网站xicidaili.com#如果访问频率太快的话，会被网站封掉IP import urllib.request import urllib.parse import re import xlwt import http.c... 阅读全文

摘要： # #author:wuhao # #解数独游戏 # #想法：从（0，0）开始往下遍历，（当然从什么位置开始遍历是无所谓的，只是代码写法可能要有点变化，我是从（0，0）开始往下逐层遍历），首先判断其是否需要填值check(a,i,j)，如果需要填值就填上其可能的值保存在FillData(a,i,j) 阅读全文

摘要： #爬取当当网图书，未使用框架 #main是主函数 #KindLinks.py和 获取数据信息.py 是2个封装的类 #KindLinks只有一个方法，它返回的是 listUrl (name（小分类名称）,url（小分类对应的链接）) LB (总的分类) #获取数据信息有2个方法， getpage() 阅读全文

摘要： #--coding:utf-8#author:wuhao##这里我演示的就是本人所在学校的教务系统#import urllib.requestimport urllib.parseimport reimport shutilimport http.cookiejarclass LoginJust() 阅读全文

摘要： ##author:wuhao##爬取指定页码的图片，如果需要爬取某一类的所有图片，整体框架不变，但需要另作分析#可能写的有点乱，因为这是我py写的第一个爬虫程序思路理一下：适用于所有爬虫，高级点的无非就是在我 以下所说的上面增加了点功能 ，比如代理 、 多线程、 死亡重连 等思路：本质上来讲爬虫就是 获取网页 然后解析网页 获取出自己需要的数据 然后对数据进行保存1.需要解决的就是找到存储 你所需... 阅读全文