07 2019 档案

python爬虫-代理池的维护
摘要：简介 我们可以从网上或者付费获取大量代理，但是这其中很多依然不可用，那么搭建高效的代理池，对代理ip进行筛选是十分必要的 准备工作： 安装Redis数据库，还需要安装aiohttp、requests、redis-py、pyquery、Flask库，安装流程请百度自行查询 由于文件内容较多，所以就不一 阅读全文
posted @ 2019-07-11 19:12 nikecode 阅读(1787) 评论(0) 推荐(0)
python爬虫-代理的使用
摘要：代理的设置 在urllib库中使用代理，代码如下： 显示为下面的情况，说明代理设置成功： 对于需要认证的代理，，只需要改变proxy变量，在代理前面加入代理认证的用户名密码即可："username:password@113.116.50.182" 如果遇到了socks代理服务器： 采用socks协议 阅读全文
posted @ 2019-07-11 11:38 nikecode 阅读(7248) 评论(0) 推荐(0)
python爬虫-Scrapy框架安装01
摘要：安装scrapy库 在E盘新建一个Scrapy文件夹，然后进入文件夹，shift+鼠标右键，然后打开命令窗口。 ​ 在命令行窗口里输入pip install scrapy，就会安装scrapy的最新版本，安装好了之后输入scrapy -h查看相应信息。 ​ 创建项目 在开始爬取之前，我们必须创建一个 阅读全文
posted @ 2019-07-09 13:49 nikecode 阅读(324) 评论(0) 推荐(0)
python数据分析-11数据分析实战案例
摘要：#实战准备#股票市场分析实战--数据获取#https://finance.yahoo.com"""import pandas_datareader as pdralibaba = pdr.get_data_yahoo("BABA")#print(alibaba.head())# High Low O 阅读全文
posted @ 2019-07-04 10:45 nikecode 阅读(6686) 评论(0) 推荐(0)
python数据分析-10seaborn绘图
摘要："""import pandas as pdimport numpy as npfrom pandas import Series,DataFrameimport matplotlib.pyplot as pltimport seaborn as sns""""""#Seaborn 是matplot 阅读全文
posted @ 2019-07-04 10:44 nikecode 阅读(778) 评论(0) 推荐(0)
python数据分析-09pandas绘图
摘要：#38#Pandas绘图之Seriesimport pandas as pdimport numpy as npfrom pandas import Series,DataFrameimport matplotlib.pyplot as plt"""#cumsum()函数求和s = Series([ 阅读全文
posted @ 2019-07-04 10:43 nikecode 阅读(604) 评论(0) 推荐(0)
python数据分析-08透视表以及matplotlib库
摘要：import pandas as pdimport numpy as npfrom pandas import Series,DataFrame"""df = pd.read_excel("sales-funnel.xlsx")#print(df)# Account Name ... Price S 阅读全文
posted @ 2019-07-04 10:42 nikecode 阅读(1133) 评论(0) 推荐(0)
python数据分析-07时间序列处理
摘要：import pandas as pdimport numpy as npfrom pandas import Series,DataFrame#时间序列的操作基础from datetime import datetime"""t = datetime(2016,9,10)print(t)#2016 阅读全文
posted @ 2019-07-04 10:40 nikecode 阅读(398) 评论(0) 推荐(0)
python数据分析-06DataFrame继续深入
摘要：import pandas as pdimport numpy as npfrom pandas import Series,DataFrame#重命名DataFrame的indexdf1 = DataFrame(np.arange(9).reshape(3,3),index=["BJ","SH", 阅读全文
posted @ 2019-07-04 10:39 nikecode 阅读(279) 评论(0) 推荐(0)
python数据分析-05DataFrame深入
摘要：import pandas as pdimport numpy as npfrom pandas import Series,DataFrame#df1 = DataFrame({'城市':["北京","上海","广州"],'人口':[1000,2000,1500]})# print(df1)# 城 阅读全文
posted @ 2019-07-04 10:38 nikecode 阅读(383) 评论(0) 推荐(0)
python数据分析-04Nan的类型处理
摘要：#NaN --means Not a Numberimport pandas as pdimport numpy as npfrom pandas import Series,DataFrame# n = np.nan# print(type(n)) #<class 'float'># print( 阅读全文
posted @ 2019-07-04 10:36 nikecode 阅读(2091) 评论(0) 推荐(0)
python数据分析-03pandas库
摘要：#Seriesimport numpy as npimport pandas as pd# s1 = pd.Series([1,2,3,4])# print(s1)# # 0 1# # 1 2# # 2 3# # 3 4# # dtype: int64# print(s1.values) #[1 2 阅读全文
posted @ 2019-07-04 10:35 nikecode 阅读(267) 评论(0) 推荐(0)
python数据分析-02numpy库
摘要：#数学基础回顾之矩阵运算#基本概念 #矩阵：矩形的数组，即二维数组。其中向量和标量都是矩阵的特例 #向量：是指1*n或者n*1的矩阵 #标量：1*1的矩阵 #数组：N维的数组，是矩阵的延伸#特殊矩阵： #全0全1矩阵 #单位矩阵#矩阵加减运算： #相加，减的两个矩阵必须要有相同的行和列 #行和列对应 阅读全文
posted @ 2019-07-04 10:33 nikecode 阅读(202) 评论(0) 推荐(0)
python数据分析-01数据分析的几个基本库
摘要：#数据科学领域五个最佳Python库#Numpy/Scipy/Pandas/Matplotlib/Scikit-learn#Numpy #N维数组（矩阵），快速高效，矢量数学运算 #高效的Index，不需要循环 #开源免费跨平台，运行效率足以和C/Matlab媲美#Scipy #依赖于numpy # 阅读全文
posted @ 2019-07-04 10:30 nikecode 阅读(442) 评论(0) 推荐(0)
Python爬虫-02 request模块爬取妹子图网站
摘要：简介 显示如下结果，代表编译没有问题 接下来，我们开始测试requests模块是否可以使用 修改上述代码中的 运行结果（出现下图代表你运行成功了）： 接下来，我们实际下载一张图片试试，比如下面这张图片 图片链接：https://timgsa.baidu.com/timg?image&quality= 阅读全文
posted @ 2019-07-04 10:24 nikecode 阅读(8560) 评论(1) 推荐(0)
Python爬虫 01 PyCharm 安装教程（Windows）
摘要：简介 哥们今天开始写写python爬虫相关的博客了，废话不多说，直接开干吧！ 正所谓工欲善其事必先利其器，在开始进行爬虫之前，下载安装pychrom是十分必要的，代码的编写和运行都需要在pycharm中进行。 下面是pycharm的安装教程（Windows），基于其他平台的安装教程，可自行百度查找， 阅读全文
posted @ 2019-07-02 23:09 nikecode 阅读(2784) 评论(0) 推荐(0)