08 2017 档案
摘要：最近在学习scrapy爬虫框架，刚开始爬取简单网页的图片(妹子图)保存到本地，之后这已经满足不了我了，后来开始爬取大型网站，也会用selenium模拟浏览器操作，以及获取ajax网页数据，在爬取过程中，我发现偶尔会出现一些302错误以及操作频繁的反爬虫策略。所以该文就是来爬取大量免费IP来伪装，从而
阅读全文
摘要：Scrapy项目结构 scrapy.cfg:项目的配置文件 myproject/:项目的Python模块，将会从这里引用代码 myproject/items.py:项目的目标文件 myproject/pipelines.py:项目的管道文件 myproject/settings:项目的设置文件 my
阅读全文
摘要：Scrapy框架 Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。 框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常方便。 Scrapy使用了Twisted（其主要对手是Tornado）异步网络框
阅读全文
摘要：这篇文章通过简单的Python爬虫（未使用框架，仅供娱乐）获取并下载煎蛋网妹子图指定页面或全部图片，并将图片下载到磁盘。 首先导入模块：urllib.request、re、os urllib.request模块用于获取HTML页面数据 re模块用于通过正则表达式解析并截取HTML页面图片url os
阅读全文
摘要：安装： Countries 指定某个国家的值： Continents 获取洲地图
阅读全文
摘要：基本饼图（Pie）： 多系列饼图（Multi-series pie）： 圈饼图（Donut）： 环图： 半饼图（Half pie）：
阅读全文
摘要：基本XY线： 散点图： 日期： 你可以使用日期模块绘制与日期有关的图表 DateTime Date Time TimeDelta
阅读全文
摘要：直方图： 直方图是一个特殊的条，它可以取3个数值：纵坐标高度，横坐标开始和横坐标结束。
阅读全文
摘要：基本条形图： 层叠条形图： 水平条形图：
阅读全文
摘要：线图： 水平线图： 叠加测线： 对于时间相关的图，只需格式化标签或使用xy图表的一个变体：
阅读全文
摘要：pygal安装 在OS X系统中，敲入终端命令： 可用HorizontalStackedBar类将图表水平排列，并增加相应标题：
阅读全文
摘要：第一步，关闭拼写检查，Preferences -> Inspections -> Spelling -> Typo 取消勾选 第二步，关闭代码风格检查，Preferences -> Inspections -> Python -> PEP 8 naming convention violation
阅读全文
摘要：要绘制单个点，可使用函数scatter()，并向其传递一对x和y坐标，它将在指定位置绘制一个点： 下面来设置输出的样式：添加标题，给轴加上标签，并确保所有文本都大到能够看清。并使用scatter()绘制一系列点 手工计算列表要包含的值可能效率低下，需要绘制的点很多时尤其如此。可以不必手工计算包含点坐
阅读全文
摘要：下面来使用matplotlib绘制一个简单的折线图，再对其进行定制，以实现信息更丰富的数据可视化。我们将使用平方数序列1、4、9、16、25来绘制这个图标。 简单的绘制如下： plot()函数尝试根据这些数字绘制出有意义的图形。plt.show()打开matplotlib查看器，并显示绘制的图形。
阅读全文
浙公网安备 33010602011771号