骑着螞蟻流浪

摘要： 以“图书-英雄”的管理为示例，使用Django完成基本流程的开发，学习Django的主要知识。 安装Django 说明：使用pip install django命令进行安装时，会自动删除旧版本，再安装新版本 创建项目 命令：django-admin startproject test1 说明：上面命 阅读全文

摘要： 阳光热线问政平台 URL地址：http://wz.sun0769.com/index.php/question/questionType?type=4&page= 爬取字段：帖子的编号、投诉类型、帖子的标题、帖子的URL地址、部门、状态、网友、时间。 1.items.py 2.spiders/sun 阅读全文

摘要： 以爬取斗鱼直播上的信息为例： URL地址：http://capi.douyucdn.cn/api/v1/getVerticalRoom?limit=20&offset=0 爬取字段：房间ID、房间名、图片链接、存储在本地的图片路径、昵称、在线人数、城市 1.items.py 2.spiders/do 阅读全文

摘要： Scrapy是用纯Python实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。 框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来爬取网页内容以及各种图片，非常方便。 Scrapy使用了Twisted异步网络框架来处理网络通讯，可以加快我们的下载速度，不用 阅读全文

摘要： 动态页面的模拟点击： 以斗鱼直播为例：http://www.douyu.com/directory/all 爬取每页的房间名、直播类型、主播名称、在线人数等数据，然后模拟点击下一页，继续爬取 阅读全文

摘要： 机器视觉 从Google的无人驾驶汽车到可以识别假钞的自动售卖机，机器视觉一直都是一个应用广泛且具有深远的影响和雄伟的愿景的领域。 这里我们将重点介绍机器视觉的一个分支：文字识别。介绍如何用一些Python库来识别和使用在线图片中的文字。 我们可以很轻松的阅读图片里的文字，但是机器阅读这些图片就会非 阅读全文

摘要： 使用Selenium与PhantomJS模拟登录豆瓣：https://www.douban.com/ 阅读全文

摘要： Selenium Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，类型像我们玩游戏用的按键精灵，可以按指定的命令自动操作，不同的是Selenium可以直接运行在浏览器上，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器）。 Selenium可以根据我们的 阅读全文

摘要： 案例：多线程爬虫 目标：爬取糗事百科段子，待爬取页面URL：http://www.qiushibaike.com/8hr/page/1 要求： queue（队列对象） queue是python中的标准库，可以直接import queue引用，队列是线程间最常用的交换数据的形式 python下多线程： 阅读全文

摘要： JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景，比如网站前台与后台之间的数据交互。 JSON和XML相比较可谓不相上下。 Python 3.X中自带了JSON模块， 阅读全文