摘要：
一 快速使用 Go语言中的database/sql包提供了保证SQL或类SQL数据库的接口，并没有具体的实现。使用database/sql包时必须使用其它数据库驱动，如第三方实现：https://github.com/go-sql-driver/mysql 1.1 下载 go get -u gith 阅读全文
摘要：
Flask 0.Flask简介 Flask是一个基于Python开发并且依赖jinja2模板和Werkzeug WSGI服务的一个微型框架，对于Werkzeug本质是Socket服务端，其用于接收http请求并对请求进行预处理，然后触发Flask框架，开发人员基于Flask框架提供的功能对请求进行相 阅读全文
摘要：
SQLAlchemy 1.介绍 SQLAlchemy是一个基于Python实现的ORM框架。该框架建立在 DB API之上，使用关系对象映射进行数据库操作，简言之便是：将类和对象转换成SQL，然后使用数据API执行SQL并获取执行结果。 pip3 install sqlalchemy 组成部分： E 阅读全文
摘要：
requests selenium Beautifulsoup4 Scrapy 分布式爬虫 红薯小说破解 破解知乎登陆 下载哔哩哔哩视频 阅读全文
摘要：
一 寻找任意一个视频地址 例如这个： 拿出窗口中的链接：https://www.bilibili.com/video/av76609390，修改源代码中的url即可完成下载 #由于哔哩哔哩视频音频是分开的，所以下来下来的视频是两个，一个音频，一个视频，要视频和音频合成，可看另一偏博客 二 分析页面 阅读全文
摘要：
一 介绍 Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon As 阅读全文
摘要：
一 介绍 原来scrapy的Scheduler维护的是本机的任务队列（存放Request对象及其回调函数等信息）+本机的去重队列（存放访问过的url地址） 所以实现分布式爬取的关键就是，找一台专门的主机上运行一个共享的队列比如Redis， 然后重写Scrapy的Scheduler，让新的Schedu 阅读全文
摘要：
一 介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.你可能在寻找 Beautiful Soup3 的文档,Beauti 阅读全文
摘要：
一 介绍 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器 from selenium 阅读全文
摘要：
一 介绍 #介绍：使用requests可以模拟浏览器的请求，比起之前用到的urllib，requests模块的api更加便捷（本质就是封装了urllib3） #注意：requests库发送请求将网页内容下载下来以后，并不会执行js代码，这需要我们自己分析目标站点然后发起新的request请求 #安装 阅读全文