刘清政 - 博客园

2022年3月18日

摘要：一 go操作redis的选择 golang操作redis主要有两个库，go-redis和redigo。 go-redis：star数更多，支持连接哨兵及集群模式的Redis redigo：star数少一些，操作更简单二 redis安装 2.1 windowd平台安装方案 // 下载地址 // 最新阅读全文

posted @ 2022-03-18 23:14 刘清政阅读(830) 评论(0) 推荐(0)

1-操作MySQL之mysql库

摘要：一快速使用 Go语言中的database/sql包提供了保证SQL或类SQL数据库的接口，并没有具体的实现。使用database/sql包时必须使用其它数据库驱动，如第三方实现：https://github.com/go-sql-driver/mysql 1.1 下载 go get -u gith 阅读全文

posted @ 2022-03-18 23:13 刘清政阅读(308) 评论(0) 推荐(0)

2022年3月14日

Flask从入门到精通

摘要： Flask 0.Flask简介 Flask是一个基于Python开发并且依赖jinja2模板和Werkzeug WSGI服务的一个微型框架，对于Werkzeug本质是Socket服务端，其用于接收http请求并对请求进行预处理，然后触发Flask框架，开发人员基于Flask框架提供的功能对请求进行相阅读全文

posted @ 2022-03-14 20:44 刘清政阅读(3192) 评论(0) 推荐(3)

SQLAlchemy

摘要： SQLAlchemy 1.介绍 SQLAlchemy是一个基于Python实现的ORM框架。该框架建立在 DB API之上，使用关系对象映射进行数据库操作，简言之便是：将类和对象转换成SQL，然后使用数据API执行SQL并获取执行结果。 pip3 install sqlalchemy 组成部分： E 阅读全文

posted @ 2022-03-14 20:43 刘清政阅读(1087) 评论(0) 推荐(2)

爬虫从入门到入狱

摘要： requests selenium Beautifulsoup4 Scrapy 分布式爬虫红薯小说破解破解知乎登陆下载哔哩哔哩视频阅读全文

posted @ 2022-03-14 20:40 刘清政阅读(2196) 评论(0) 推荐(6)

下载哔哩哔哩视频

摘要：一寻找任意一个视频地址例如这个：拿出窗口中的链接：https://www.bilibili.com/video/av76609390，修改源代码中的url即可完成下载 #由于哔哩哔哩视频音频是分开的，所以下来下来的视频是两个，一个音频，一个视频，要视频和音频合成，可看另一偏博客二分析页面阅读全文

posted @ 2022-03-14 20:38 刘清政阅读(1172) 评论(0) 推荐(1)

Scrapy

摘要：一介绍 Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon As 阅读全文

posted @ 2022-03-14 20:36 刘清政阅读(615) 评论(0) 推荐(1)

分布式爬虫

摘要：一介绍原来scrapy的Scheduler维护的是本机的任务队列（存放Request对象及其回调函数等信息）+本机的去重队列（存放访问过的url地址）所以实现分布式爬取的关键就是，找一台专门的主机上运行一个共享的队列比如Redis，然后重写Scrapy的Scheduler，让新的Schedu 阅读全文

posted @ 2022-03-14 20:36 刘清政阅读(393) 评论(0) 推荐(0)

Beautifulsoup4

摘要：一介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.你可能在寻找 Beautiful Soup3 的文档,Beauti 阅读全文

posted @ 2022-03-14 20:35 刘清政阅读(468) 评论(0) 推荐(1)

selenium

摘要：一介绍 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器 from selenium 阅读全文

posted @ 2022-03-14 20:35 刘清政阅读(1222) 评论(2) 推荐(0)

刘清政的博客

公告