小满三岁啦

摘要： 安装 # 通过包管理工具安装 pip install sqlalchemy # 查看安装的版本 In [4]: sqlalchemy.__version__ Out[4]: '2.0.28' 链接数据库 # 链接MySQL # 链接MySQL的前提是已经安装了mysqlclient # pip in 阅读全文

摘要： 楔子 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 安装 方式1 pip install scrapy 方式2 如果方式1安装不了，在看此方式，如果方式1能正常安装，那就不需要查看此方式了。 # 1. 安装whe 阅读全文

摘要： 拓展阅读 https://zhuanlan.zhihu.com/p/453590557 安装 pip install selenium webdriver的下载 谷歌浏览器：https://googlechromelabs.github.io/chrome-for-testing/ 进入后找到chr 阅读全文

摘要： 写在前面 爬虫：远离个人信息、灰黑产，本文仅供技术讨论，请自觉遵守robots协议。 反爬虫的常见手段 爬虫项目最复杂的不是页面信息的信息与提取，而是爬虫与反爬虫，反反爬虫之间的互相博弈。 User-Agent 浏览器的标志信息，会通过请求头传递给服务器，用以说明访问数据的浏览器信息。 反爬虫：先检 阅读全文

摘要： 包的安装 pip install lxml 谷歌浏览器插件安装 XPath Helper 可以自行搜索安装也可以点击： 传送门 解析流程与使用 实例化一个etree的对象，把即将被解析的页面源码加载到该对象。 调用该对象的xpath方法结合着不同形式的xpath表达式进行标签定位和数据提取 # 导入 阅读全文

摘要： 官网教程地址：https://beautifulsoup.readthedocs.io/zh-cn/v4.4.0/ lxml、pyquery、bs4、re执行效率对比执行速度对比：https://www.jianshu.com/p/d9812bbce6b6 安装 # 二选一即可 pip instal 阅读全文

摘要： 参考资料1：https://tool.oschina.net/uploads/apidocs/jquery/regexp.html 参考资料2：https://codejiaonang.com/#/ 必备知识 正则匹配 正则匹配是一个模糊的匹配，不是精确的匹配 原子表 [ ] [a] 匹配字母a [ 阅读全文

摘要： 配置执行MySQL自动打印SQL语句 # settings.py # 1. 添加下面到settings.py LOGGING = { 'version': 1, 'disable_existing_loggers': False, 'handlers': { 'console':{ 'level': 阅读全文

摘要： 全部命令 python manage.py help # 查看全部命令 # [auth] 模块包含用于身份验证的管理命令 changepassword # 更改用户密码 createsuperuser # 创建超级用户 # [contenttypes] 模块包含用于内容类型管理的命令 remove_ 阅读全文

摘要： 如何在admin后台注册需要使用的模型表 通过当前APP下的admin.py # 简单注册 # UserInfo 代表模型类名称 # class *Admin(admin.ModelAdmin) *代表模型类名称 # 固定的写法 记住即可 @admin.register(UserInfo) clas 阅读全文