摘要: MongoDB的补充操作,用户权限管理,查询操作 文档操作补充 用户权限管理 数据查询方法 文档操作补充 删除 '''涉及到数据的嵌套查找 支持直接点键或者索引''' eg: db.db1.find({'ddd.fg':123}) db.db1.find({'fgh.0':'iii'}) 用户权限管 阅读全文
posted @ 2021-10-11 19:32 微纯册 阅读(411) 评论(0) 推荐(0)
摘要: scrapy的基础知识和MongoDB的简介 爬虫框架Scrapy scrapy基本使用和文件介绍 非关系型数据库之MongoDB MongoDB简介 MongoDB下载与安装 启动步骤 MongoDB基本操作 爬虫框架Scrapy scrapy的简介 功能最为强大,使用频率高的一款异步爬虫框架 ' 阅读全文
posted @ 2021-10-08 20:01 微纯册 阅读(178) 评论(0) 推荐(0)
摘要: 爬虫案例汇总 爬取天气数据 百度翻译 爬取药品许可证 华华手机网 菜场价格爬取 正则获取红牛数据 获取糗事百科图片 爬取优美图库图片 爬梨视频 爬取链家二手房数据 豆瓣数据改进爬取 实战猪八戒网 爬取城市名 爬取贴吧图片 小案例 seleuinm模块cookie登录案例 图片验证码思路 B战视频案例 阅读全文
posted @ 2021-10-05 17:49 微纯册 阅读(285) 评论(0) 推荐(0)
摘要: 自动百度登录、延时获取数据、京东数据和知乎案例思路 自动百度登录 延时获取数据 京东数据获取 知乎案例思路 自动百度登录 思路 1.获取登录链接,向链接输入指令 2.获取用户和密码输入框的位置,输入信息 3.输入登录信息后,获取登陆键位置,点击登录键,完成登录 ''' 注意: 完成动作后需要有缓冲时 阅读全文
posted @ 2021-10-01 09:18 微纯册 阅读(175) 评论(0) 推荐(0)
摘要: selenium相关操作补充知识和案例思路介绍 selenium其他操作 动作链和iframe seleuinm相关知识、思路和防爬措施 cookie登录案例 图片验证吗思路 selenium其他操作 获取属性 语法: 变量名.get_attrubute() eg: # 调用模块 from sele 阅读全文
posted @ 2021-09-29 14:49 微纯册 阅读(222) 评论(0) 推荐(0)
摘要: xpath相关练习和selenuim模块 爬取城市名称 爬取猪八戒数据并写入表格 爬取贴吧图片数据 自动化测试工具selenuim模块 爬取城市名 目的网址:https://www.aqistudy.cn/historydata/ 思路 1,查看详细页面,查看数据加载方式 2,查看network获取 阅读全文
posted @ 2021-09-28 18:36 微纯册 阅读(133) 评论(0) 推荐(0)
摘要: Xpath模块使用和实战猪八戒 豆瓣数据改进爬取 xpath的模块使用 xpath的了解知识 实战猪八戒 豆瓣数据改进爬取 思路 1.查看数据加载方式 2.查看网络network中的获取信息,得到url、请求头、防爬链 3.查看多页查询的方式,结合网址和请求获取信息观察 4.向网址请求信息,获取数据 阅读全文
posted @ 2021-09-27 17:19 微纯册 阅读(162) 评论(0) 推荐(0)
摘要: 本周网络爬虫实验终结 正则获取红牛数据 获取糗事百科图片 爬取优美图库高清图片 爬取梨视频 openpyxl的相关知识和使用 爬取链家二手房数据 思路 # 1.判断数据加载方式,打开网络源地址,查找数据,发现为直接加载 # 2.进入network,查找url地址、请求方式或请求头等信息 # 3.执行 阅读全文
posted @ 2021-09-26 18:54 微纯册 阅读(81) 评论(0) 推荐(0)
摘要: 网络爬虫实训 爬取豆瓣网特殊情况 爬取链家二手房数据 爬取汽车之家新闻数据 爬取豆瓣网特殊情况 如果经常访问豆瓣时会遇到接种结果 这是服务器端将客户端IP封锁造成的后果 方法尝试1: 在官网注册账号后,登录界面,研究登录的地址及携带数据,代码发送请求获取cookie, 结果: 操作系数高,难以找到获 阅读全文
posted @ 2021-09-26 13:34 微纯册 阅读(136) 评论(0) 推荐(0)
摘要: openpyxl使用 openpyxl的相关知识 openpyxl的使用 openpyxl的相关知识 1.excel文件的后缀 03版本之前:.xls 03版本之后:.xlsx 2.pycharm中操作excel的模块 openpyxl模块 该模块可以操作03版本之后的文件 03版本之前兼容性可能不 阅读全文
posted @ 2021-09-23 21:49 微纯册 阅读(371) 评论(0) 推荐(0)