• 博客园logo
  • 会员
  • 周边
  • 新闻
  • 博问
  • 闪存
  • 众包
  • 赞助商
  • Chat2DB
    • 搜索
      所有博客
    • 搜索
      当前博客
  • 写随笔 我的博客 短消息 简洁模式
    用户头像
    我的博客 我的园子 账号设置 会员中心 简洁模式 ... 退出登录
    注册 登录
Kostalyeyue
博客园 | 首页 | 新随笔 | 新文章 | 联系 | 订阅 订阅 | 管理

随笔分类 -  爬虫

 
python selenium自动化点击页面链接测试
摘要:python selenium自动化点击页面链接测试 需求:现在有一个网站的页面,我希望用python自动化的测试点击这个页面上所有的在本窗口跳转,并且是本站内的链接,前往到链接页面之后在通过后退返回到原始页面。 要完成这个需求就必须实现3点: 1. 找到原始页面上面所有的在本窗口内跳转的链接 2. 阅读全文
posted @ 2019-01-24 14:57 Kostalyeyue 阅读(7069) 评论(0) 推荐(1)
基于Flask开发web微信
摘要:1. 获取二维码 app.py login.html 2. 检查登录:扫码 1、登陆的时候需要长连接,一直保持opening的状态 2、因为第一次访问页面的时间仍然需要用到,不能用g(一次请求己结束),选择用session获取的方式 获取头像201,登录认证200 3. 检查登录:确认登录 同上4. 阅读全文
posted @ 2019-01-19 17:19 Kostalyeyue 阅读(773) 评论(0) 推荐(0)
爬取实例
摘要:一、认识requests,beautifulsoup4 二、爬取抽屉新热榜 三、登录github -- www.cnblogs.com/wupeiqi/articles/6283017.html 四、登录拉钩 五、requests 模块 阅读全文
posted @ 2019-01-14 00:31 Kostalyeyue 阅读(276) 评论(0) 推荐(0)
scrapy框架学习之路
摘要:二、eg:爬取抽屉 三、知识点 四、持久化 阅读全文
posted @ 2019-01-09 00:57 Kostalyeyue 阅读(322) 评论(0) 推荐(0)
scripy
摘要:性能相关 在编写爬虫时,性能的消耗主要在IO请求中,当单进程单线程模式下请求URL时必然会引起等待,从而使得请求整体变慢。 import requests def fetch_async(url): response = requests.get(url) return response url_l 阅读全文
posted @ 2019-01-09 00:29 Kostalyeyue 阅读(506) 评论(0) 推荐(0)
 

公告


博客园  ©  2004-2025
浙公网安备 33010602011771号 浙ICP备2021040463号-3