会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
邹柯
欢迎访问我的个人博客站点:www.zkadmin.cn
博客园
首页
新随笔
联系
订阅
管理
上一页
1
···
4
5
6
7
8
9
10
11
12
···
36
下一页
2018年7月31日
4.使用Redis+Flask维护动态代理池
摘要: 1.为什么使用代理池 许多⽹网站有专⻔门的反爬⾍虫措施,可能遇到封IP等问题。 互联⽹网上公开了了⼤大量量免费代理理,利利⽤用好资源。 通过定时的检测维护同样可以得到多个可⽤用代理理。 2.代理池的要求 多站抓取, 异步检测 定时筛选, 持续更新 提供接口, 易于提取 3.代理池架构 4.githu
阅读全文
posted @ 2018-07-31 00:22 邹柯
阅读(2915)
评论(0)
推荐(0)
2018年7月29日
3.使用Selenium模拟浏览器抓取淘宝商品美食信息
摘要: phantomJS爬数据比较慢,下面的测试结果,大概经过5分多钟才返回结果,正在搜索和超时提示返回比较慢 phantojs的其他配置方法: 完整代码 参考博文: Selenium分手PhantomJS 盘点selenium phantomJS使用的坑
阅读全文
posted @ 2018-07-29 23:14 邹柯
阅读(758)
评论(0)
推荐(0)
2018年7月28日
mysql path妙用
摘要: INSERT INTO `lc_c_user_path`(`id`, `user_id`, `username`, `store_id`, `user_id_path`, `username_path`, `store_id_path`, `complete_path`) VALUES (1, 'u
阅读全文
posted @ 2018-07-28 15:30 邹柯
阅读(555)
评论(2)
推荐(0)
2018年7月27日
selenium抓取淘宝数据报错:warnings.warn('Selenium support for PhantomJS has been deprecated, please use headless
摘要: 错误原因:Selenium 已经弃用 PhantomJS ,请使用火狐或者谷歌无界面浏览器。 解决方法:selenium的版本问题,使用 pip show selenium 显示默认安装的是3.13.1版本 卸载当前版本 pip uninstall selenium 卸载之后重新安装selenium
阅读全文
posted @ 2018-07-27 21:55 邹柯
阅读(392)
评论(0)
推荐(0)
2018年7月26日
2.分析Ajax请求并抓取今日头条街拍美图
摘要: 1 BASE_DATA.galleryInfo = { 2 title: '路人街拍,个子不高,穿得却很有范,而且时尚潮流', 3 isOriginal: false, 4 mediaInfo: BASE_DATA.mediaInfo, 5 gallery: JSON.parse( 6 "{\"co
阅读全文
posted @ 2018-07-26 23:44 邹柯
阅读(1680)
评论(0)
推荐(0)
上一页
1
···
4
5
6
7
8
9
10
11
12
···
36
下一页
公告