青南的小世界

给时光以生命。

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

2019年1月19日

摘要: 想开发网页爬虫,发现被反爬了?想对 App 抓包,发现数据被加密了?不要担心,使用 Airtest 开发 App 爬虫,只要人眼能看到,你就能抓到,最快只需要2分钟,兼容 Unity3D、Cocos2dx-*、Android 原生 App、iOS App、Windows Mobile……。 阅读全文
posted @ 2019-01-19 18:12 青南 阅读(19710) 评论(7) 推荐(7) 编辑

2018年12月23日

摘要: 甘特图更多的关注每一个任务的进度上。那么如果我希望了解项目整体的进度,应该如何选择呢?此时就需要引入另一个简单又强大的工具:燃尽图(Burn down chart)。 阅读全文
posted @ 2018-12-23 19:20 青南 阅读(4565) 评论(1) 推荐(2) 编辑

2018年11月21日

摘要: 在前面两篇文章介绍了下载器中间件的使用,这篇文章将会介绍爬虫中间件(Spider Middleware)的使用。 阅读全文
posted @ 2018-11-21 08:13 青南 阅读(8922) 评论(1) 推荐(1) 编辑

2018年11月20日

摘要: 在上一篇文章中介绍了下载器中间件的一些简单应用,现在再来通过案例说说如何使用下载器中间件集成Selenium、重试和处理请求异常。 阅读全文
posted @ 2018-11-20 08:26 青南 阅读(5925) 评论(1) 推荐(2) 编辑

2018年11月19日

摘要: 中间件是Scrapy里面的一个核心概念。使用中间件可以在爬虫的请求发起之前或者请求返回之后对数据进行定制化修改,从而开发出适应不同情况的爬虫。 阅读全文
posted @ 2018-11-19 09:29 青南 阅读(17438) 评论(2) 推荐(4) 编辑

2018年10月17日

摘要: 写这篇文章,我不是要黑任何一个任务管理类的App或者方法论。相反,我是一个工具控,在试用各种任务管理类App上总是不遗余力。常见的Things 3,Todoist,Teambition,Trello,Any.do,Doit.im我都试用过。最后,我选择了 "Todoist" ,在Todoist上,我 阅读全文
posted @ 2018-10-17 20:59 青南 阅读(3567) 评论(3) 推荐(1) 编辑

2018年10月16日

摘要: 阅读全文
posted @ 2018-10-16 07:56 青南 阅读(472) 评论(0) 推荐(2) 编辑

2018年10月14日

摘要: 使用Docker Swarm部署任何分布式程序,简单快速又方便。 阅读全文
posted @ 2018-10-14 17:08 青南 阅读(995) 评论(1) 推荐(0) 编辑

2018年10月13日

摘要: 通过学习一门技术,来学习更多的技术。 阅读全文
posted @ 2018-10-13 09:23 青南 阅读(2527) 评论(16) 推荐(20) 编辑

2018年8月28日

摘要: 在很多编程语言中,常量喜欢使用数字来表示,然后赋值给一个大写的变量。这种写法在某些时候会导致难以察觉的bug。 阅读全文
posted @ 2018-08-28 07:42 青南 阅读(965) 评论(0) 推荐(0) 编辑