上一页 1 2 3 4 5 6 7 8 ··· 15 下一页
摘要:  - 13位用户编码真的是随机的吗? - 摇号池中有哪些未曾发现的规律和模式? - 我们能否用机器学习的方式预测摇号结果? 阅读全文
posted @ 2016-09-26 23:16 FerventDesert 阅读(2205) 评论(0) 推荐(1) 编辑
摘要: 之前,我感觉自己工作效率有点低下。于是我便学了一个习惯,搞一个待办列表,把要做的事情写下来,每次做完一件,就勾选一个。 刚听起来,这个办法真是不错,也是不少效率达人推荐的做法。但后来却有点变味:为了让完成的任务看起来多一些,我会把任务列表细化,尽量去罗列相对好完成的事情。于是,工作变成了程序化的“任 阅读全文
posted @ 2016-09-04 10:28 FerventDesert 阅读(700) 评论(1) 推荐(0) 编辑
摘要: 不少朋友反映,Hawk的手气不错,好像没法处理动态页面。其实很容易,比其他软件都容易,让我慢慢道来。 1. 什么是动态页面 很多网站,在刷新的时候会返回页面的全部内容,但实际上只需要更新一部分,这样可大大节约带宽。这种方式一般叫ajax,服务器传递xml或者json到浏览器,浏览器的js代码执行,并 阅读全文
posted @ 2016-08-29 23:56 FerventDesert 阅读(1453) 评论(0) 推荐(0) 编辑
摘要: 不同语言的表现力是不一样的,以变量名为例,虽然大部分语言都对变量命名的长度没有严格的限制(只要别太长),但语言的风格强烈影响了代码的信息密度。 1. 低密度语言(10 20字符/语义) 我不得不谈到Java,Java是我见到的信息密度最低的语言。大量的Factory,Builder风格的超长命名,加 阅读全文
posted @ 2016-08-18 21:29 FerventDesert 阅读(4502) 评论(0) 推荐(0) 编辑
摘要: 软件在发布后,收到了各方朋友的反馈和提问。此处统一对一部分问题作出回复。 感谢你使用Hawk,软件是我写的,坑是我挖的。做爬虫本来就比较复杂,一些公司有专门的程序员做爬虫工程师。因此如果你很沮丧,很有可能是网站做了不少策略,确实很难爬。哎,这也是没有办法的事情。 闲话不说,进入正题。 1.自动嗅探失 阅读全文
posted @ 2016-07-19 23:29 FerventDesert 阅读(2817) 评论(4) 推荐(1) 编辑
摘要: 几个月前,我和几个长辈一起吃午饭,他们谈炒股聊的不亦乐乎,反正我对股票一窍不通,就边吃边听他们聊。股神的故事,一般都是三进三出,虎口脱险,苦尽甘来,此处按下不表。 其中一位长辈,几千万身家自不必说,用于炒股的流动资金都有几百万。我开始好奇千万身家的人的吃穿用度如何。但发现他穿的非常简单,大T恤配了卡 阅读全文
posted @ 2016-07-12 15:39 FerventDesert 阅读(9350) 评论(2) 推荐(13) 编辑
摘要: Hawk在发布之后,收到了不少朋友的感谢和使用反馈,沙漠君表示非常开心。软件肯定有很多的问题和不足,还有很多可扩展的空间,因此我希望更多的朋友,能够参与到改进Hawk的计划中来,为开源世界作出努力。 不少朋友询问一些术语的意思,在下面解释一下: ETL:即数据清洗,包含抽取(E),转换(T)和加载( 阅读全文
posted @ 2016-05-30 23:09 FerventDesert 阅读(2279) 评论(9) 推荐(4) 编辑
摘要: 1.这是什么鬼? 哦?美女? 最近看了这一篇文章:http://cuiqingcai.com/1001.html 大概说的是用Python和Pyspider(这货好像是我的一位师兄写的,吓尿),抓取淘宝淘女郎的所有美女照片。只是里面还要敲一堆代码,还要用其他动态js运行框架,看着好不烦人啊。 Haw 阅读全文
posted @ 2016-05-20 13:31 FerventDesert 阅读(8575) 评论(16) 推荐(7) 编辑
摘要: 1. 主角出场:Hawk介绍 Hawk是沙漠之鹰开发的一款数据抓取和清洗工具,目前已经在Github开源。详细介绍可参考:http://www.cnblogs.com/buptzym/p/5454190.html 强烈建议先读这篇文章,该文介绍了详细原理和抓取链家二手房的攻略,以此为基础,才能较好的 阅读全文
posted @ 2016-05-17 11:59 FerventDesert 阅读(30591) 评论(38) 推荐(30) 编辑
摘要: 1. 调试模式和执行模式 1.1.调试模式 系统能够通过拖拽构造工作流。在编辑流的过程中,处于 调试模式 ,为了保证快速地计算和显示当前结果(只显示前20个数据,可在 调试 的采样量中修改),此时,所有 执行器 都不会参与到工作流中,意味着数据库和数据表都不会被写入和更新。 (是否记得所有模块分为 阅读全文
posted @ 2016-05-17 11:58 FerventDesert 阅读(6595) 评论(2) 推荐(1) 编辑
上一页 1 2 3 4 5 6 7 8 ··· 15 下一页