过雁

--每天都被梦想唤醒--

   :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理
  80 Posts :: 0 Stories :: 3 Comments :: 0 Trackbacks

2016年3月1日

摘要:标题很大,其实我只想记录一下最近遇到的一个例子,或者说一个故事。最近董喵喵同学在微信上玩起了神秘,她在微信上发了下面这张图片并附注说去了一个神秘的地方,然后当然就很多人开始猜了。。虽然我号称走遍南京(那是以前我在豆瓣组织的一个系列徒步活动),但是这个地方说真的没有印象见过,或者说见过类似的地方有点多,这个被严重PS加光晕做旧的照片实在太有难度。。说白了我不知道是哪,但知道肯定不是南京比较有名的那几... 阅读全文
posted @ 2016-03-01 04:28 过雁 阅读 (2447) 评论 (0) 编辑

2015年12月19日

摘要:RunHelper是一个为跑步而设计的android应用,意在为爱跑步的人提供一个简洁、实用、免费的工具。我自己也经常跑步,也用过像Nike running、runkeeper之类的app;Nike running功能实在太过于简单,而且明显的品牌宣传意图,其实并不实用;runkeeper其实设计的挺好的,但是一些功能需要付费获取。总之就是用着就心塞。刚好这个学期有个Mobile Programm... 阅读全文
posted @ 2015-12-19 01:16 过雁 阅读 (1860) 评论 (0) 编辑

2015年9月23日

摘要:http://unix.stackexchange.com/questions/136371/how-to-download-a-folder-from-google-drive-using-terminal I was able to download a public shared file like this:$ wget --no-check-certificate 'https://dr... 阅读全文
posted @ 2015-09-23 04:47 过雁 阅读 (256) 评论 (0) 编辑

2015年7月29日

摘要:当前Apache Hadoop认证(authentication)支持simple和kerberos,simple是默认的,其实是信任操作系统的认证结果(也就是直接使用操作系统的用户)。kerberos是一套第三方的认证系统,我们没有使用。以下基于hadoop 2.6.0版本。hadoop权限相关的问题,涉及四个方面:HDFS权限、YARN资源使用权限、Container使用主机资源权限、主机(h... 阅读全文
posted @ 2015-07-29 15:29 过雁 阅读 (22075) 评论 (1) 编辑

2015年7月9日

摘要:spark mllib的pipeline,是指将多个机器学习的算法串联到一个工作链中,依次执行各种算法。在Pipeline中的每个算法被称为“PipelineStage”,表示其中的一个算法。PipelineStage分为两种类型,Estimator和Transformer,其中:Transformer将数据转换为两一种形式(例如修改格式),以供后续的Estimator使用,统一的转换函数tran... 阅读全文
posted @ 2015-07-09 17:24 过雁 阅读 (1939) 评论 (0) 编辑

2015年5月28日

摘要:方案概述: 对于ycache-client,如下图,在一致性hash环上的每个节点都有一个备用的节点。正常情况下slave节点不参与key的分配(冷备)。只有当master挂了,ycache client读取/监听了zk上的slaveof节点,从而得知那些cache实例是slave状态的,把slave实例排除掉。数据变更时,如果变更的redis实例当前自己在使用,就重新初始化这个pool的所有链... 阅读全文
posted @ 2015-05-28 09:59 过雁 阅读 (452) 评论 (0) 编辑

2015年5月11日

摘要:prepare: 了解hadoop的hdfs、MapReduce、yarn这三个组件的原理和基本使用,hive是在他们之上的应用。 http://hadoop.apache.org/docs/stable/ (安全、认证、REST相关的不关注;里面有关设计原理的,最好到slideshare上找几个介绍hadoop框架原理的ppt先看一下。hive原理:http://infolab.stanford... 阅读全文
posted @ 2015-05-11 11:27 过雁 阅读 (343) 评论 (0) 编辑

2015年4月27日

摘要:http://web.cse.ohio-state.edu/hpcs/WWW/HTML/publications/papers/TR-11-7.pdf Introduce样例sql语句:“what is the average number of pages a user visits between a page in category X and a page in category Y?” ... 阅读全文
posted @ 2015-04-27 14:45 过雁 阅读 (370) 评论 (0) 编辑

2015年4月26日

摘要:http://web.cse.ohio-state.edu/hpcs/WWW/HTML/publications/papers/TR-14-2.pdf (辅助参考:https://cwiki.apache.org/confluence/display/Hive/Correlation+Optimizer )Introductionhive的主要不足: 存储和查询计划执行。文中提出了三个主要的改进... 阅读全文
posted @ 2015-04-26 23:00 过雁 阅读 (475) 评论 (0) 编辑

2015年4月24日

摘要:其中43.184的命中率只有不到70%,是要分析的对象;3.189是命中率98%左右,是做参考的对象。基本统计:可以知道43.184的update和delete操作占总操作的比例要比3.189打不少。3.18943.184按value长度分布:(差别不大)3.189:43.184:key长度分布:(区别不大)3.18943.184:按expire分布:(43.184的老化时间要比3.189的长很多... 阅读全文
posted @ 2015-04-24 16:34 过雁 阅读 (206) 评论 (0) 编辑