过雁

摘要： 标题很大，其实我只想记录一下最近遇到的一个例子，或者说一个故事。最近董喵喵同学在微信上玩起了神秘，她在微信上发了下面这张图片并附注说去了一个神秘的地方，然后当然就很多人开始猜了。。虽然我号称走遍南京（那是以前我在豆瓣组织的一个系列徒步活动），但是这个地方说真的没有印象见过，或者说见过类似的地方有点多，这个被严重PS加光晕做旧的照片实在太有难度。。说白了我不知道是哪，但知道肯定不是南京比较有名的那几... 阅读全文

摘要： RunHelper是一个为跑步而设计的android应用，意在为爱跑步的人提供一个简洁、实用、免费的工具。我自己也经常跑步，也用过像Nike running、runkeeper之类的app；Nike running功能实在太过于简单，而且明显的品牌宣传意图，其实并不实用；runkeeper其实设计的挺好的，但是一些功能需要付费获取。总之就是用着就心塞。刚好这个学期有个Mobile Programm... 阅读全文

摘要： http://unix.stackexchange.com/questions/136371/how-to-download-a-folder-from-google-drive-using-terminal I was able to download a public shared file like this:$ wget --no-check-certificate 'https://dr... 阅读全文

摘要： 当前Apache Hadoop认证（authentication）支持simple和kerberos，simple是默认的，其实是信任操作系统的认证结果（也就是直接使用操作系统的用户）。kerberos是一套第三方的认证系统，我们没有使用。以下基于hadoop 2.6.0版本。hadoop权限相关的问题，涉及四个方面：HDFS权限、YARN资源使用权限、Container使用主机资源权限、主机（h... 阅读全文

摘要： spark mllib的pipeline，是指将多个机器学习的算法串联到一个工作链中，依次执行各种算法。在Pipeline中的每个算法被称为“PipelineStage”，表示其中的一个算法。PipelineStage分为两种类型，Estimator和Transformer，其中：Transformer将数据转换为两一种形式（例如修改格式），以供后续的Estimator使用，统一的转换函数tran... 阅读全文

摘要： 方案概述： 对于ycache-client，如下图，在一致性hash环上的每个节点都有一个备用的节点。正常情况下slave节点不参与key的分配（冷备）。只有当master挂了，ycache client读取/监听了zk上的slaveof节点，从而得知那些cache实例是slave状态的，把slave实例排除掉。数据变更时，如果变更的redis实例当前自己在使用，就重新初始化这个pool的所有链... 阅读全文

摘要： prepare: 了解hadoop的hdfs、MapReduce、yarn这三个组件的原理和基本使用，hive是在他们之上的应用。 http://hadoop.apache.org/docs/stable/ （安全、认证、REST相关的不关注；里面有关设计原理的，最好到slideshare上找几个介绍hadoop框架原理的ppt先看一下。hive原理：http://infolab.stanford... 阅读全文

摘要： http://web.cse.ohio-state.edu/hpcs/WWW/HTML/publications/papers/TR-11-7.pdf Introduce样例sql语句：“what is the average number of pages a user visits between a page in category X and a page in category Y?” ... 阅读全文

摘要： http://web.cse.ohio-state.edu/hpcs/WWW/HTML/publications/papers/TR-14-2.pdf (辅助参考：https://cwiki.apache.org/confluence/display/Hive/Correlation+Optimizer ）Introductionhive的主要不足： 存储和查询计划执行。文中提出了三个主要的改进... 阅读全文

摘要： 其中43.184的命中率只有不到70%，是要分析的对象；3.189是命中率98%左右，是做参考的对象。基本统计：可以知道43.184的update和delete操作占总操作的比例要比3.189打不少。3.18943.184按value长度分布：（差别不大）3.189：43.184：key长度分布：（区别不大）3.18943.184：按expire分布：（43.184的老化时间要比3.189的长很多... 阅读全文