zguood

摘要： Spark学习笔记Spark简介spark可以很容易和yarn结合，直接调用HDFS、Hbase上面的数据，和hadoop结合。配置很容易。spark发展迅猛，框架比hadoop更加灵活实用。减少了延时处理，提高性能效率实用灵活性。也可以与hadoop切实相互结合。spark核心部分分为RDD。S... 阅读全文

摘要： 阅读全文

摘要： Hadoop原理 分为HDFS与Yarn两个部分。HDFS有Namenode和Datanode两个部分。每个节点占用一个电脑。Datanode定时向Namenode发送心跳包，心跳包中包含Datanode的校验等信息，用来监控Datanode。HDFS将数据分为块，默认为64M每个块信息按照配置的参... 阅读全文

摘要： 关于搜索的缓存机制的入门，有一篇很好的文章，在这里简单总结一下，下面是文章的链接：http://www.tao-sou.com/840.html 对于一个正常的搜索流程，比如用户输入查询请求“夏季 连衣裙”，淘宝搜索引擎需要分别将存储在磁盘上的两个单词的倒排索引读入内存，之后进行解压缩，然后求... 阅读全文

摘要： Log4j输出到控制台成功，写入文件失败 - Log4j和commons log的整合一、今天在使用commongs-logging.jar和log4j.properties来输出系统日志的时候，发现日志能够成功的输出到控制台，但是去不能写到目的文件中，具体的步骤和原因如下：1. 只在项目中引入co... 阅读全文

摘要： 基础http://os.51cto.com/art/201308/408739.htm模型http://www.cnblogs.com/linjiqin/archive/2013/05/28/3104016.html一、Storm基本概念在运行一个Storm任务之前，需要了解一些概念：Topolog... 阅读全文

摘要： 刚刚接触storm 对于滑动窗口的topN复杂模型有一些不理解，通过阅读其他的博客发现有两篇关于topN的非滑动窗口的介绍。然后转载过来。下面是第一种：Storm的另一种常见模式是对流式数据进行所谓“streaming top N”的计算，它的特点是持续的在内存中按照某个统计指标（如出现次数）计算T... 阅读全文

摘要： 本文针对链接中的文件观点简单提炼http://mp.weixin.qq.com/s?__biz=MzAxNTEzMjI3Mg==&mid=205745072&idx=1&sn=4f8b5fe6abdc6692cc8178eb66868dc4&scene=5#rd1.主要分析来自不同地域的用户的偏好，... 阅读全文