上一页 1 ··· 245 246 247 248 249 250 251 252 253 ··· 273 下一页
2017年2月9日
解放你内心的自然领袖，从你的内心而非你的自我来领导你自己
摘要： 了解如何解放你内心的自然领袖，从你的内心而非你的自我来领导你自己 获得真正的发自内心的信心，激发忠诚 当你真正实现自我价值的时候，练习自我同情 激发你创造者的本性 真正地享受工作和你给世界带来的价值 Michael Anderson在他的著作《以魂为中心的领导力》一书中介绍了如何通过与灵魂交流，发展 阅读全文
posted @ 2017-02-09 11:54 bonelee 阅读(289) 评论(0) 推荐(0)
Twitter的支撑架构：扩展网络与存储并提供服务——架构原则：一次性将事情做对，NFL原则 LSM+B+存储替代cassandra
摘要： Twitter工程团队近期提供了Twitter核心技术的演进和扩展的详细资料，这些核心技术支撑了Twitter自营数据中心的系统架构，用于提供社会媒体服务。他们分享的关键经验包括：超越原始规格和需求进行系统架构，并在流量趋向设计容量上限时迅速做出大刀阔斧的改进；不存在所谓的“临时更改或变通方案”，因 阅读全文
posted @ 2017-02-09 09:30 bonelee 阅读(409) 评论(0) 推荐(0)
2017年2月1日
大数据框架对比：Hadoop、Storm、Samza、Spark和Flink--容错机制（ACK，RDD，基于log和状态快照），消息处理at least once，exactly once两个是关键
摘要： 分布式流处理是对无边界数据集进行连续不断的处理、聚合和分析。它跟MapReduce一样是一种通用计算，但我们期望延迟在毫秒或者秒级别。这类系统一般采用有向无环图(DAG)。 DAG是任务链的图形化表示，我们用它来描述流处理作业的拓扑。如下图，数据从sources流经处理任务链到sinks。单机可以运 阅读全文
posted @ 2017-02-01 23:55 bonelee 阅读(8860) 评论(0) 推荐(0)
大数据框架对比：Hadoop、Storm、Samza、Spark和Flink——flink支持SQL，待看
摘要： 简介 大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。 在之前的文章中，我们曾经介绍过有关大数据系统的常规概念、处理过程，以及各种专门术 阅读全文
posted @ 2017-02-01 22:48 bonelee 阅读(3898) 评论(0) 推荐(1)
Hive数据导入——数据存储在Hadoop分布式文件系统中，往Hive表里面导入数据只是简单的将数据移动到表所在的目录中！
摘要： 转自：http://blog.csdn.net/lifuxiangcaohui/article/details/40588929 转自：http://blog.csdn.net/lifuxiangcaohui/article/details/40588929 Hive是基于Hadoop分布式文件系统 阅读全文
posted @ 2017-02-01 00:13 bonelee 阅读(10575) 评论(0) 推荐(0)
2017年1月31日
Hive数据分析——Spark是一种基于rdd（弹性数据集）的内存分布式并行处理框架，比于Hadoop将大量的中间结果写入HDFS，Spark避免了中间结果的持久化
摘要： 转自：http://blog.csdn.net/wh_springer/article/details/51842496 近十年来，随着Hadoop生态系统的不断完善，Hadoop早已成为大数据事实上的行业标准之一。 1 Hive基本原理 Hadoop是一个流行的开源框架，用来存储和处理商用硬件上的 阅读全文
posted @ 2017-01-31 23:57 bonelee 阅读(2095) 评论(0) 推荐(0)
Hive group by实现-就是word 统计
摘要： 准备数据 计算过程 默认设置了hive.map.aggr=true，所以会在mapper端先group by一次，最后再把结果merge起来，为了减少reducer处理的数据量。注意看explain的mode是不一样的。mapper是hash，reducer是mergepartial。如果把hive 阅读全文
posted @ 2017-01-31 23:21 bonelee 阅读(4054) 评论(0) 推荐(0)
Hive mapreduce SQL实现原理——SQL最终分解为MR任务，而group by在MR里和单词统计MR没有区别了
摘要： 转自：http://blog.csdn.net/sn_zzy/article/details/43446027 SQL转化为MapReduce的过程 了解了MapReduce实现SQL基本操作之后，我们来看看Hive是如何将SQL转化为MapReduce任务的，整个编译过程分为六个阶段： Join的 阅读全文
posted @ 2017-01-31 23:04 bonelee 阅读(12638) 评论(0) 推荐(1)
SQL group by底层原理——本质是排序，可以利用索引事先排好序
摘要： 转自：http://blog.csdn.net/caomiao2006/article/details/52140993 由于GROUP BY 实际上也同样会进行排序操作，而且与ORDER BY 相比，GROUP BY 主要只是多了排序之后的分组操作。当然，如果在分组的时候还使用了其他的一些聚合函数 阅读全文
posted @ 2017-01-31 22:48 bonelee 阅读(25906) 评论(0) 推荐(0)
2017年1月26日
TODO
摘要： 1、搜索引擎原理——从索引、搜索、facet底层原理看搜索引擎的本质2、开源搜索引擎分析——lucene(ES、Solr)、sphinx、wukong、bleve、poseidon、indextank-engine3、商业搜索引擎Splunk介绍——性能，架构，底层窥探4、提升CIS智能检索性能的方 阅读全文
posted @ 2017-01-26 17:58 bonelee 阅读(524) 评论(0) 推荐(0)
上一页 1 ··· 245 246 247 248 249 250 251 252 253 ··· 273 下一页