摘要：
什么是索引 索引类似于书本目录，是数据库存储引擎维护的用于快速查找到记录的一种数据结构，它是对查询性能优化的最有效手段。 MySQL索引是在存储引擎层而不是服务器层实现的，不同存储引擎的索引工作方式也不一样，也不是所有的存储引擎都支持所有的索引；即使多个存储引擎支持同一种类型的索引，其底层的实现也可 阅读全文
posted @ 2017-10-27 12:59
做个有梦想的咸鱼
阅读(549)
评论(0)
推荐(0)
摘要：
1. 原文地址： "MapReduce的架构组成" MapReduce基本架构 分而治之，并行计算 一句话 —— 整体主从架构，map加reduce；map、split入磁盘，数据对分partition；shuffle、sort、key value，一个reduce解析一个partition。 一堆 阅读全文
posted @ 2017-10-23 09:48
做个有梦想的咸鱼
阅读(2143)
评论(0)
推荐(0)
摘要：
1. MapReduce基本编程模型和框架 1.1 MapReduce抽象模型 大数据计算的核心思想是：分而治之。如下图所示。把大量的数据划分开来，分配给各个子任务来完成。再将结果合并到一起输出。注：如果数据的耦合性很高，不能分离，那么这种并行计算就不合适了。 图1： MapReduce抽象模型 1 阅读全文
posted @ 2017-10-23 09:43
做个有梦想的咸鱼
阅读(3977)
评论(0)
推荐(0)
摘要：
转载自：《我是如何向老婆解释MapReduce的？》 昨天，我在Xebia印度办公室发表了一个关于MapReduce的演说。演说进行得很顺利，听众们都能够理解MapReduce的概念（根据他们的反馈）。我成功地向技术听众们（主要是Java程序员，一些Flex程序员和少数的测试人员）解释了MapRed 阅读全文
posted @ 2017-10-23 09:41
做个有梦想的咸鱼
阅读(374)
评论(0)
推荐(0)
摘要：
原文地址： "如何简单解释 MapReduce 算法" 在Hackbright做导师期间，我被要求向技术背景有限的学生解释MapReduce算法，于是我想出了一个有趣的例子，用以阐释它是如何工作的。 例子 你想数出一摞扑克牌中有多少黑桃。直观方式是一张一张检查并且数出有多少张是黑桃。 MapRedu 阅读全文
posted @ 2017-10-23 09:40
做个有梦想的咸鱼
阅读(1301)
评论(0)
推荐(1)
摘要：
1. 参看原文 "【Hadoop】HDFS的运行原理" 2. 参看原文 " 还不懂HDFS的工作原理？快来扫扫盲" 简介 HDFS(Hadoop Distributed File System) Hadoop分布式文件系统。是根据google发表的论文实现的。论文为GFS( Google File 阅读全文
posted @ 2017-10-23 09:39
做个有梦想的咸鱼
阅读(344)
评论(0)
推荐(0)
摘要：
HDFS命令基本格式 1. hadoop fs cmd args 2. hdfs dfs cmd args cat 将路径指定文件的内容输出到stdout。 示例 + + ls命令 列出 hdfs文件系统根目录下的目录和文件 列出hdfs文件系统所有的目录和文件 列出hdfs文件系统在 /opt/l 阅读全文
posted @ 2017-10-23 09:39
做个有梦想的咸鱼
阅读(1266)
评论(0)
推荐(0)
摘要：
centos 多台机器免密登录 "hadoop学习笔记(五)——全分布模式下SSH免密码登陆的实现" 参考安装教程 "Hadoop 2.7.4 集群快速搭建" 启动hadoop 关闭 hadoop 无法访问50070端口 1. 本机telnet 查看是否能连通50070端口。 2. 开放端口： /s 阅读全文
posted @ 2017-10-23 09:38
做个有梦想的咸鱼
阅读(243)
评论(0)
推荐(0)
摘要：
1. 参见马士兵老师的博文： "map_reduce" 环境配置 Windows本地解压Hadoop压缩包，然后像配置JDK环境变量一样在系统环境变量里配置HADOOP_HOME和path环境变量。注意：hadoop安装目录尽量不要包含空格或者中文字符。 形如： 添加windows环境下依赖的库文件 阅读全文
posted @ 2017-10-20 12:22
做个有梦想的咸鱼
阅读(3081)
评论(0)
推荐(0)
摘要：
1. 原文地址： "Spring整合JMS 基于ActiveMQ" 1. pom.xml 文件 2. 配置ConnectionFactory ConnectionFactory是用于产生到JMS服务器的链接的，Spring为我们提供了多个ConnectionFactory，有SingleConnec 阅读全文
posted @ 2017-09-22 09:41
做个有梦想的咸鱼
阅读(268)
评论(0)
推荐(0)
浙公网安备 33010602011771号