yyyyyyyyyyyyyyyyyyyy

博客园 首页 新随笔 联系 订阅 管理
上一页 1 ··· 174 175 176 177 178 179 180 181 182 ··· 367 下一页

2016年4月30日 #

摘要: Hadoop Hive与Hbase整合+thrift 1. 简介 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapR 阅读全文
posted @ 2016-04-30 12:21 xxxxxxxx1x2xxxxxxx 阅读(288) 评论(0) 推荐(0)

摘要: Hadoop Hive sql语法详解 Hadoop Hive sql语法详解 Hive 是基于Hadoop 构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据,可以将结构 化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL 阅读全文
posted @ 2016-04-30 12:20 xxxxxxxx1x2xxxxxxx 阅读(141) 评论(0) 推荐(0)

摘要: 用PHP编写Hadoop的MapReduce程序 Hadoop流 虽然Hadoop是用Java写的,但是Hadoop提供了Hadoop流,Hadoop流提供一个API, 允许用户使用任何语言编写map函数和reduce函数.Hadoop流动关键是,它使用UNIX标准流作为程序与Hadoop之间的接口 阅读全文
posted @ 2016-04-30 12:20 xxxxxxxx1x2xxxxxxx 阅读(109) 评论(0) 推荐(0)

摘要: MapReduce数据流 Hadoop的核心组件在一起工作时如下图所示: 图4.4高层MapReduce工作流水线 MapReduce的输入一般来自HDFS中的文件,这些文件分布存储在集群内的节点上。运行一个MapReduce程序会在集群的许多节点甚至所有节点上运行mapping任务,每一个mapp 阅读全文
posted @ 2016-04-30 12:20 xxxxxxxx1x2xxxxxxx 阅读(165) 评论(0) 推荐(0)

摘要: Hadoop HDFS分布式文件系统设计要点与架构 Hadoop简介:一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File Sy 阅读全文
posted @ 2016-04-30 12:19 xxxxxxxx1x2xxxxxxx 阅读(137) 评论(0) 推荐(0)

摘要: 使用python来访问Hadoop HDFS存储实现文件的操作 原文:http://rfyiamcool.blog.51cto.com/1030776/1258292 在调试环境下,咱们用hadoop提供的shell接口测试增加删除查看,但是不利于复杂的逻辑编程 查看文件内容 www.xiaorui 阅读全文
posted @ 2016-04-30 12:19 xxxxxxxx1x2xxxxxxx 阅读(1522) 评论(0) 推荐(0)

摘要: hadoop安全模式在分布式文件系统启动的时候,开始的时候会有安全模式,当分布式文件系统处于安全模式的情况下,文件系统中的内容不允许修改也不允许删除,直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性,同时根据策略必要的复制或者删除部分数据块。运行期通过命令也 阅读全文
posted @ 2016-04-30 12:18 xxxxxxxx1x2xxxxxxx 阅读(118) 评论(0) 推荐(0)

摘要: hbase安装配置(整合到hadoop) hbase安装配置(整合到hadoop) 如果想详细了解hbase的安装:http://abloz.com/hbase/book.html 和官网http://hbase.apache.org/ 1. 快速单击安装 在单机安装Hbase的方法。会引导你通过s 阅读全文
posted @ 2016-04-30 12:17 xxxxxxxx1x2xxxxxxx 阅读(155) 评论(0) 推荐(0)

摘要: HBase技术介绍 HBase简介 HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase是Google Bigtable的开源实现,类似Google Bigtab 阅读全文
posted @ 2016-04-30 12:17 xxxxxxxx1x2xxxxxxx 阅读(131) 评论(0) 推荐(0)

摘要: Hadoop集群配置(最全面总结) 通常,集群里的一台机器被指定为 NameNode,另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves\ 官方地址:(http://Hadoop.apache. 阅读全文
posted @ 2016-04-30 12:16 xxxxxxxx1x2xxxxxxx 阅读(413) 评论(0) 推荐(0)

上一页 1 ··· 174 175 176 177 178 179 180 181 182 ··· 367 下一页