博客园  :: 首页  :: 联系 :: 管理

2016年9月10日

摘要: 目录: write Compaction splite read Write: 当客户端发起一个Put请求时,首先根据RowKey寻址,从hbase:meta表中查出该Put数据最终需要去的HRegionServer 客户端将Put请求发送给相应的HRegionServer,在HRegionServ 阅读全文

posted @ 2016-09-10 22:18 天戈朱 阅读(2112) 评论(0) 推荐(0) 编辑

摘要: HBase隶属于hadoop生态系统,它参考了谷歌的BigTable建模,实现的编程语言为 Java, 建立在hdfs之上,提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它仅能通过主键(row key)和主键的range来检索数据,主要用来存储非结构化和半结构化的松散数据。与hadoo 阅读全文

posted @ 2016-09-10 19:37 天戈朱 阅读(6156) 评论(2) 推荐(2) 编辑

2016年9月6日

摘要: 在电池的大家族中,蓄电池的种类是最多的,共同的特点是可以经历多次充电、放电循环,反复使用,这也正是蓄电池作为电动汽车动力源的基础。当然,并不是所有的蓄电池都适合应用于电动汽车,从全球新能源汽车的发展来看,市场上的新能源汽车动力电池基本为锂离子电池。 电动汽车对动力电池的要求主要如下: 电池分类和指标 阅读全文

posted @ 2016-09-06 08:31 天戈朱 阅读(2603) 评论(0) 推荐(0) 编辑

2016年9月5日

摘要: 基于 HDP2.4安装(五):集群及组件安装 创建的hadoop集群,修改默认配置,将hbase 存储配置为 Azure Blob Storage 目录: 简述 配置 验证 FAQ 简述: hadoop-azure 提供hadoop 与 azure blob storage 集成支持,需要部署 ha 阅读全文

posted @ 2016-09-05 21:19 天戈朱 阅读(2252) 评论(1) 推荐(0) 编辑

摘要: 基于linux 创建HDInsight HBase集群,选择最小配置,zk(3)、NN(2)、WN(2),集群节点默认组件服务规划如下 NN0: Active NameNode /HDFS ZKFailoverController/HDFS App Timeline Server /YARN Act 阅读全文

posted @ 2016-09-05 21:19 天戈朱 阅读(596) 评论(0) 推荐(0) 编辑

2016年9月3日

摘要: 目录: hdfs 命令操作本地 hbase Azure HDInsight HBase表数据导入本地 hbase hdfs命令操作本地hbase: 参见 HDP2.4安装(五):集群及组件安装 , 创建本地 hbase集群后,使用hadoop hdfs 命令在访问 hbase 存储数据时,数据在hd 阅读全文

posted @ 2016-09-03 05:46 天戈朱 阅读(1179) 评论(0) 推荐(0) 编辑

摘要: hdfs dfs -cat URI : 查看文件内容 -ls <args>: 查文件列表 -mkdir <paths> : 创建目录 The behavior is much like unix mkdir -p creating parent directories along the path 阅读全文

posted @ 2016-09-03 05:43 天戈朱 阅读(2420) 评论(0) 推荐(0) 编辑

2016年9月1日

摘要: SparkSQL是指整合了Hive的spark-sql cli, 本质上就是通过Hive访问HBase表,具体就是通过hive-hbase-handler, 具体配置参见:Hive(五):hive与hbase整合 目录: SparkSql 访问 hbase配置 测试验证 SparkSql 访问 hb 阅读全文

posted @ 2016-09-01 21:25 天戈朱 阅读(9347) 评论(0) 推荐(0) 编辑

2016年8月31日

摘要: 参见 HDP2.4安装(五):集群及组件安装 ,安装配置的spark版本为1.6, 在已安装HBase、hadoop集群的基础上通过 ambari 自动安装Spark集群,基于hadoop yarn 的运行模式。 目录: Spark集群安装 参数配置 测试验证 Spark集群安装: 在ambari 阅读全文

posted @ 2016-08-31 23:49 天戈朱 阅读(4950) 评论(0) 推荐(0) 编辑

摘要: Spark 作为一个以擅长内存计算为优势的计算引擎,内存管理方案是其非常重要的模块; Spark的内存可以大体归为两类:execution和storage,前者包括shuffles、joins、sorts和aggregations所需内存,后者包括cache和节点间数据传输所需内存;在Spark 1 阅读全文

posted @ 2016-08-31 23:47 天戈朱 阅读(7183) 评论(0) 推荐(0) 编辑