2016年3月26日
hbase
摘要： 一. Hbase的逻辑模型与物理模型 1. 逻辑结构 （1）行健 : 用于唯一标识一行记录 , 数据的内容只能通过行健获得 (行健本身也是字段,相当于PK主键) （2）列族 : 一系列列的集合 , 每个列族以单独的文件形式存在 . 不同的列分到不同的列族, 使得不同的列写往不同的文件。 可以提高并发 阅读全文
posted @ 2016-03-26 15:07 lj72808up 阅读(353) 评论(0) 推荐(0)
mapreduce计算框架
摘要： 一. MapReduce执行过程 1. 分片： （1）对输入文件进行逻辑分片，划分split（split大小等于hdfs的block大小） （2）每个split分片文件会发往不同的Mapper节点进行分散处理 2. mapper任务 （3）每个Mapper节点拿到split分片后，创建RecordR 阅读全文
posted @ 2016-03-26 12:21 lj72808up 阅读(207) 评论(0) 推荐(0)