博客园 首页 私信博主 显示目录 隐藏目录 管理 动画

随笔分类 -  数据

摘要:一、特点 灵活的可拓展性 灵活的数据模型 和云计算的紧密结合 二、传统的关系型数据库 非常完备的关系理论基础 具有事务性机制的支持 高效的查询优化机制 三、NoSQL数据库分类 键值数据库:就是一堆键值对。 列族数据库:HBase根据列族进行垂直划分,根据行键进行水平划分。 文档数据库:可看作键值数 阅读全文
posted @ 2021-09-17 10:52 疯狂打码 阅读(76) 评论(0) 推荐(0)
摘要:一、Hbase简介 Hbase具有高可靠,高性能,面向列,可伸缩的特点。 Hbase作为分布式数据库,可以用来存储非结构化和半结构化的松散数据。 Hbase是一个稀疏的多维度的排序的映射表。 Hbase通过行键,列族,列限定符,列时间戳来定义一个数据。 Hbase每一个值都是未经解释的字符串也就是B 阅读全文
posted @ 2021-09-14 17:28 疯狂打码 阅读(302) 评论(0) 推荐(0)
摘要:MapReduce:进行批处理(离线计算)基于磁盘。 Spark:基于内存(性能高一个层次)。 Hive:数据仓库,可以使用sql语句,Hive把sql语句转换成MapReduce作业,批量数据处理。 Pig:流数据处理,提供类似sql的查询语句PigLatin。 Oozie:作业流调度系统。 Zo 阅读全文
posted @ 2021-09-10 15:20 疯狂打码 阅读(148) 评论(0) 推荐(0)
摘要:一、大数据两大核心技术 分布式存储:解决海量数据的存储问题。 分布式处理:解决海量数据的处理问题。 分布式数据库:BigTable 分布式文件系统:GFS 分布式并行处理技术:MapReduce 二、大数据计算模式 批处理 实时计算 交互式计算 批处理计算:MapReduce是批处理计算模式的典型代 阅读全文
posted @ 2021-09-09 11:08 疯狂打码 阅读(171) 评论(0) 推荐(0)