代码改变世界

随笔分类 -  大数据

一个简单的算法,分布式系统的性能瞬间被提升10倍以上!

2019-09-12 15:54 by jackyu888, 544 阅读, 收藏,
摘要: 一、概要 这篇文章,给大家聊聊分布式文件系统HDFS在大量客户端并发写数据时,如何进行性能优化? 二、背景引入 先引入一个小的背景,假如多个客户端同时要并发的写Hadoop HDFS上的一个文件,这个事儿能成吗? 明显不可以接受啊,因为HDFS上的文件是不允许并发写的,比如并发的追加一些数据什么。 阅读全文

学习数据仓库Hive

2019-08-30 17:28 by jackyu888, 249 阅读, 收藏,
摘要: 数据分析引擎:hive 大数据的终极目标:使用SQL语句来处理大数据 1,hadoop的体系架构中: 两个数据分析引擎:(*)Hive:支持sql (*)Pig:支持PigLatin 一,什么是hive? 1,hive是一个基于hdfs之上的数据仓库 hive hdfs 表 目录 数据 文件 分区表 阅读全文