1241187306qq

摘要： 格式类型 Hive支持的存储数据的格式主要有：TEXTFILE 文本格式文件（行式存储）、 SEQUENCEFILE 二进制序列化文件(行式存储)、ORC（列式存储）、PARQUET（列式存储）等。 hive的存储格式通常是：textfile 、 sequencefile 、 rcfile 、 or 阅读全文

摘要： Hive动态分区 应用场景： 不确定分区数量，数据量也不是很大，使用动态分区 动态分区，其可以基于查询参数的位置去推断分区的名称，从而建立分区。 Hive的动态分区，其实就是把静态分区中的分区值设置为动态的值 insert overwrite table dynamic_ partition par 阅读全文

摘要： Hive 自动合并小文件可以减轻 NameNode 的压力。数据量大可以有更好的压缩效率。并且后续处理这些数据时，任务的启动速度会加快。 但是配置稍微复杂，没有一个能用所有引擎的参数。 小文件的判断 如果一个 job 结束后，生成的文件的平均大小 小于 参数 hive.merge.smallfile 阅读全文

摘要： 数据倾斜的定义 数据倾斜是指在并行进行数据处理的时候，由于单个partition的数据显著多余其他部分，分布不均匀，导致大量数据集中分布到一台或者某几台计算节点上，使得该部分的处理速度远低于平均计算速度，成为整个数据集处理的瓶颈，从而影响整体计算性能。 几种数据倾斜的解决方案 1、空值引发的数据倾斜 阅读全文

摘要： #Hive性能优化 影响Hive效率的因素：数据倾斜，数据冗余，Job或I/O过多，MapReduce分配不合理 ###优化方法 数据倾斜 数据倾斜的定义 数据倾斜是指在并行进行数据处理的时候，由于单个partition的数据显著多余其他部分，分布不均匀，导致大量数据集中分布到一台或者某几台计算节点 阅读全文

摘要： 分桶表 ###书写格式 [CLUSTERED BY (col_name, col_name, …) 分桶的字段，是从表的普通字段中来取 [SORTED BY (col_name [ASC|DESC], …)] INTO num_buckets BUCKETS] ###使用场景 通常，在管理大规模数据 阅读全文