$王大少

摘要： String[] split = line.split(" ");//通过对字符串的切分得到的string类型的数组 Arrays.asList(split).iterator();//通过这个方法可以得到一个迭代器 阅读全文

摘要： 一、impala基本介绍? 所有的计算都是基于内存来的，官方推荐每台服务器的内存最少128G起 impala是cloudera提供的一款高效率的sql查询工具，提供实时的查询效果，官方测试性能比hive块3到10倍，其sql查询比sparkSQL还要快，号称是当前大数据领域最快的查询sql工具。 i 阅读全文

摘要： 一、调优的目的充分的利用机器的性能，更快的完成mr程序的计算任务。甚至是在有限的机器条件下，能够支持运行足够多的mr程序。二、调优的总体概述从mr程序的内部运行机制，我们可以了解到一个mr程序由mapper和reducer两个阶段组成，其中mapper阶段包括数据的读取、map处理以及写出操作(排序 阅读全文

摘要： 通过命令行工具(kafka-console-producer.sh和kafka-console-consumer.sh)是能够相互通信的，producer发布的信息consumer能够接收到。 但是java通过kafka-client的API写的代码始终不能跟kafka通信：java produce 阅读全文

摘要： 1、 kafka的介绍 kafka是linkedin公司开源捐献给apache的一个消息队列的框架，底层语言用的是scala kafka是一个分布式的消息队列，提供了类似于JMS的特性，不是标准的JMS的实现，也有生产者，消费者，topic等组件 2、 消息队列的作用 解耦，异步，并行 3、 kak 阅读全文

摘要： 1、Fetch抓取，尽量避免hive走mapreduce。如何设置:set hive.fetch.task.conversion=more; 在hive-default.xml.template文件中hive.fetch.task.conversion默认是more，老版本hive默认是minima 阅读全文

摘要： 1）Hive 自带了一些函数，比如：max/min等，但是数量有限，自己可以通过自定义UDF来方便的扩展。 2）当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user-defined function）。 3）根据用户自定义函数类别分为以下三种： （1 阅读全文

摘要： 1、hive的查询语法一大部分跟mysql类似 2、hive的一些排序 order by 全局排序：所有的数据都去往一个reduce里面去，会造成效率低下，慎用sort by 每一个reduce内部进行排序，也就是局部有序，但是全局无序distribured by 按照指定的字段进行hash 散列， 阅读全文

摘要： 导出数据:(路径必须是hdfs的路径) export table techer to '/export/techer'; 导入数据:(路径必须是hdfs的路径) import table techer2 from '/export/techer'; 阅读全文

摘要： 一、hive中表分为两种 1、内部表(管理表): 删除表的时候删除hdfs上的数据。 2、外部表 删除表的时候不删除hdfs上的数据。 外部表不能使用insert的方式插入数据，所有的数据来源，都是外部别人提供的，所以hive认为自己没有独占这份数据，所以删除hive表的时候，不会删 除表里面的数据 阅读全文