淡淡的忧伤IT男

摘要： 0.要继承org.apache.hadoop.hive.ql.exec.UDF类实现evaluate自定义函数调用过程：1.添加jar包（在hive命令行里面执行）hive> add jar /root/NUDF.jar;2.创建临时函数hive> create temporary function... 阅读全文

摘要： 一、基础1、说明：创建数据库CREATEDATABASEdatabase-name 2、说明：删除数据库dropdatabase dbname3、说明：备份sql server--- 创建 备份数据的 deviceUSE masterEXEC sp_addumpdevice 'disk', 'tes... 阅读全文

摘要： hadoop的map/reduce中支持对key进行分区，从而让map出来的数据均匀分布在reduce上，当然，有时候由于机器间配置问题，可能不需要数据均匀，这时候也能派上用场。框架自带了一个默认的分区类，HashPartitioner，先看看这个类，就知道怎么自定义key分区了。public cl... 阅读全文

摘要： package cn.itcast.hbase;//import java.io.IOException;import java.io.IOException;import java.util.ArrayList;import java.util.List;import org.apache.had... 阅读全文

摘要： 单元测试是整个测试流程中最基础的部分，它们要求程序员尽可能早地发现问题，并给予控制，这是其一。另外，如果集成测试出现问题，它们可以帮助诊断。这样就为在软件开发流程中建立高效的事件反应机制打下了坚实基础。 JUnit就是为Java程序开发者实现单元测试提供一种框架，使得Java单元测试更规范有效，并... 阅读全文

摘要： package cn.itcast.hbase;//import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;imp... 阅读全文

摘要： sqoop安装：安装在一台节点上就可以了。1.上传sqoop2.安装和配置 在添加sqoop到环境变量 将数据库连接驱动拷贝到$SQOOP_HOME/lib里 3.使用 第一类：数据库中的数据导入到HDFS上 sqoop import --connect jdbc:mysql://192.168.1... 阅读全文

摘要： 我们经常在linux要查找某个文件，但不知道放在哪里了，可以使用下面的一些命令来搜索。这些是从网上找到的资料，因为有时很长时间不会用到，当要用的时候经常弄混了，所以放到这里方便使用。which 查看可执行文件的位置whereis 查看文件的位置locate 配 合数据库查看文件位置find 实际搜寻... 阅读全文

摘要： Eclipse启动时报错：A Java RunTime Environment (JRE) or Java Development Kit (JDK) must be available in order to run Eclipse. No java virtual machine was fou... 阅读全文

摘要： 1.实现分区的步骤： 1.1先分析一下具体的业务逻辑，确定大概有多少个分区 1.2首先书写一个类，它要继承org.apache.hadoop.mapreduce.Partitioner这个类 1.3重写public int getPartition这个方法，根据具体逻辑，读数据库或者配置返回相同的数... 阅读全文