邬家栋

摘要： hive复制表结构 例:创建一个和stg_job表一样表结构的s_job表 阅读全文

摘要： hive的脚本执行 实例 hive与依赖环境的交互 与linux交互 与hdfs交互 阅读全文

摘要： sqoop将mysql数据库中数据导入hdfs或hive中后中文乱码问题解决办法 mysql数据导入hdfs中中文乱码问题总结 修改mysql里面的my.conf文件 创建数据库，指定字符集是utf8 再新的数据库里面创建表，在create table语句里面指定字符集是 utf8 插入中文汉字记录 阅读全文

摘要： 最近学习了下这个导数据的工具，但是在export命令这里卡住了，暂时排不了错误。先记录学习的这一点吧 sqoop是什么 sqoop（sql on hadoop）：是用来实现结构型数据（如关系型数据库）和hadoop之间进行数据迁移的工具。它充分利用了mapreduce的并行特点以及批处理的方式加快数 阅读全文

摘要： 转换流 由于字节流操作中文不是特别方便，所以java中提供了转换流 编码表：由现实世界的字符和对应的数值组成的一张表 编码：把看得懂的变成看不懂的(String byte[]) 解码：把看不懂的变成看得懂的(byte[] String) String bytes[] bytes[] String O 阅读全文

摘要： IO流 输入与输出【参照物是程序】 如果从键盘、文件、网络甚至是另一个进程（程序或系统）将数据读入到程序或系统中，称为输入 如果是将程序或系统中的数据写到屏幕、硬件上的文件、网络上的另一端或者是一个进程（程序或系统），称为输出 IO流的分类 根据数据流向不同分为：输入流和输出流 输入流: 程序可以从 阅读全文

摘要： File类 File：文件和目录路径名的抽象表示形式。即java中把文件或者目录都封装成File对象 代码练习1 File类构造方法 代码练习2 创建功能 代码练习3 删除功能 代码练习4 重命名功能 代码练习5 判断功能 代码练习6 获取功能 代码练习7 高级获取功能（重点） 代码练习8 练习：判 阅读全文

摘要： 增强for循环 用ArrayList存储字符串，要求加入泛型，并用增强for遍历 获取10个1 20之间的随机数，要求不能重复 获取10个1 20之间的随机数，要求不能重复 / 获取10个1 20之间的随机数，要求不能重复 / import java.util.Random; import java 阅读全文

摘要： hive基本操作 hive的数据类型 1）基本数据类型 TINYINT,SMALLINT,INT,BIGINT FLOAT/DOUBLE BOOLEAN STRING 2）复合类型 ARRAY：一组有序字段。字段的类型必须相同，例Array(1,2) MAP：一组无序的键/值对。键的类型必须是原子的 阅读全文

摘要： sqoop目前有两个版本sqoop1和sqoop2，这里安装的是sqoop1版本 1）将软件上传到spark1节点 2）修改权限 3）解压安装 4）重命名 5）配置环境变量 6）使环境变量生效并验证是否配置成功 7）修改配置文件 sqoop env.sh 8）将所需要的mysql驱动包拷贝到Sqoo 阅读全文