2017年12月12日
日期类的一些常用方法
摘要： 1 package com.liveyc.common.utils; 2 3 import java.text.ParseException; 4 import java.text.SimpleDateFormat; 5 import java.util.ArrayList; 6 import java.util.Calendar; 7 import java.ut... 阅读全文
posted @ 2017-12-12 16:02 再也伤不起 阅读(531) 评论(0) 推荐(0)
2017年12月7日
&和&&的区别
摘要： &和&&都是逻辑运算符号，&&又叫短路运算符区别如下 1 int i=1; 2 if(i==2 & i++==2){}　//i==2为false,但i++==2还会继续比较，所以i++被执行 3 System.out.println(i);//i 打印出来为2 4 int j=1; 5 if(j== 阅读全文
posted @ 2017-12-07 20:32 再也伤不起 阅读(12830) 评论(0) 推荐(2)
用java代码调用shell脚本执行sqoop将hive表中数据导出到mysql
摘要： 1：创建shell脚本 编辑文件 特地将执行map的个数设置为变量 测试 可以java代码传参数 同时也验证sqoop的 options 属性支持这种写法 2：创建 sqoop-import-mysql.txt 文件并编辑 hive数据存在hdfs位置 3：开始写java后台代码 目前只支持 win 阅读全文
posted @ 2017-12-07 16:36 再也伤不起 阅读(2152) 评论(3) 推荐(0)
用sqoop将mysql的数据导入到hive表中
摘要： 1：先将mysql一张表的数据用sqoop导入到hdfs中 准备一张表 需求 将 bbs_product 表中的前100条数据导 导出来 只要id brand_id和 name 这3个字段 数据存在 hdfs 目录 /user/xuyou/sqoop/imp_bbs_product_sannpy_ 阅读全文
posted @ 2017-12-07 14:17 再也伤不起 阅读(83758) 评论(0) 推荐(4)
windows下启动mysql服务的命令行启动和手动启动方法
摘要： 1、图形界面下启动mysql服务。 在图形界面下启动mysql服务的步骤如下： （1）打开控制面板->管理工具->服务，如下图所示： 可以看到Mysql服务目前的状态是未启动（未写已启动的都是未启动状态），在对应行双机打开小窗口如下： 点击按钮“启动”则进行mysql服务的启动，这时候会显示已启用， 阅读全文
posted @ 2017-12-07 11:42 再也伤不起 阅读(130544) 评论(1) 推荐(1)
使sqoop能够启用压缩的一些配置
摘要： 在使用sqoop 将数据库表中数据导入至hdfs时 配置启用压缩 hadoop 的命令 检查本地库支持哪些 bin/hadoop checknative 需要配置native 要编译版本 删除hadoop安装目录 lib 下的native文件夹 将解压好的native文件 拷贝到hadoop lib 阅读全文
posted @ 2017-12-07 11:39 再也伤不起 阅读(1817) 评论(0) 推荐(0)
2017年12月6日
简易安装sqoop
摘要： 版本 ：hive-0.13.1-cdh5.3.6.tar.gz 1：解压 然后 进到 conf 目录 修改 sqoop-env.sh 2：如果使用mysql 数据库 要将 mysql驱动包拷贝到 sqoop安装目录的lib文件夹下 阅读全文
posted @ 2017-12-06 16:14 再也伤不起 阅读(211) 评论(0) 推荐(0)
javaScript 中的一些日常用法总结
摘要： 从今天开始把开发中常用到的js语法 一一记录下来 方便以后复习回顾用； 1：对字符串进行替换 replace 以及 replaceAll replace ： replaceAll： 总结 replace 只能替换第一个 匹配的元素 如果要全部替换 则可以使用 replaceAll 2： 将字符串 转 阅读全文
posted @ 2017-12-06 15:15 再也伤不起 阅读(577) 评论(0) 推荐(0)
sqoop一些语法的使用
摘要： 参数详细资料 观看这个博客 http://shiyanjun.cn/archives/624.html Sqoop可以在HDFS/Hive和关系型数据库之间进行数据的导入导出，其中主要使用了import和export这两个工具。这两个工具非常强大，提供了很多选项帮助我们完成数据的迁移和同步。比如，下 阅读全文
posted @ 2017-12-06 11:51 再也伤不起 阅读(27596) 评论(3) 推荐(3)
搭建cdh单机版版本的hive所遇到的问题总汇
摘要： 今天按照网上教程搭建了下 cdh 单机版的 hive 将相关配置记录下来 以便以后方便翻阅 版本 hive-0.13.1-cdh5.3.6.tar.gz 1. 直接解压 然后将 mysql驱动包 拷贝到 hive 的lib目录下 2. 进入 conf 配置目录下 总共要修改3个文件 其中hive-s 阅读全文
posted @ 2017-12-06 11:08 再也伤不起 阅读(2024) 评论(0) 推荐(0)