随笔分类 -  hadoop

sqoop常用命令
摘要:./sqoop export --connect jdbc:mysql://127.0.0.1:3306/test --username hive --password hive --table MYTEST2 --columns "name,fileurl" --hcatalog-database 阅读全文

posted @ 2017-03-05 21:06 潺潺水声 阅读(1368) 评论(0) 推荐(0)

hadoop常见问题汇总
摘要:1.格式化HDFS的时候:hadoop namenode -format hadoop namenode –format重新格式化HDFS,在格式化之前,需要将你 NameNode上所配置的dfs.name.dir这一namenode用来存放NameNode 持久存储名字空间及事务日志的本地文件系统 阅读全文

posted @ 2017-03-04 23:40 潺潺水声 阅读(185) 评论(0) 推荐(0)

hive数据导入
摘要:可以通过多种方式将数据导入hive表 1.通过外部表导入 用户在hive上建external表,建表的同时指定hdfs路径,在数据拷贝到指定hdfs路径的同时,也同时完成数据插入external表。例如:编辑文件test.txt$ cat test.txt 1 hello2 world3 test4 阅读全文

posted @ 2017-03-04 13:56 潺潺水声 阅读(164) 评论(0) 推荐(0)

Sqoop1.4.6配置和使用
摘要:http://jingpin.jikexueyuan.com/article/39333.html http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_example_invocations_4 http://blog.csdn.net/p 阅读全文

posted @ 2017-02-22 18:34 潺潺水声 阅读(262) 评论(0) 推荐(0)

hadoop中hive配置mysql
摘要:hadoop 大数据 hive mysql 阅读全文

posted @ 2017-02-04 18:53 潺潺水声 阅读(4431) 评论(0) 推荐(1)

导航