| | | |

2018年2月1日

摘要： Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。Sqoop主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递 kettle有图形化的操作界面，阅读全文

posted @ 2018-02-01 10:58 何建新阅读(7678) 评论(0) 推荐(0)

spark常用算子

摘要： countByKey：根据RDD的key分组统计对应的value的个数是多少 countByValue：根据RDD的每个元素分组统计相同元素的的个数是多少 coalesce：对已有分区但是分区内数据倾斜的情况，如果确定正在缩减分区的数量重新分区使用coalesce算子，该算子可以参数指定是否进行sh 阅读全文

posted @ 2018-02-01 10:58 何建新阅读(383) 评论(0) 推荐(0)

eclipse快捷键

摘要： 1. ctrl+shift+r：打开资源 2. ctrl+o：快速outline3. ctrl+e：快速转换编辑器4. ctrl+2，L：为本地变量赋值5. alt+shift+r：重命名6. alt+shift+l以及alt+shift+m：提取本地变量及方法7. shift+enter及ctrl 阅读全文

posted @ 2018-02-01 10:57 何建新阅读(130) 评论(0) 推荐(0)

hive相关操作

摘要： hive指令： 1：重命名表ALTER TABLE table_name RENAME TO new_table_name;上面这个命令可以重命名表，数据所在的位置和分区都没有改变。 2：改变列名/类型/位置/注释ALTER TABLE table_name CHANGE[CLOUMN] col_o 阅读全文

posted @ 2018-02-01 10:57 何建新阅读(213) 评论(0) 推荐(0)

linux系统操作mysql常用指令

摘要： 1.终端启动MySQL：/etc/init.d/mysql start； 2.登录MySQL：mysql -uroot -p (用root账户登录),然后输入密码； 3.查看所有的数据库名字：show databases; 4.选择一个数据库操作： use database_name; 5.查看当前阅读全文

posted @ 2018-02-01 10:56 何建新阅读(10705) 评论(0) 推荐(0)