摘要： 大数据相关组件下载网址：http://archive.apache.org/dist/阿里云密钥对设置：https://blog.csdn.net/jincheng2817/article/details/86660078 阿里云搭建hadoop 内外网IP配置问题：https://www.cnbl 阅读全文

摘要： #linux查询进程是否存在，如果不存在则启动该进程：#!/bin/bashps_out=`ps -ef | grep $1 | grep -v 'grep' | grep -v $0`result=$(echo $ps_out | grep "$1")if [[ "$result" != "" ] 阅读全文

摘要： #!/bin/bash#1 获取输入参数个数，如果没有参数，直接退出pcount=$#if((pcount==0)); thenecho no args;exit;fi #2 获取文件名称p1=$1fname=`basename $p1`echo fname=$fname #3 获取上级目录到绝对路 阅读全文

摘要： https://blog.csdn.net/suifeng3051/article/details/45477773 阅读全文

摘要： 恢复内容开始 一．Ranger编译 安装Ranger之前要进行编译，首先下载源代码： 命令步骤： git clone https://github.com/apache/incubator-ranger.git cd incubator-ranger git checkout ranger-0.5 阅读全文

摘要： 简介： 目前项目中已有多个渠道到Kafka的数据处理，本文主要记录通过Spark Streaming 读取Kafka中的数据，写入到Elasticsearch，达到一个实时（严格来说，是近实时，刷新时间间隔可以自定义）数据刷新的效果。 应用场景： 业务库系统做多维分析的时候，数据来源各不相同。很多历 阅读全文

摘要： Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。Sqoop主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递 kettle有图形化的操作界面， 阅读全文

摘要： countByKey：根据RDD的key分组统计对应的value的个数是多少 countByValue：根据RDD的每个元素分组统计相同元素的的个数是多少 coalesce：对已有分区但是分区内数据倾斜的情况，如果确定正在缩减分区的数量重新分区使用coalesce算子，该算子可以参数指定是否进行sh 阅读全文

摘要： 1. ctrl+shift+r：打开资源 2. ctrl+o：快速outline3. ctrl+e：快速转换编辑器4. ctrl+2，L：为本地变量赋值5. alt+shift+r：重命名6. alt+shift+l以及alt+shift+m：提取本地变量及方法7. shift+enter及ctrl 阅读全文

摘要： hive指令： 1：重命名表ALTER TABLE table_name RENAME TO new_table_name;上面这个命令可以重命名表，数据所在的位置和分区都没有改变。 2：改变列名/类型/位置/注释ALTER TABLE table_name CHANGE[CLOUMN] col_o 阅读全文