Rabbit624

摘要： 不需要停掉HDFS的进程，可以直接修改配置文件，启动YARN 1. cp mapred-site.xml.template mapred-site.xml vi mapred-site.xml <!--指定mapreduce程序运行在yarn平台上--> <property> <name>mapre 阅读全文

摘要： package com.rabbit.hadoop.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.apache.hadoop.io.IOUtils;import ja 阅读全文

摘要： 创建用户： 操作系统root用户： #创建dw用户 useradd dw passwd dw #创建xyk用户 useradd xyk passwd xyk #将xyk用户添加到dw组 usermod -a -G xyk dw 创建目录： HDFS管理员用户： #给dw用户创建一个家目录 hdfs 阅读全文

摘要： hadoop版本为2.X 只支持一个standyby的namenode 流程： <1> 搭建zookeeper集群 zookeeper 集群搭建 node02: cd zookeeper的conf目录 cp zoo_sample.cfg zoo.cfg vi zoo.cfg datadir=/var 阅读全文

摘要： 1. 配置IP及主机名映射 设置IP vi /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0TYPE=EthernetUUID=722edcfd-8fa3-4090-a68a-51e498049e53ONBOOT=yesNM_CONTROLL 阅读全文

摘要： while循环 for循环 使用truncate语句 循环体中出现commit或者rollback语句，游标会退出，因此要加上 with hold 关键字 游标的另一种写法 异常处理 此处可以声明三种handler： undo、continue、exit。 如果声明为undo，一旦触发异常，之前的语 阅读全文

摘要： #!/bin/bash #自动加载前一天的离线数据 #获得前一天的日期 yesterday=`date -d "-1 day" +%Y%m%d` #定义变量，给定数据文件的路径access_log_dir=/opt/datas/test_hive_access_logs/${yesterday} # 阅读全文

摘要： import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.a 阅读全文

摘要： import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.ja 阅读全文

摘要： 学习高级编程语言的时候，作为入门程序，要先学会写 “Hello World ！”。 在大数据的世界，作为入门程序，要先学会写 Word Count。 这里记录一下如何分别使用 java 和 scala语言调用 spark 的算子来完成 word count 程序。 一、Java 版本： 阅读全文