摘要：
用于解决通用配置问题，客户端无需每次重启，直接监听Zookeeper的Znode值变更，动态修改用程序的配置信息。 一、服务端 1、创建Znode目录和节点 package Zookeeper; import org.apache.zookeeper.*; import org.junit.Test 阅读全文
posted @ 2022-04-22 21:04
yuxuan0802
阅读(132)
评论(0)
推荐(0)
摘要：
ssh-keygen -t rsa cd /root/.ssh cp id_rsa.pub authorized_keys 或 ssh-copy-id localhost 其他登陆原理待补充 阅读全文
posted @ 2022-04-22 21:01
yuxuan0802
阅读(29)
评论(0)
推荐(0)
摘要：
一、分区 1.1先分析一下具体的业务逻辑，确定大概有多少个分区 1.2首先书写一个类，它要继承org.apache.hadoop.mapreduce.Partitioner这个类 1.3重写public int getPartition这个方法，根据具体逻辑，读数据库或者配置返回相同的数字 1.4在 阅读全文
posted @ 2022-04-22 20:59
yuxuan0802
阅读(86)
评论(0)
推荐(0)
摘要：
一、MapReduce过程 二、原理 三、wordCount public class WordCount { public static void main(String[] args) throws Exception { Configuration conf = new Configurati 阅读全文
posted @ 2022-04-22 20:58
yuxuan0802
阅读(41)
评论(0)
推荐(0)
摘要：
一、导入依赖包 在File->Project Structure->Modules->Dependencies下导入Hadoop->share文件下的相应jar包，包括： common下的：hadoop-common-3.2.1.jar、 hadoop-nfs-3.2.1.jar以及所有lib下的j 阅读全文
posted @ 2022-04-22 20:54
yuxuan0802
阅读(53)
评论(0)
推荐(0)
摘要：
一、大纲 1、HDFS集群环境搭建 2、常见问题 3、HDFS Shell命令使用 二、集群环境搭建 下载地址: https://hadoop.apache.org/releases.html 1、初始化目录 在/bigdata/hadoop-3.2.2/下创建目录 mkdir logs secre 阅读全文
posted @ 2022-04-22 20:53
yuxuan0802
阅读(175)
评论(0)
推荐(0)
摘要：
一、hadoop开源生态介绍 1、云计算与大数据 Iaas:基础设施即服务,通过互联网获得服务，例如亚马逊AWS,openStack Paas:平台即服务,把服务器平台作为一种服务，例如虚拟开发平台，默认安装开发环境,hadoop Saas:软件即服务，例如office365,大量app 2、大数据 阅读全文
posted @ 2022-04-22 20:51
yuxuan0802
阅读(122)
评论(0)
推荐(0)
摘要：
#！/bin/bash next_tips() #$0代表当前文件名 $1第一个参数 $2 第2个参数 .... { echo " $1 " } next_tips "global or local varialbe test" #变量赋值左右两边不能有空格 var_test() { # local 阅读全文
posted @ 2022-04-22 20:49
yuxuan0802
阅读(22)
评论(0)
推荐(0)
浙公网安备 33010602011771号