2020年6月22日
JAVA_HOME配置
摘要： /etc/profile export JAVA_HOME= export PATH=$PATH:$JAVA_HOME/bin export CLASSPATH=.:$JAVA_HOME/lib 阅读全文
posted @ 2020-06-22 00:58 阿布都日 阅读(1340) 评论(0) 推荐(0)
linux解压
摘要： tar -zxvf jdk-14.0.1_linux-x64_bin.tar.gz -C /opt/module/ 阅读全文
posted @ 2020-06-22 00:42 阿布都日 阅读(74) 评论(0) 推荐(0)
修改目录所有者
摘要： sudo chown example:example /module 阅读全文
posted @ 2020-06-22 00:33 阿布都日 阅读(79) 评论(0) 推荐(0)
linux创建用户
摘要： useradd example passwd example #example配置root权限（/etc/soduers） 阅读全文
posted @ 2020-06-22 00:28 阿布都日 阅读(142) 评论(0) 推荐(0)
linux配置静态IP
摘要： MAC地址（/sys/class/net/enp0s3/address） 修改网卡配置(/etc/sysconfig/network-script/ifcfg-eth0) DEVICE=eth0 BOOTPROTO=static BROADCAST=192.168.1.255 HWADDR=00:0 阅读全文
posted @ 2020-06-22 00:16 阿布都日 阅读(101) 评论(0) 推荐(0)
2020年6月21日
大数据结构生态体系
摘要： 数据来源层 数据库 日志 视频，ppt 数据传输层 Sqoop数据传递 Flume日志收集 kafka消息队列 数据存储层 HDFS文件存储 HBase非关系型数据库 kafka（存储少量数据） 资源管理层 YARN资源管理 数据计算层 MapReduce离线计算 Hive数据查询 Mahout数据 阅读全文
posted @ 2020-06-21 23:00 阿布都日 阅读(134) 评论(0) 推荐(0)
MapReduce架构
摘要： Map阶段并行处理输入数据 Reduce阶段对Map结果进行汇总 阅读全文
posted @ 2020-06-21 22:46 阿布都日 阅读(122) 评论(0) 推荐(0)
Yarn架构
摘要： 主机1：ResourceManager 处理客户端请求 监控NodeManager 启动或监控ApplicationMaster（干的活儿，单个任务） 资源的分配与调度 主机2：NodeManager 管理单个节点上的资源 处理ResourceManager的命令 处理ApplicationMase 阅读全文
posted @ 2020-06-21 22:42 阿布都日 阅读(148) 评论(0) 推荐(0)
hdfs架构
摘要： NameNode 存储文件元数据（文件名，目录结构，文件属性，文件块列表，块所在DataNode） DataNode 文件块数据+数据校验和 Secondary NameNode 监控HDFS状态的后台程序 阅读全文
posted @ 2020-06-21 22:30 阿布都日 阅读(139) 评论(0) 推荐(0)
hadoop组成
摘要： 1.x MapReduce：计算+调度 HDFS：数据存储 Common：辅助工具 2.x MapReduce：计算 Yarn：资源调度 HDFS：数据存储 Common：辅助工具 阅读全文
posted @ 2020-06-21 22:26 阿布都日 阅读(190) 评论(0) 推荐(0)