随笔分类 -  Hadoop

多线程创建connection连接hbase
摘要：public class Getconnection { //声明一个静态属性 public static Connection connection = null; static { //创建连接 try { //使用读取本地文件的方式添加参数 connection = ConnectionFac 阅读全文
posted @ 2022-09-22 15:24 软工小蜗牛 阅读(119) 评论(0) 推荐(0)
hadoop集群崩溃处理办法
摘要：首先杀死进程 之后删掉data logs 之后格式化 hdfs namenode -format 阅读全文
posted @ 2022-09-21 15:12 软工小蜗牛 阅读(75) 评论(0) 推荐(0)
集群配置以及启动集群
摘要：上传的文件存储位置 阅读全文
posted @ 2022-09-18 14:22 软工小蜗牛 阅读(66) 评论(0) 推荐(0)
ssh实现免密登录
摘要：创建密钥对 ssh-keygen -t rsa 在私密文件夹里 ls - al查看私密文件夹 进入.ssh文件 在此文件中执行ssh-keygen -t rsa 之后将其拷贝到其他服务器 ssh -copy-id hadoop103 阅读全文
posted @ 2022-09-18 11:28 软工小蜗牛 阅读(72) 评论(0) 推荐(0)
hadoop安装
摘要：bin目录作用 和hdfs yarn MapReduce有关系 阅读全文
posted @ 2022-09-17 16:25 软工小蜗牛 阅读(69) 评论(0) 推荐(0)
大数据生态体系
摘要：大数据基本生态体系 阅读全文
posted @ 2022-09-11 08:47 软工小蜗牛 阅读(79) 评论(0) 推荐(0)
MapReduce架构概述以及HDFS，yarn，MapReduce三者之间的关系
摘要：MapReduce主要负责海量数据的计算 三者关系 阅读全文
posted @ 2022-09-11 08:39 软工小蜗牛 阅读(183) 评论(0) 推荐(0)
yarn架构概述
摘要：yarn负责管理整个计算机资源 cpu 内存等等 阅读全文
posted @ 2022-09-11 08:32 软工小蜗牛 阅读(84) 评论(0) 推荐(0)
HDFS架构概述
摘要：HDFS 主要负责海量数据的存储 HDFS有组件 NameNode负责记录每个组件所在的位置 DataNode 负责存贮具体的数据 阅读全文
posted @ 2022-09-11 08:25 软工小蜗牛 阅读(82) 评论(0) 推荐(0)
Hadoop入门
摘要：Hadoop组成 Hadoop1.x有 common（辅助工具） HDFS（数据存储） MapReduce（计算+资源调度） Hadoop2.x common（辅助工具） HDFS（数据存储） yarn（资源调度） MapReduce（计算） HDFS解决海量数据存储问题 namenode负责数据分 阅读全文
posted @ 2022-08-29 11:32 软工小蜗牛 阅读(80) 评论(0) 推荐(0)