随笔分类 -  hadoop

zookeeper的几种授权方式
摘要：zookeeper授权方式设置 一、设置授权 1.1、IP白名单方式 备注：对需要进行白名单设置的路径进行设置，此处设置的路径没有继承关系，即设置了/test的白名单，但是/test/test2依然没有设置为白名单。 setAcl /test ip:127.0.0.1:cdrwa 权限组合字符串，由 阅读全文
posted @ 2022-10-10 13:34 fengjian1585 阅读(1406) 评论(0) 推荐(0)
AMBARI平台的NAMENODE LAST CHECKPOINT（HDFS上一次检查点异常分析）错误
摘要：点开来具体查看发现Active NameNode和Stanby NameNode都有上一次检查点的告警。 2.解决方法是要我们手动保存一次HDFS的检查点输入以下命令 摘自 https://www.freesion.com/article/9575249903/ 阅读全文
posted @ 2021-11-29 16:49 fengjian1585 阅读(432) 评论(0) 推荐(0)
Dolphinscheduler2.0.0 可视化工作流任务调度平台 部署
摘要：Dolphinscheduler 下载： wget --no-check-certificate https://dlcdn.apache.org/dolphinscheduler/2.0.0-alpha/apache-dolphinscheduler-2.0.0-alpha-bin.tar.gz 阅读全文
posted @ 2021-11-03 16:57 fengjian1585 阅读(1756) 评论(0) 推荐(0)
zookeeper 集群搭建
摘要：zk集群规划 10个客户端节点: 3个zk节点 10-5-个客户端节点: 5 + 2OB 节点 = 7 zk节点 50-100个客户端节点: 5 + 6OB = 11zk节点 在 ZooKeeper 集群服务运行的过程中，Observer 服务器与 Follow 服务器具有一个相同的功能，那就是负责 阅读全文
posted @ 2021-04-05 17:00 fengjian1585
hadoop 性能调优与运维
摘要：hadoop 性能调优与运维 硬件选择 1) hadoop运行环境 2) 原则一： 主节点可靠性要好于从节点 原则二：多路多核，高频率cpu、大内存， namenode 100万文件的元数据要消耗800M内存，内存决定了集群保存文件数的总量， resourcemanager同时运行的作业会消耗一定的 阅读全文
posted @ 2016-12-23 11:57 fengjian1585 阅读(3116) 评论(0) 推荐(0)
storm学习
摘要：一　storm 相关术语 二 storm集群架构图 2. 数据处理流程 3. 拓扑图分析 storm主要特点 storm与 yarn结合 ，storm 运行在yarn之上 storm安装 阅读全文
posted @ 2016-12-21 17:38 fengjian1585 阅读(259) 评论(0) 推荐(0)
spark 简介
摘要：spark 是基于内存计算的 大数据分布式计算框架，spark基于内存计算，提高了在大数据环境下处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将spark部署在大量廉价的硬件上，形成集群。 1. 分布式计算2. 内存计算3. 容错4. 多计算范式 spark优势 spark的架构 1.spa 阅读全文
posted @ 2016-12-21 14:24 fengjian1585 阅读(661) 评论(0) 推荐(0)
flume 配置
摘要：[root@dtpweb data]#tar -zxvf apache-flume-1.7.0-bin.tar.gz[root@dtpweb conf]# cp flume-env.sh.template flume-env.sh 修改java_home[root@dtpweb conf]# cp 阅读全文
posted @ 2016-12-19 19:13 fengjian1585 阅读(488) 评论(0) 推荐(0)
hive 搭建
摘要：Hive hive是简历再hadoop上的数据库仓库基础架构，它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储，查询和分析存储再hadoop种的大规模数据机制，hive定义了简单的类sql查询语音，称为QL，它允许熟悉sql的用户查询数据，同时， 这个语言也允许熟悉ma 阅读全文
posted @ 2016-11-22 17:33 fengjian1585 阅读(440) 评论(0) 推荐(0)
HBASE基础知识
摘要：HBASE的集群的搭建HBASE的表设计HBASE的底层存储模型 HBase 是一个高可靠、高性能、面向列、可伸缩的分布式缓存系统、利用HBase 技术可在廉价PC Server上搭建起大规模结构化存储集群HBase利用hadoop hdfs作为起文件存储系统，利用hadoop mapreduce来 阅读全文
posted @ 2016-11-17 14:16 fengjian1585 阅读(1447) 评论(0) 推荐(0)
数据迁移工具sqoop
摘要：有问题。。。。。。。。数据迁移工具sqoop sqoop安装 [root@sqoop data]# wget wget http://apache.fayea.com/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz [root@sqoop 阅读全文
posted @ 2016-11-15 19:02 fengjian1585 阅读(460) 评论(0) 推荐(0)
hdfs shell 命令以及原理
摘要：shell 操作 dfs 上传[hadoop@namenode ~]$ /data/hadoop/bin/hadoop fs -put /opt/MegaRAID/MegaCli/MegaCli64 hdfs://ns1/MegaCli或者[hadoop@namenode ~]$ /data/had 阅读全文
posted @ 2016-11-14 15:14 fengjian1585 阅读(775) 评论(0) 推荐(0)