Clotho_Lee - 博客园

2021年11月

摘要：一、组件 Nimbus：即Storm的Master，负责资源分配和任务调度。一个Storm集群只有一个Nimbus。 Supervisor：即Storm的Slave，负责接收Nimbus分配的任务，管理所有Worker，一个Supervisor节点中包含多个Worker进程。 Worker：工作进程阅读全文

posted @ 2021-11-16 12:00 Clotho_Lee 阅读(455) 评论(0) 推荐(0)

Storm的安装与部署

摘要：一、硬件环境假设有4台机，IP及主机名如下： 192.168.100.105 c1 192.168.100.110 c2 192.168.100.115 c3 192.168.100.120 c4 假设部署在/home/目录二、软件环境操作系统：Ubuntu Server 18.04 JDK：阅读全文

posted @ 2021-11-15 12:38 Clotho_Lee 阅读(539) 评论(0) 推荐(0)

Linux后台运行程序（&和nohup）

摘要： & 后台运行程序使用ctrl+c发送SIGINT信号，程序不关闭关闭session/终端时发送SIGHUP信号，程序关闭示例： storm nimbus & 程序运行的信息会输出到终端 nohup 不挂断(no hang up)运行程序使用ctrl+c发送SIGINT信号，程序关闭关闭sess 阅读全文

posted @ 2021-11-15 10:00 Clotho_Lee 阅读(105) 评论(0) 推荐(0)

Kafka Manager的安装与部署

摘要：一、硬件环境假设Kafka安装在4台机，IP及主机名如下： 192.168.100.105 c1 192.168.100.110 c2 192.168.100.115 c3 192.168.100.120 c4 假设把Kafka Manager安装在c1机。二、安装部署 * 新版的Kafka M 阅读全文

posted @ 2021-11-15 04:51 Clotho_Lee 阅读(726) 评论(0) 推荐(0)

Flume+Kafka整合使用

摘要：一、背景 Flume和Kafka都是Apache的开源项目。 1.Flume的优点和适用场景支持的数据源较多、可自定义网络请求的安全配置(filter) 适合下游数据消费者不多的情况（一个消费者开一个channel）适合数据安全性要求不高的操作（数据没有备份、没有副本）适合与Hadoop生态圈阅读全文

posted @ 2021-11-15 02:40 Clotho_Lee 阅读(1544) 评论(0) 推荐(0)

Flume的安装与部署

摘要：软件环境操作系统：Ubuntu Server 18.04 JDK：1.8.0 * 先登录root账号再进行以下操作 1.安装JDK https://www.cnblogs.com/live41/p/14235891.html 2.下载安装包假定下载到home目录 cd /home http:// 阅读全文

posted @ 2021-11-15 00:48 Clotho_Lee 阅读(765) 评论(0) 推荐(0)

Could not find or load main class org.apache.flume.tools.GetJavaProperty

摘要：如果之前已安装了Hadoop和HBase，启动Flume时会报错： Could not find or load main class org.apache.flume.tools.GetJavaProperty 解决方法：打开HBase的hbase-env.sh文件 vim /hbase/con 阅读全文

posted @ 2021-11-12 02:31 Clotho_Lee 阅读(300) 评论(0) 推荐(0)

HBase API代码示例

摘要： 1.先配置hosts的机器名和IP映射需要先在运行Java程序的机器的hosts文件加入机器名和IP的映射。否则程序运行时会卡死或连接失败。 192.168.100.105 c1 192.168.100.110 c2 192.168.100.115 c3 192.168.100.120 c4 2. 阅读全文

posted @ 2021-11-11 21:01 Clotho_Lee 阅读(207) 评论(0) 推荐(0)

大数据组件的运行环境预配置

摘要：预设条件 1.硬件环境假定有4台机，网关是192.168.100.1，主机名和IP分别设置为： c1 192.168.100.105 c2 192.168.100.110 c3 192.168.100.115 c4 192.168.100.120 * 如果是搭建Ambari平台安装Hadoop组件阅读全文

posted @ 2021-11-08 19:44 Clotho_Lee 阅读(811) 评论(0) 推荐(0)

ulimit命令

摘要： -H 设置硬资源限制. -S 设置软资源限制. -a 显示当前所有的资源限制. -c size:设置core文件的最大值.单位:blocks -d size:设置数据段的最大值.单位:kbytes -f size:设置创建文件的最大值.单位:blocks -l size:设置在内存中锁定进程的最大值阅读全文

posted @ 2021-11-08 16:43 Clotho_Lee 阅读(41) 评论(0) 推荐(0)