03 2019 档案

flume taidir to kafkasink
摘要：flume的数据源采用taiDir，sink类型选择kafka类型 测试目标：flume监控某一个目录的日志文件，并将文件存储到kafka中，在kafka的消费端可以实现数据的消费 dip005、dip006、dip007安装kafka dip005、dip006、dip007安装flume 1、k 阅读全文
posted @ 2019-03-15 15:29 bioamin 阅读(565) 评论(0) 推荐(1)
kafka_2.11-2.1.0测试
摘要：kafka测试启动创建topic ./kafka-topics.sh --create --zookeeper dip005:2181,dip006:2181,dip007 --replication-factor 1 --partitions 1 --topic test2./kafka-topi 阅读全文
posted @ 2019-03-15 15:17 bioamin 阅读(525) 评论(0) 推荐(0)
CDH 元数据库升级 元数据库切换
摘要：元数据库设计到的服务： scm库：server hive库：hive元数据信息 amon库：cloudera management服务 hue库：存储hue的账户及查询信息 元数据库要从5.7.24升级到5.7.25，为了避免升级失败导致 集群不可用，我们计划在另一个节点安装5.7.25数据库，然后 阅读全文
posted @ 2019-03-14 16:01 bioamin 阅读(1148) 评论(0) 推荐(0)
redis集群部署
摘要：#redis 缓存集群部署 #一、安装信息 安装在42、43、45、46、47、48节点上安装目录/opt/cslc/redis_cluster数据目录/cslc/dip002/redis_data #二、检查redis默认端口的占用情况6739，每台机器都有进行检查，如果存在占用，更改端口 net 阅读全文
posted @ 2019-03-12 13:17 bioamin 阅读(195) 评论(0) 推荐(0)
IBM X 3650 M3服务器RAID0设置
摘要：1 进入磁盘整列设置窗口 1.1 开机在提示符页面下按【F1】进入BIOS设置 1.2 依次进入子菜单【System Settings】à【Adapters and UEFI Drivers】 1.3 依次进入子菜单【System Settings】à【Adapters and UEFI Drive 阅读全文
posted @ 2019-03-12 09:29 bioamin 阅读(9374) 评论(0) 推荐(0)
CM5.15安装kafka
摘要：cm主节点执行：[root@dip001 kafka]#ll KAFKA-1.2.0.jar KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel.sha1 manifest.json [root@dip001 阅读全文
posted @ 2019-03-07 19:05 bioamin 阅读(315) 评论(0) 推荐(0)