一瓢一瓢的饮

2023年4月

2、zookeeper基本操作及应用示例（shell、java api、应用场景示例）

摘要： Zookeeper系列文章目录 1、zookeeper3.7.1安装与验证 2、zookeeper基本操作及应用示例（shell、java api、应用场景示例） 3、zookeeper的选举经验证符合事实，网上很多都是错误的 4、zookeeper的java三种客户端介绍-Curator（cru 阅读全文

posted @ 2023-04-21 13:25 一瓢一瓢的饮阅读(266) 评论(0) 推荐(0)

1、zookeeper3.7.1安装与验证

posted @ 2023-04-21 10:26 一瓢一瓢的饮阅读(832) 评论(0) 推荐(0)

0、hadoop3.1.4的centos7-snappy编译

摘要：本文介绍hadoop 3.1.4版本在centos 7的环境中编译步骤。本示例是以root用户进行操作的，如果非root用户可能会需要root权限。目录一、前提 1、查看操作系统能够版本 2、准备好编译所需要的环境 3、网络可以连接外网二、操作步骤 1、安装gcc相关 2、手动安装cmake 阅读全文

posted @ 2023-04-20 17:37 一瓢一瓢的饮阅读(133) 评论(0) 推荐(0)

2、设置非root用户的sudo权限

摘要：本文是为后续部署CDH组件准备的，因为CDH部署时必须root用户或具备root权限的免密登录。一、设置非root用户的sudo权限（需要密码）前提：其他用户登录linux系统实现有4个步骤 1、进入超级用户模式 su - # 系统会让你输入超级用户密码，输入密码后就进入了超级用户模式 2、添阅读全文

posted @ 2023-04-20 17:11 一瓢一瓢的饮阅读(184) 评论(0) 推荐(0)

1、Linux免密登录设置

摘要：目录一、前提二、具体操作 1、四台机器均需要做的操作，以server1为示例 2、在server1上做，将生成的密钥放在authorized_keys文件中 3、分别登录server2、server3、server4做如下操作，以server2为例。将id_rsa.pub复制到server1上阅读全文

posted @ 2023-04-20 16:59 一瓢一瓢的饮阅读(777) 评论(0) 推荐(0)

2017年9月

Kafka + spark stream +redis （createStream + createDirectStream）

摘要：我们的应用场景是分析用户使用手机App的行为，描述如下所示： 1、手机客户端会收集用户的行为事件（我们以点击事件为例），将数据发送到数据服务器，我们假设这里直接进入到Kafka消息队列 2、后端的实时服务会从Kafka消费数据，将数据读出来并进行实时分析，这里选择Spark Streaming 3、阅读全文

posted @ 2017-09-13 17:06 一瓢一瓢的饮阅读(25) 评论(0) 推荐(0)

spark的JdbcRDD的源码修改--创建JdbcRDD时可以不加条件进行查询

摘要：在我们使用JdbcRDD时系统默认的参数如下： sc: SparkContext, getConnection: () => Connection, sql: String, lowerBound: Long, upperBound: Long, numPartitions: Int, mapRow 阅读全文

posted @ 2017-09-08 18:41 一瓢一瓢的饮阅读(21) 评论(0) 推荐(0)

公告