随笔分类 -  大数据

Spark 集群环境搭建
摘要：思路： ①先在主机s0上安装Scala和Spark，然后复制到其它两台主机s1、s2 ②分别配置三台主机环境变量，并使用source命令使之立即生效 主机映射信息如下： 搭建目标： s0 : Master s1 : Worker s2 : Worker 1、准备 Hadoop 版本：2.7.7 Sc 阅读全文
posted @ 2019-05-19 21:33 诚信天下 阅读(2013) 评论(0) 推荐(0)
Spring boot 集成Kafka
摘要：搭建Kafka集群，参考： https://www.cnblogs.com/jonban/p/kafka.html 源码示例如下： 1、新建 Maven 项目 kafka 2、pom.xml 3、KafkaStarter.java 4、MessageHandler.java 5、SendMessag 阅读全文
posted @ 2019-05-12 07:44 诚信天下 阅读(5767) 评论(0) 推荐(0)
Kafka 完全分布式集群环境搭建
摘要：思路： 先在主机s1上安装配置，然后远程复制到其它两台主机s2、s3上， 并分别修改配置文件server.properties中的broker.id属性。 1、 搭建前准备 示例共三台主机，主机IP映射信息如下： 搭建ZooKeeper 集群，搭建步骤参考： https://www.cnblogs. 阅读全文
posted @ 2019-05-11 20:09 诚信天下 阅读(1753) 评论(0) 推荐(0)
Hbase 操作工具类
摘要：依赖jar HbaseUtils.java 以下是测试类 HbaseClientDemo.java Hbase 操作工具类 . 阅读全文
posted @ 2019-05-03 18:29 诚信天下 阅读(2887) 评论(2) 推荐(1)
Hbase 完全分布式 高可用 集群搭建
摘要：1、准备 Hadoop 版本：2.7.7 ZooKeeper 版本：3.4.14 Hbase 版本：2.0.5 四台主机： s0, s1, s2, s3 搭建目标如下： HMaster：s0，s1（备份HMaster） HRegionServer：s1, s2, s3 主机映射信息如下 Hadoop 阅读全文
posted @ 2019-05-02 20:01 诚信天下 阅读(1219) 评论(0) 推荐(0)
ZooKeeper 客户端编程
摘要：1、准备，搭建ZooKeeper 集群 参考 https://www.cnblogs.com/jonban/p/zookeeper.html 2、新建 Maven 项目 zookeeper-client 3、pom.xml 4、ZookeeperClientTest.java 可按顺序进行测试 Zo 阅读全文
posted @ 2019-05-02 10:55 诚信天下 阅读(469) 评论(0) 推荐(0)
ZooKeeper 完全分布式集群环境搭建
摘要：1、 搭建前准备 示例共三台主机，主机IP映射信息如下： 2、下载ZooKeeper， 以 zookeeper-3.4.14 为例，下载地址如下： https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.14/zooke 阅读全文
posted @ 2019-05-01 19:56 诚信天下 阅读(2393) 评论(0) 推荐(0)
Hive UDF 用户自定义函数 编程及使用
摘要：首先创建工程编写UDF 代码，示例如下： 1、 新建Maven项目 udf 本机Hadoop版本为2.7.7， Hive版本为1.2.2，所以选择对应版本的jar ，其它版本也不影响编译。 2、 pom.xml 3、 DateFormatConvert.java 4、 打包上传到 /root/fil 阅读全文
posted @ 2019-04-30 20:22 诚信天下 阅读(1143) 评论(0) 推荐(0)
Hive 常用命令和语句
摘要：示例数据库为 db_hive 1、 创建表 create-table.sql 2、执行创建表 3、加载数据到 tb_user 表中 数据文件 /root/files/tb_user.txt Hive交互式命令行执行命令 load data local inpath '/root/files/tb_u 阅读全文
posted @ 2019-04-27 19:49 诚信天下 阅读(2102) 评论(0) 推荐(0)
Hive 配置显示表头和数据库信息
摘要：在 conf/hive-site.xml 中添加如下配置 重新进入Hive，如下所示： 配置已生效 . 阅读全文
posted @ 2019-04-27 18:04 诚信天下 阅读(2318) 评论(0) 推荐(0)
Hive 安装配置
摘要：1、首先安装Hadoop，已安装跳过 安装Hadoop 步骤： https://www.cnblogs.com/jonban/p/hadoop.html 2、下载Hive ，以apache-hive-1.2.2-bin.tar.gz 为例，下载地址如下： https://mirrors.tuna.t 阅读全文
posted @ 2019-04-27 12:03 诚信天下 阅读(356) 评论(0) 推荐(0)
Hadoop完全分布式集群环境搭建
摘要：1. 在Apache官网下载Hadoop 下载地址：http://hadoop.apache.org/releases.html 选择对应版本的二进制文件进行下载 2.解压配置 以hadoop-2.6.5.tar.gz为例 解压文件 tar -zxvf hadoop-2.6.5.tar.gz 移动到 阅读全文
posted @ 2018-07-26 10:16 诚信天下 阅读(873) 评论(0) 推荐(0)