摘要：
小白终于进入了职场，从事大数据方面的工作！ 分到项目组了，搬砖的时候遇到了一个这样的问题。 要求：用spark实现oracle的存储过程中计算部分。 坑：由于报表中包含了一个ID字段，其要求是不同的区域拥有不同的区域ID，且ID在数据库表中的属性为主键。Oracle的存储过程中采用的是自定义序列，采 阅读全文
posted @ 2019-08-21 17:57
SHUN丶
阅读(2923)
评论(0)
推荐(0)
摘要：
Hive的安装和使用 我们的版本约定： JAVA_HOME=/usr/local /jdk1.8.0_191 HADOOP_HOME=/usr/local/hadoop HIVE_HOME=/usr/local/hive 离线安装Mysql 1°、查看mysql的依赖 rpm -qa | grep 阅读全文
posted @ 2019-04-26 16:35
SHUN丶
阅读(217)
评论(0)
推荐(0)
摘要：
Spark分布式安装 Spark安装注意：需要和本机的hadoop版本对应 前往spark选择自己相对应的版本下载之后进行解压 命令：tar –zxf spark-2.4.0-bin-hadoop2.6.tgz –C /usr/local 配置spark分布式，修改两个主要配置文件 spark-en 阅读全文
posted @ 2019-04-26 16:34
SHUN丶
阅读(280)
评论(0)
推荐(0)
摘要：
基于hadoop集群搭建zookeeper集群 Filezilla上传zookeeper压缩包到主节点 安装zookeeper到/usr/local目录 命令：tar –zxf zookeeper3.4.tar.gz /usr/local 更名命令： mv zookeeper3.4 zookeepe 阅读全文
posted @ 2019-04-26 16:33
SHUN丶
阅读(260)
评论(0)
推荐(0)
摘要：
日志______2019.1.24 Hbase分布式搭建 注意：hbase的使用基于hadoop，开启以及关闭需要注意顺序，由于我是的是自带的zookeeper，说以开启关闭顺序应如下 启动：hadoop>>hbase 关闭：hbase>>Hadoop 相关命令: start-all.sh开启had 阅读全文
posted @ 2019-04-26 16:32
SHUN丶
阅读(179)
评论(0)
推荐(0)
摘要：
日志_____2019.1.23 实验集群环境搭建 三台阿里云服务器 公网ip 内网ip 120.79.63.130 node2 172.17.17.58 112.74.50.240 主节点master 172.17.17.79 39.108.232.147 node1 172.16.50.183 阅读全文
posted @ 2019-04-26 16:31
SHUN丶
阅读(594)
评论(0)
推荐(0)
浙公网安备 33010602011771号