☆☆☆★☆☆☆

唯有努力才能活成自己想要活成的样子

导航

随笔分类 -  hadoop生态

这个存储的是有关于大数据hadoop生态圈中相关的内容
OLAP引擎学习记录
摘要:OLAP一般分为即席查询和固化查询 即席查询:通过手写sql完成一些临时的数据分析需求,对查询时间没有严格要求 固化查询:指的是一些固化下来的取数、看数需求,这类的sql固定模式,对响应时间有较高要 主流的OLAP引擎主要有下面三点 MPP架构系统(Presto/Impala/SparkSQL/Dr 阅读全文

posted @ 2020-09-24 14:34 Yr-Zhang 阅读(159) 评论(0) 推荐(0)

散装hadoop环境
摘要:hadoop-ha+zookeeper+hbase+hive+sqoop+flume+kafka+spark集群安装 ******************************常用命令、进程名称****************************启动集群命令: start-all.sh启动zo 阅读全文

posted @ 2020-04-07 16:22 Yr-Zhang 阅读(142) 评论(0) 推荐(0)

hadoop前提环境
摘要:环境准备 配置网络 1. 查看网络接口状态 ifconfig 2. 编辑eth0网卡(善用补全键 Table)vi /etc/sysconfig/network-scripts/ifcfg-eth0 注意查看自己虚拟机的网络编辑器中的VMnet8给予的子网IP对照子网IP进行设置 3.shift+G 阅读全文

posted @ 2020-04-07 16:19 Yr-Zhang 阅读(165) 评论(0) 推荐(0)

常用端口记录
摘要:如下表: 常用端口的记录 HDFS HDFS DataNode 50010 dfs.datanode.address datanode服务端口,用于数据传输50075 dfs.datanode.http.address http服务的端口50475 dfs.datanode.https.addres 阅读全文

posted @ 2019-04-12 21:52 Yr-Zhang 阅读(901) 评论(0) 推荐(0)