摘要：
怎么学习大数据 一、当前大数据背景 目前大数据是比较火的概念之一，大数据只是作为了一种基础技术，就像我们日常接触的java一样，在这个基础之上，可以有很多的应用，比如我们经常听说的大数据杀熟，大数据经常听说的各种分析，以及更高级的用户画像，每年年末，我们经常收到的各种分析报告，也经常听说淘宝，抖音比 阅读全文
posted @ 2021-05-29 17:21
Velome
阅读(683)
评论(0)
推荐(0)
摘要：
题目： 以下表记录了用户每天的蚂蚁森林低碳生活领取的记录流水。table_name：user_low_carbon user_id data_dt low_carbon用户 日期 减少碳排放（g） 蚂蚁森林植物换购表，用于记录申领环保植物所需要减少的碳排放量table_name: plant_car 阅读全文
posted @ 2020-08-04 21:29
Velome
阅读(863)
评论(0)
推荐(0)
摘要：
一、针对hadoop跑得慢，如何才能优化呢？首先需要分析冒得慢的几个因素，分为硬件原因 MapReduce 程序效率的瓶颈在于两点： 1．计算机性能 CPU、内存、磁盘健康、网络 2、2．I/O 操作优化 （1）数据倾斜 （2）Map和Reduce数设置不合理 （3）Map运行时间太长，导致Redu 阅读全文
posted @ 2020-07-27 23:33
Velome
阅读(164)
评论(0)
推荐(0)
摘要：
首先会写出集群的部署规划，然后根据规划编写对应的配置文件 主要包含四个配置文件，包含的，将配置文件改好，然后分发到各个配置文件然后启动集群的时候将会加载配置文件 一、集群的部署规划 hadoop102 hadoop103 hadoop104 HDFS NameNode DataNode DataNo 阅读全文
posted @ 2020-07-18 23:09
Velome
阅读(1244)
评论(0)
推荐(0)
浙公网安备 33010602011771号