摘要：
Hadoop面试题（约5.5w字） Hadoop基础 介绍下Hadoop Hadoop的特点 说下Hadoop生态圈组件及其作用 Hadoop主要分哪几个部分?他们有什么作用? Hadoop 1.x，2x，3.x的区别 Hadoop集群工作时启动哪些进程?它们有什么作用? 在集群计算的时候，什么是集 阅读全文
posted @ 2022-12-30 19:16
闻染呀
阅读(235)
评论(1)
推荐(0)
摘要：
表全量、增量选择 大表 变化大 全量 大表 变化小 增量 小表 变化大 全量 小表 变化小 全量 查看hdf以gzip压缩的文件 hadoop fs -cat /xxxx/xxx.gz | gzip -d 或 hadoop fs -cat /xxxx/xxx.gz | zcat dataX动态传参 阅读全文
posted @ 2022-12-01 21:57
闻染呀
阅读(35)
评论(0)
推荐(0)
摘要：
大数据开发面试题，牛客上面试被问频率最高的几道面试题 一、Hadoop部分 一、HDFS文件写入和读取过程****可灵活回答：1）HDFS读写原理（流程）2）HDFS上传下载流程3）讲讲（介绍下）HDFS 4）HDFS存储机制问过的一些公司：阿里×3，阿里社招，腾讯x2，字节x2，百度，拼多多x2， 阅读全文
posted @ 2022-12-30 19:12
闻染呀
阅读(593)
评论(0)
推荐(0)
摘要：
Hive数据存储格式详细讲解 0-前言 1-TextFile 2-SequenceFile 3-RCFile 4-ORCFile 4.1-ORC相比较 RCFile 的优点 4.2-ORC的基本结构 4.3-ORC的数据类型 4.4-ORC 的 ACID 事务的支持 4.5-ORC 相关的 Hive 阅读全文
posted @ 2022-12-11 11:47
闻染呀
阅读(1376)
评论(0)
推荐(0)
摘要：
HIVE中，order by、sort by、 distribute by和 cluster by区别，以及cluster by有什么意义 1. oreder by 主要是做全局排序。 只要hive的sql中指定了order by，那么所有的数据都会到同一个reducer进行处理**（不管有多少 阅读全文
posted @ 2022-12-11 11:28
闻染呀
阅读(1251)
评论(0)
推荐(0)
摘要：
题目-打折日期交叉问题 现有各品牌优惠周期表（promotion_info）如下，其记录了每个品牌的每个优惠活动的周期，其中同一品牌的不同优惠活动的周期可能会有交叉。 | promotion_id | brand | start_date | end_date | | : : | : : | : : 阅读全文
posted @ 2022-12-04 17:43
闻染呀
阅读(221)
评论(0)
推荐(0)
摘要：
题目-求出平台同时在线最多的人数 题目需求 根据用户登录明细表（user_login_detail），求出平台同时在线最多的人数。 结果如下： | cn | | : : | | 7 | 需要用到的表： 用户登录明细表：user_login_detail | user_id(用户id) | ip_ad 阅读全文
posted @ 2022-12-02 16:59
闻染呀
阅读(173)
评论(0)
推荐(0)
摘要：
题解 | #连续签到领金币# 题目需求 用户每天签到可以领1金币，并可以累计签到天数，连续签到的第3、7天分别可以额外领2和6金币。 每连续签到7天重新累积签到天数。 从用户登录明细表中求出每个用户金币总数，并按照金币总数倒序排序 结果如下： | user_id （用户id） | sum_coin_ 阅读全文
posted @ 2022-12-02 13:32
闻染呀
阅读(480)
评论(0)
推荐(0)
摘要：
# sql 执行过程 具体顺序如下： FROM -> ON -> JOIN -> WHERE -> GROUP BY -> AGG_FUNC -> WITH -> HAVING -> SELECT -> DISTINCT -> ORDER BY -> LIMIT/OFFSET 图示： 1 FROM 阅读全文
posted @ 2022-12-02 13:10
闻染呀
阅读(195)
评论(0)
推荐(0)
摘要：
title: Hive进阶 cover: /cover_imgs/hive.png tags: Hive categories: Hive 第 1 章 Explain 查看执行计划（重点） 1.1 基础语法 EXPLAIN [EXTENDED | DEPENDENCY | AUTHORIZATION 阅读全文
posted @ 2022-11-30 22:16
闻染呀
阅读(90)
评论(0)
推荐(0)
浙公网安备 33010602011771号