摘要：
显示文件列表命令 -a 显示指定目录下所有子目录与文件，包括隐藏文件 -l 以列表的方式显示文件的详细信息 -h 配合-l 以人性化的方式显示文件大小 ls 查看当前目录内容 隐藏文件看不到 ls -a 查看当前目录内容 包括隐藏文件 ls -al 查看目录内的详细信息 包括文件大小 类型 权限 l 阅读全文
posted @ 2019-11-18 21:36
景、
阅读(275)
评论(0)
推荐(0)
摘要：
以下是导致索引失效的常见情况，分类并举例说明： 1. 对索引列进行运算或函数操作 当在索引列上使用函数、表达式、计算或类型转换时，MySQL无法直接使用索引来定位数据。 失效示例： sql -- 使用函数 SELECT * FROM users WHERE YEAR(create_time) = 2 阅读全文
posted @ 2025-09-16 16:14
景、
阅读(40)
评论(0)
推荐(0)
摘要：
下载和解压 Sqoop 第一步：下载安装包。文件我放网盘了自行下载 链接: https://pan.baidu.com/s/1r5eMpPi1F2KGzgeRwa-kyw 提取码: 1234 [root@master ~]# tar -zxvf /export/software/sqoop-1.4. 阅读全文
posted @ 2025-09-05 14:49
景、
阅读(21)
评论(0)
推荐(0)
摘要：
整个过程可以概括为以下几个核心步骤： 打开文件：客户端发起请求。 获取数据块位置：客户端从NameNode获取文件的数据块列表及其存储位置。 读取数据：客户端直接连接到最近的DataNode，并行读取数据块。 关闭文件：完成读取后，客户端关闭文件。 详细步骤： 第1步：客户端发起读请求 动作：用户在 阅读全文
posted @ 2025-08-25 17:10
景、
阅读(52)
评论(0)
推荐(0)
摘要：
第1步：客户端发起创建请求 动作： 客户端应用程序通过调用HDFS客户端库的 create() 方法，希望在HDFS上创建一个新文件（例如 /user/test/data.txt）。 细节： HDFS客户端会向NameNode发起一个RPC（远程过程调用） 请求。 第2步：NameNode执行检查与 阅读全文
posted @ 2025-08-25 17:04
景、
阅读(27)
评论(0)
推荐(0)
摘要：
什么是算子 在英文中被成为“Operation”，在数学上可以解释为一个函数空间到函数空间上的映射O：X->X，其实就是一个处理单元，往往是指一个函数，在使用算子时往往会有输入和输出，算子则完成相应数据的转化，比如：Group、Sort等都是算子。 流数据 在自然环境中，数据的产生原本就是流式的。但 阅读全文
posted @ 2022-11-03 15:43
景、
阅读(494)
评论(0)
推荐(0)
摘要：
1. Hive 表关联查询，如何解决数据倾斜的问题 1） 倾斜原因： map 输出数据按key Hash 的分配到reduce 中，由于key 分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的reduce 上的数据量差异过大。 （1） key 分布不均匀; （2） 业务数据本身的特性; （ 阅读全文
posted @ 2022-07-13 22:00
景、
阅读(298)
评论(0)
推荐(0)
摘要：
阅读全文
posted @ 2022-06-12 16:14
景、
阅读(23)
评论(0)
推荐(0)
摘要：
-- 开窗 分组排序 -- row_number() over(partition by ... order by ...) 组内的排名序号 1 2 3 4 5 6 7 -- rank() over(partition by userid order by pv desc) 组内的排名序号 1 2 阅读全文
posted @ 2022-06-12 15:54
景、
阅读(228)
评论(0)
推荐(0)
摘要：
1.在目录：/export/server/hadoop-3.1.4/etc/hadoop 下修改文件：hadoop-env.sh export HADOOP_CLIENT_OPTS="-Xmx2048m $HADOOP_CLIENT_OPTS" 分发给各个主机：scp hadoop-env.sh n 阅读全文
posted @ 2022-06-05 17:43
景、
阅读(231)
评论(0)
推荐(0)
摘要：
Hadoop的key和value的传递序列化需要涉及两个重要的接口Writable和WritableComparable1.Writable: 重写write 和 readFields方法，负责读和写 2.WritableComparable 重写write、readFields 和 compare 阅读全文
posted @ 2022-05-27 10:49
景、
阅读(54)
评论(0)
推荐(0)
浙公网安备 33010602011771号