滴水穿石不是靠力，而是因为不舍昼夜。

摘要： 建表 create table temp.jc_t_test_map_array ( id int, name string, hobby array<string>, -- array中元素为string类型 friend map<string,string>, -- map中键和值均为strin 阅读全文

摘要： 场景 有木有发现工作中偶尔有些大量的null值或者一些无意义的数据参与到计算作业中，任务跑的贼慢，表中有大量的null值，如果表之间进行join关联操作，就会有shuffle产生，这样所有的null值都会集中在一个reduce中，会产生数据倾斜，降低作业效率。辣么我们该如何避免这种囧况呢，现在给大家 阅读全文

摘要： nvl 和 coalesce 说明 nvl 和 coalesce 是 HSQL 中常用的 空值处理函数，今天给大家聊聊这两个函数的使用细节、 数据准备 先建表插入两条测试数据 create table temp.jc_test_coalesce_nvl ( c1 int, c2 int, c3 in 阅读全文

摘要： 问题描述 由于更改了 /etc/my.cnf 需要重启下 mysql 服务，但是重启服务报错了： 经过多发查询发现遇到这样的错误，是由于 /etc/init.d/ 不存在 mysqld 这个命令（有的人安装完环境后存在，是因为你的安装包中有这样的命令将 mysql.server 文件 copy 到 阅读全文

摘要： 今天启动kafka 后 发现只有一个节点启动成功，另两个节点启动失败，查看日志如下 经多方查验，原来是之前未正常关闭服务导致 解决方案 根据日志提示，我们需要手动删除每个partition下的 两个索引文件， 重新启动集群，kafka会自动重建索引文件 find /opt/module/kafka/ 阅读全文

摘要： 问题场景 今天在给环境装插件的时候，yum 提示报错如图： 经过查询发现是自己的 yum 源有问题 处理方案 //删除yum.repos.d目录下所有文件 rm -f /etc/yum.repos.d /* // 重新下载 wget -O /etc/yum.repos.d/CentOS-Base.r 阅读全文

摘要： 问题描述 springboot 应用程序打包报错： Failed to execute goal org.apache.maven.plugins:maven-resources-plugin:3.2.0:resources (default-res 原因分析 plugins标签里面缺少maven- 阅读全文

摘要： 一、环境准备 今天我们看下Spark 版本的 wordcount，IDEA 新建 Maven 项目引入依赖:使用 spark 3.0.0，对应scala 版本2.12 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark 阅读全文

摘要： 一、Spark 是什么 Spark官网地址：https://spark.apache.org Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。用来构建大型的、低延迟的数据分析应用程序。它扩展了广泛使用的 MapReduce 计算模型。高效的支撑更多计算模式，包括交互式查询和流处理。 阅读全文

摘要： 1、斐波那契数列是什么 斐波那契数列，也称之为斐波那契数，指的是这样一个数列：0、1、1、2、3、5、8、13、21、……在数学上，斐波那契数列以如下被以递归的方法定义：F0=0，F1=1，Fn=Fn-1+Fn-2（n>=2，n∈N*），用文字来说，就是斐波那契数列由 0 和 1 开始，之后的斐波那 阅读全文