12 2020 档案
摘要：package com.csair.oas.utils.test; import org.apache.commons.logging.Log; import org.apache.commons.logging.LogFactory; import org.apache.poi.xssf.user
阅读全文
摘要：https://blog.csdn.net/a924382407/article/details/106663891/ 说明：java实现从HDFS上下载文件及文件夹的功能，以流形式输出，便于用户自定义保存任何路径下 <!--阿里 FastJson依赖--> <dependency> <groupI
阅读全文
java.lang.NoSuchMethodError: scala.runtime.ObjectRef.create(Ljava/lang/Object；)Lscala/runtime/Object
摘要：在使用spark进行开发时，本地运行成功，但是上传到集群发生如下错误： java.lang.NoSuchMethodError: scala.runtime.ObjectRef.create(Ljava/lang/Object;)Lscala/runtime/ObjectRef; 此问题是由于本地编
阅读全文
摘要：https://blog.csdn.net/u010454030/article/details/68923434/
阅读全文
摘要：https://blog.csdn.net/hhj724/article/details/79094138 Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to ins
阅读全文
摘要：https://blog.csdn.net/ct2020129/article/details/90695033 原因是 hive 依赖版本太低，需要升级为1.2.1 <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-j
阅读全文
摘要：在建立maven项目时，遇到问题，只能对java代码的打包。 此问题出现的原因时，在建立项目的时候，建立的时java的项目，后期进行scala的添加，但是在pom.xml中并没有出现scala代码的打包配置，导致只能进行java代码的打包。 解决方法： 在maven文件中，加入scala的打包配置。
阅读全文
摘要：做项目的时候遇到了很多次这个问题 java.lang.NoSuchMethodError: 如下 原因都是一样的 就是依赖包冲突了！！ 之前的做法是不要乱添依赖 但是这是治标不治本的 后来借鉴了网上那些去依赖的博客 总结了一下 分享一下自己的方法 先简单的说一下包冲突是因为maven导入依赖包的时候
阅读全文
摘要：spark读取elasticsearch的时候，出错了，报错 com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.9.6 Exception in thread "main" jav
阅读全文
摘要：今天公司发出了修复jackson-databind的安全漏洞分析，让公司统一修复，以下是过程： 一、基本描述 在2.9.9之前的FasterXML jackson-databind 2.x中发现了一个问题。为外部公开的JSON端点启用默认键入（全局或特定属性）时，该服务在类路径中具有mysql-co
阅读全文
摘要：方式1：全量下载源码包 方式二：下载单个源码包 随便找个源码可以看到文件上有download (标识下载源码包) choose sources表示选择那个版本的源码包
阅读全文
摘要：1.可以先参考第一篇文章 https://www.cnblogs.com/luxj/p/14144972.html 2.分区的好处(例如按年月日生成表) 3.可以参考第一篇文章(先建表) 区别在于 PARTITIONED BY (year INT, month INT, day INT) creat
阅读全文
摘要：https://blog.csdn.net/u012995897/article/details/76623739 打开ParquetWriter或者ParquetReader发现大部分构造方法都是过时的（@Deprecated），经过仔细的百度，和读源码，才发现原来创建ParquetWriter对
阅读全文
摘要：https://my.oschina.net/skyim/blog/479159 1. Parquet 的优点我就不说拉（列存储和良好的压缩）,列存储可以参考如下链接2.主要是项目中用到的存储3.第一步,首先在hive中创建一张表,操作表语句如下 create external table parq
阅读全文
摘要：https://www.jb51.net/article/156489.htm 修改mysql 命令：alter user 'root'@localhost IDENTIFIED WITH mysql_native_password BY '密码';
阅读全文
摘要：https://blog.csdn.net/sparkexpert/article/details/52871000 随着新版本的spark已经逐渐稳定，最近拟将原有框架升级到spark 2.0。还是比较兴奋的，特别是SQL的速度真的快了许多。。 然而，在其中一个操作时却卡住了。主要是datafra
阅读全文
摘要：在spark1.X以前，Logging使用的是org.apache.spark.Logging这个类，但是在spark2.X以后，这个类被改成了import org.apache.spark.internal.Logging。下图的spark版本是2.x，可以看出对于org.apache.spark
阅读全文
摘要：https://zhuanlan.zhihu.com/p/92654574
阅读全文
摘要：2．数据准备，表：movie_info 表6-7 数据准备 movie category 《疑犯追踪》 悬疑,动作,科幻,剧情 《Lie to me》 悬疑,警匪,动作,心理,剧情 《战狼2》 战争,动作,灾难 3．需求 将电影分类中的数组数据展开。结果如下： 《疑犯追踪》 悬疑 《疑犯追踪》 动作
阅读全文
摘要：数据准备 ,表：person_info 表6-6 数据准备 name constellation blood_type 孙悟空 白羊座 A 大海 射手座 A 宋宋 白羊座 B 猪八戒 白羊座 A 凤姐 射手座 A 需求 把星座和血型一样的人归类到一起。结果如下： 射手座,A 大海|凤姐 白羊座,A
阅读全文
浙公网安备 33010602011771号