摘要：
别人写的帖子感觉很好，记录一下： https://blog.csdn.net/u013411339/article/details/90657429 阅读全文
摘要：
说起spring，我们知道其最核心的两个功能就是AOP（面向切面）和IOC（控制反转），这边文章来总结一下SpringBoot如何整合使用AOP。 一、示例应用场景：对所有的web请求做切面来记录日志。 1、pom中引入SpringBoot的web模块和使用AOP相关的依赖： 其中： cglib包是 阅读全文
摘要：
Spark提供三个位置用来配置系统： Spark属性：控制大部分的应用程序参数，可以用SparkConf对象或者Java系统属性设置 环境变量：可以通过每个节点的 conf/spark-env.sh脚本设置。例如IP地址、端口等信息 日志配置：可以通过log4j.properties配置 Spark 阅读全文
摘要：
1.前言 垃圾收集器是前一章垃圾收集算法理论知识的具体实现了，不同虚拟机所提供的垃圾收集器可能会有很大差别，另外我们必须提前说明一个道理：没有最好的垃圾收集器，更加没有万能的收集器，只能选择对具体应用最合适的收集器。这也是HotSpot为什么要实现这么多收集器的原因，下面我们以HotSpot为例讲解 阅读全文
摘要：
一、安装Hadoop Hive运行在Hadoop环境之上，因此需要hadoop环境，本次在安装在hadoop完全分布式模式的namennode节点上 请参考：hadoop搭建 二、安装Hive 下载 [hadoop@hadoop01 /home/hadoop]$cd /app/ [hadoop@ha 阅读全文
摘要：
一、前言。 学习大数据组件，最好的方式是直接参照官网。不过官网的教程也让我吃了一坑，在此记录一下。因在个人笔记本资源有限，在此安装为单机版安装 官网参考地址：https://docs.cloudera.com/documentation/enterprise/6/6.0/topics/install 阅读全文
摘要：
1.创建一个类继承UserDefinedAggregateFunction类。 阅读全文
摘要：
package cn.piesat.testimport org.apache.spark.sql.SparkSessionimport scala.collection.mutable.ArrayBufferobject SparkSQLTest { def main(args: Array[St 阅读全文
摘要：
一.pom文件 阅读全文
摘要：
Eclipse Memory Analyzer Tool（MAT）是一个强大的基于Eclipse的内存分析工具，可以帮助我们找到内存泄露，减少内存消耗。 工作中经常会遇到一些内存溢出、内存泄露等问题，同时还可能导致CPU使用率也很高，因为在频繁的进行GC垃圾回收，这时候就需要分析导致问题的原因，MA 阅读全文