Runner_Jack

摘要： 一、安装Hadoop Hive运行在Hadoop环境之上，因此需要hadoop环境，本次在安装在hadoop完全分布式模式的namennode节点上 请参考：hadoop搭建 二、安装Hive 下载 [hadoop@hadoop01 /home/hadoop]$cd /app/ [hadoop@ha 阅读全文

摘要： 一、前言。 学习大数据组件，最好的方式是直接参照官网。不过官网的教程也让我吃了一坑，在此记录一下。因在个人笔记本资源有限，在此安装为单机版安装 官网参考地址：https://docs.cloudera.com/documentation/enterprise/6/6.0/topics/install 阅读全文

摘要： 1.创建一个类继承UserDefinedAggregateFunction类。 阅读全文

摘要： package cn.piesat.testimport org.apache.spark.sql.SparkSessionimport scala.collection.mutable.ArrayBufferobject SparkSQLTest { def main(args: Array[St 阅读全文

摘要： 一.pom文件 阅读全文

摘要： Eclipse Memory Analyzer Tool（MAT）是一个强大的基于Eclipse的内存分析工具，可以帮助我们找到内存泄露，减少内存消耗。 工作中经常会遇到一些内存溢出、内存泄露等问题，同时还可能导致CPU使用率也很高，因为在频繁的进行GC垃圾回收，这时候就需要分析导致问题的原因，MA 阅读全文

摘要： Java启动参数共分为三类； 其一是标准参数（-），所有的JVM实现都必须实现这些参数的功能，而且向后兼容； 其二是非标准参数（-X），默认jvm实现这些参数的功能，但是并不保证所有jvm实现都满足，且不保证向后兼容； 其三是非Stable参数（-XX），此类参数各个jvm实现会有所不同，将来可能会 阅读全文

摘要： JDK本身提供了很多方便的JVM性能调优监控工具，除了集成式的VisualVM和jConsole外，还有jps、jstack、jmap、jhat、jstat等小巧的工具，本博客希望能起抛砖引玉之用，让大家能开始对JVM性能调优的常用工具有所了解。 现实企业级Java开发中，有时候我们会碰到下面这些问 阅读全文

摘要： 一、方式介绍 本次测试一种采用了四种方式进行了对比，分别是：1.在RDD内部调用java API。2、调用saveAsNewAPIHadoopDataset（）接口。3、saveAsHadoopDataset（）。4、BulkLoad方法。 测试使用的大数据版本如下（均为单机版）：Hadoop2.7 阅读全文

摘要： redis有三种集群方式：主从复制，哨兵模式和集群。 1.主从复制 主从复制原理： 从服务器连接主服务器，发送SYNC命令； 主服务器接收到SYNC命名后，开始执行BGSAVE命令生成RDB文件并使用缓冲区记录此后执行的所有写命令； 主服务器BGSAVE执行完后，向所有从服务器发送快照文件，并在发送 阅读全文