misr

摘要： 1.Spark SQL概述1）Spark SQL是Spark核心功能的一部分，是在2014年4月份Spark1.0版本时发布的。 2）Spark SQL可以直接运行SQL或者HiveQL语句 3）BI工具通过JDBC连接SparkSQL查询数据 4）Spark SQL支持Python、Scala、J 阅读全文

摘要： 1.几种运行模式介绍 Spark几种运行模式： 1）Local 2）Standalone 3）Yarn 4）Mesos 下载IDEA并安装，可以百度一下免费文档。 2.spark Standalone模式配置并测试 1）jdk1.8已经安装 2）scala2.11.8已经安装 3）Hadoop2.5 阅读全文

摘要： 1.三大弹性数据集介绍 1）概念 2）优缺点对比 2.Spark RDD概述与创建方式 1）概述 在集群背后，有一个非常重要的分布式数据架构，即弹性分布式数据集（resilientdistributed dataset，RDD），它是逻辑集中的实体，在集群中的多台机器上进行了数据分区。RDD是Spa 阅读全文

摘要： mpstat -P ALL 和 sar -P ALL 说明：sar -P ALL > aaa.txt 重定向输出内容到文件 aaa.txt 经常用来监控linux的系统状况，比如cpu、内存的使用，程序员基本都知道这个命令，但比较奇怪的是能用好它的人却很少，例如top监控视图中内存数值的含义就有不少 阅读全文

摘要： 1.Windows开发环境配置与安装 下载IDEA并安装，可以百度一下免费文档。 2.IDEA Maven工程创建与配置 1）配置maven 2）新建Project项目 3）选择maven骨架 4）创建项目名称 5）选择maven地址 6）生成maven项目 7）选择scala版本 8）新建Java 阅读全文

摘要： 1.Spark概述 Spark 是一个用来实现快速而通用的集群计算的平台。 在速度方面， Spark 扩展了广泛使用的 MapReduce 计算模型，而且高效地支持更多计算模式，包括交互式查询和流处理。 在处理大规模数据集时，速度是非常重要的。速度快就意味着我们可以进行交互式的数据操作， 否则我们每 阅读全文

摘要： 1.Hue 概述及版本下载 1）概述 Hue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献给开源社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行 阅读全文

摘要： （一）Hive 概述 （二）Hive在Hadoop生态圈中的位置 （三）Hive 架构设计 （四）Hive 的优点及应用场景 （五）Hive 的下载和安装部署 1.Hive 下载 Apache版本的Hive。 Cloudera版本的Hive。 这里选择下载Apache稳定版本apache-hive- 阅读全文

摘要： 1.修改yum源 鉴于用国外的Yum源，速度比较慢，所以想到将国外的yum源改为国内的Yum源，这里选择使用比较多的阿里云源。具体修改方法可以参考此连接 2.在线安装mysql 通过yum在线mysql，具体操作命令如下所示。 yum clean all yum install mysql-serv 阅读全文

摘要： （一）idea工具开发数据生成模拟程序 1.在idea开发工具中构建weblogs项目，编写数据生成模拟程序。 package main.java; import java.io.*; public class ReadWrite { static String readFileName; stat 阅读全文