摘要： Failed to initialize compiler: object java.lang.Object in compiler mirror not found. 2 ** Note that as of 2.8 scala does not assume use of the java classpath. 3 ** For the old behavior pass -usejavacp to scala, or if using a Settings 4 ** object programmatically, settings.usejavacp.value = true. 阅读全文

摘要： 前言 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。 数据倾斜调优 调优概述 有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作 阅读全文

摘要： 下载地址：http://archive.apache.org/dist/zookeeper/ 上传到linux并解压 [root@linux01 software]# tar -zxvf zookeeper-3.4.14.tar.gz 修改zookeeper文件夹中zoo_sample.cfg 改名 阅读全文

摘要： spark的安装 1. 下载并解压 在官网：https://archive.apache.org/dist/spark/ 下载所需版本的 spark，这里我下载的版本为2.3.1,下载后进行解压（Linux文件类型：*.tar.gz和*.tgz 用 tar –xzf 解压）： 1 [root@lin 阅读全文

摘要： 一、linux下JDK的安装 1. 下载并解压 在官网 下载所需版本的 JDK，这里我下载的版本为JDK 1.8 ,下载后进行解压： 1 [root@linux01 ~]# tar -zxvf jdk-8u321-linux-x64.tar.gz 2. 设置环境变量 1 [root@linux01 阅读全文

摘要： 本地读取中文文本，中文乱码 阅读全文

摘要： NoClassDefFoundError: org/apache/spark/sql/SQLContext 阅读全文

摘要： 使用IDEA工具运行Spark的WordCount时，运行报错，报错信息如下 Exception in thread "main" java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product;)V at org.apache.sp 阅读全文

摘要： 代理模式： 优点： 用户只需要知道具体工厂的名称就可得到所要的产品，无须知道产品的具体创建过程。 灵活性增强，对于新产品的创建，只需多写一个相应的工厂类。 典型的解耦框架。高层模块只需要知道产品的抽象类，无须关心其他实现类，满足迪米特法则、依赖倒置原则和里氏替换原则。 缺点： 类的个数容易过多，增加 阅读全文

摘要： 一，介绍，对比与发展：Dataframe，Dataset DataFrame：是较早用于管理结构化数据的数据类型，在Spark 2.0版本之前，是分析结构化数据的主角 DataFrame将数据通过Schema模式组织到一个二维表格中（就像关系型数据库的表一样），每一列数据都存在列名。 在数据分析时， 阅读全文

摘要： 安装Linux系统详细步骤： 前置条件：（1）下载并安装好VMware，（2）下载CentSO镜像 详细步骤： 一，定义一台虚拟机： 1，点击创建新的虚拟机（或点击文件file=》创建虚拟机） 2.您需希望使用什么类型的配置：选择第二项“自定义（高级）”，点击下一步 3.选择虚拟机的兼容性：不修改， 阅读全文