摘要： 资源调优 调优概述 在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。资源参数设置的不合理，可能会导致 阅读全文

摘要： 前言 在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。大多数同学（包括笔者在内），最初开始尝试使用Spark的原因很简单，主要就 阅读全文

摘要： 1、为什么引入Backpressure 默认情况下，Spark Streaming通过Receiver以生产者生产数据的速率接收数据，计算过程中会出现batch processing time > batch interval的情况，其中batch processing time 为实际计算一个批次 阅读全文

摘要： cache和persist都是用于将一个RDD进行缓存的，这样在之后使用的过程中就不需要重新计算了，可以大大节省程序运行时间。 cache和persist的区别 基于Spark 1.6.1 的源码，可以看到 说明是cache()调用了persist(), 想要知道二者的不同还需要看一下persist 阅读全文

摘要： 什么是负载均衡 负载均衡，英文名称为Load Balance，指由多台服务器以对称的方式组成一个服务器集合，每台服务器都具有等价的地位，都可以单独对外提供服务而无须其他服务器的辅助。通过某种负载分担技术，将外部发送来的请求均匀分配到对称结构中的某一台服务器上，而接收到请求的服务器独立地回应客户的请求 阅读全文

摘要： 一、安装准备 1、操作系统 Centos 7.x 2、时间问题 3、用户 4、Hadoop HA集群 5、HBase 6、Hive 7、准备目录 8、kylin #代表在root用户下 $代表普通用户 二、环境变量配置 基本的配置已经做好了，安装从以下步骤开始 三、配置kylin 压缩问题 关于压缩 阅读全文

摘要： 其实这个问题只是一些小bug问题把这个脚本的内容改动一下就好了${HADOOP_HOME}/etc/hadoop/hadoop-env.sh把下面的这一段循环语句给注释掉 阅读全文

摘要： 在安装好kylin之后我直接去访问web监控页面发现能够进去，也没有去看日志。然后在运行官方带的例子去bulid cube时去发现状态一直是pending而不是runing。这个时候才去查看日志： 在红色标记的地方很明显发现端口号2181在zk connectString里写了两遍，查看org.ap 阅读全文

摘要： 在上面两篇安装以及初始化的文章之后，有的小伙伴在登陆mysql的时候会出现：ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: NO)的提示。 使用如下方法即可解决，本人已验证可行。 阅读全文

摘要： 接着上篇文章我们继续探讨在安装完mysq数据库之后的一些相关配置： 一、mysql数据库的初始化 我们在安装完mysql数据库以后，会发现会多出一个mysqld的服务，这个就是咱们的数据库服务，我们通过输入 service mysqld start 命令就可以启动我们的mysql服务。 注意：如果我 阅读全文