XIAO的博客

spark 2.x在windows环境使用idea本地调试启动了kerberos认证的hive

摘要： 1 概述开发调试spark程序时，因为要访问开启kerberos认证的hive/hbase/hdfs等组件，每次调试都需要打jar包，上传到服务器执行特别影响工作效率，所以调研了下如何在windows环境用idea直接跑spark任务的方法，本文旨在记录配置本地调试环境中遇到的问题及解决方案。 2 阅读全文

posted @ 2019-07-01 18:21 XIAO的博客阅读(3750) 评论(0) 推荐(1)

spark log4j 日志配置

摘要：现在我们介绍spark (streaming) job独立配置的log4j的方法，通过查看官方文档，要为应用主程序（即driver端）或执行程序使（即executor端）自定义log4j配置，需要两步就完成了，下面具体说明。第一步：上传自定义 log4j driver.properties和log 阅读全文

posted @ 2019-06-20 10:55 XIAO的博客阅读(1287) 评论(0) 推荐(0)

一种简单实现Redis集群Pipeline功能的方法及性能测试

摘要：上一篇文章《 "redis pipeline批量处理提高性能" 》中我们讲到redis pipeline模式在批量数据处理上带来了很大的性能提升，我们先来回顾一下pipeline的原理，redis client与server之间采用的是请求应答的模式，如下所示：在这种情况下，如果要完成10个命令，阅读全文

posted @ 2019-06-11 10:27 XIAO的博客阅读(11210) 评论(0) 推荐(3)

redis pipeline批量处理提高性能

摘要： Redis使用的是客户端服务器（CS）模型和请求/响应协议的TCP服务器。Redis客户端与Redis服务器之间使用TCP协议进行连接，一个客户端可以通过一个socket连接发起多个请求命令。每个请求命令发出后client通常会阻塞并等待redis服务器处理，redis处理完请求命令后会将结果通过阅读全文

posted @ 2019-05-24 17:50 XIAO的博客阅读(3376) 评论(0) 推荐(0)

用redis-dump工具对redis集群所有数据进行导出导入

摘要：安装redis dump redis dump是基于ruby开发，需要ruby环境，而且新版本的redis dump要求2.2.2以上的ruby版本，centos中yum只能安装2.0版本的ruby。需要先安装ruby的管理工具rvm安装高版本的ruby 安装rvm 可参考官网：http://rvm 阅读全文

posted @ 2019-05-24 11:56 XIAO的博客阅读(6104) 评论(0) 推荐(0)

Spark Streaming Listener 监控批次处理延迟进行告警

摘要：概述 StreamingListener 是针对spark streaming的各个阶段的事件监听机制。 StreamingListener接口自定义StreamingListener 功能：监控批次处理时间，若超过阈值则告警，每次告警间隔2分钟应用阅读全文

posted @ 2019-05-21 16:24 XIAO的博客阅读(1145) 评论(0) 推荐(0)

Kylin构建Cube过程详解

摘要： 1 前言在使用Kylin的时候，最重要的一步就是创建cube的模型定义，即指定度量和维度以及一些附加信息，然后对cube进行build，当然我们也可以根据原始表中的某一个string字段（这个字段的格式必须是日期格式，表示日期的含义）设定分区字段，这样一个cube就可以进行多次build，每一次的阅读全文

posted @ 2019-05-13 10:24 XIAO的博客阅读(12165) 评论(1) 推荐(1)

MapReduce Shuffle 和 Spark Shuffle 原理概述

摘要： Shuffle简介 Shuffle的本意是洗牌、混洗的意思，把一组有规则的数据尽量打乱成无规则的数据。而在MapReduce中，Shuffle更像是洗牌的逆过程，指的是将map端的无规则输出按指定的规则“打乱”成具有一定规则的数据，以便reduce端接收处理。其在MapReduce中所处的工作阶段是阅读全文

posted @ 2019-05-10 15:34 XIAO的博客阅读(7492) 评论(0) 推荐(1)

Kafka生产消费API JAVA实现

摘要： Maven依赖： Kafka生产者简单接口JAVA实现： Kafka消费者简单接口JAVA实现 Kafka新消费者接口JAVA实现阅读全文

posted @ 2019-05-09 17:22 XIAO的博客阅读(721) 评论(0) 推荐(0)

Kylin引入Spark引擎

摘要： 1 引入Spark引擎 Kylin v2开始引入了Spark引擎，可以在构建Cube步骤中替换MapReduce。关于配置spark引擎的文档，下面给出官方链接以便查阅：http://kylin.apache.org/docs20/tutorial/cube_spark.html 以下是配置步骤：阅读全文

posted @ 2019-04-18 13:48 XIAO的博客阅读(4402) 评论(0) 推荐(0)

公告

导航