2016年11月15日

Kerberos简介及常见问题
摘要： 基本描述 Kerberos 使用Needha Schroeder协议作为它的基础。它使用了一个由两个独立的逻辑部分：认证服务器和票据授权服务器组成的"可信赖的第三方"，术语称为密钥分发中心（KDC）。 Kerberos 工作在用于证明用户身份的"票据"的基础上。 KDC持有一个密钥数据库；每个网络实 阅读全文
posted @ 2016-11-15 18:14 XIAO的博客 阅读(6248) 评论(0) 推荐(0)

2016年11月11日

【转载】Spark性能优化指南——高级篇
摘要： "前言" "数据倾斜调优" "调优概述" "数据倾斜发生时的现象" "数据倾斜发生的原理" "如何定位导致数据倾斜的代码" "查看导致数据倾斜的key的数据分布情况" "数据倾斜的解决方案" "解决方案一：使用Hive ETL预处理数据" "解决方案二：过滤少数导致倾斜的key" "解决方案三：提高 阅读全文
posted @ 2016-11-11 22:09 XIAO的博客 阅读(3482) 评论(0) 推荐(2)
【转载】 Spark性能优化指南——基础篇
摘要： 转自：http://tech.meituan.com/spark tuning basic.html?from=timeline "前言" "开发调优" "调优概述" "原则一：避免创建重复的RDD" "原则二：尽可能复用同一个RDD" "原则三：对多次使用的RDD进行持久化" "原则四：尽量避免使 阅读全文
posted @ 2016-11-11 20:45 XIAO的博客 阅读(1179) 评论(0) 推荐(0)

2016年11月4日

Sqoop使用手册
摘要： 转载请注明出处 ：http://www.cnblogs.com/xiaodf/ "1 Sqoop概述" "2 版本说明" "3 驱动安装" "3.1 MySQL" "4 基本用法" "4.1 导入" "4.1.1 保护密码" "4.1.2 使用其他文件格式" "4.1.3 压缩导入的数据" "4.1 阅读全文
posted @ 2016-11-04 15:41 XIAO的博客 阅读(18476) 评论(1) 推荐(3)

2016年11月2日

kafka性能基准测试
摘要： 转载请注明出处：http://www.cnblogs.com/xiaodf/ 1、测试环境 该benchmark用到了六台机器，机器配置如下 l IntelXeon 2.5 GHz processor with six cores l Six7200 RPM SATA drives l 32GB o 阅读全文
posted @ 2016-11-02 16:50 XIAO的博客 阅读(27146) 评论(3) 推荐(4)
Flume NG安装部署及数据采集测试
摘要： 转载请注明出处：http://www.cnblogs.com/xiaodf/ Flume作为日志收集工具，监控一个文件目录或者一个文件，当有新数据加入时，采集新数据发送给消息队列等。 1 安装部署Flume 若要采集数据节点的本地数据，每个节点都需要安装一个Flume工具，用来做数据采集。 1.1 阅读全文
posted @ 2016-11-02 16:39 XIAO的博客 阅读(3600) 评论(0) 推荐(0)

2016年10月27日

在 Java 代码中对 Kerberos 主体进行身份验证
摘要： 转载请注明出处：http://www.cnblogs.com/xiaodf/ 本文举例说明如何使用 org.apache.hadoop.security.UserGroupInformation 类在 Java 应用程序中对 Kerberos 主体进行身份验证。 以下代码段验证 user3主体（使用 阅读全文
posted @ 2016-10-27 16:11 XIAO的博客 阅读(7923) 评论(2) 推荐(0)

2016年10月26日

RocketMQ消费者示例程序
摘要： 转载请注明出处：http://www.cnblogs.com/xiaodf/ 本博客实现了一个简单的RocketMQ消费者的示例,MQ里存储的是经过Avro序列化的消息数据，程序读取数据并反序列化后，将消息从控制台打印出来。 程序通过stdin.xml配置文件获取主要参数值，stdin.xml文件内 阅读全文
posted @ 2016-10-26 11:38 XIAO的博客 阅读(1696) 评论(0) 推荐(0)
RocketMQ生产者示例程序
摘要： 转载请注明出处：http://www.cnblogs.com/xiaodf/ 本示例展示了一个RocketMQ producer的简单实现，通过解析文本文件获取输入数据，将数据经过Avro序列化后发送到RocketMQ。 程序通过stdin.xml配置文件获取主要参数值，stdin.xml文件内容如 阅读全文
posted @ 2016-10-26 11:31 XIAO的博客 阅读(1385) 评论(0) 推荐(0)

2016年10月25日

Spark SQL Thrift Server 配置 Kerberos身份认证和权限管理
摘要： 转载请注明出处：http://www.cnblogs.com/xiaodf/ 之前的博客介绍了通过Kerberos + Sentry的方式实现了hive server2的身份认证和权限管理功能，本文主要介绍Spark SQL JDBC方式操作Hive库时的身份认证和权限管理实现。 ThriftSer 阅读全文
posted @ 2016-10-25 18:42 XIAO的博客 阅读(17524) 评论(0) 推荐(0)

导航