XIAO的博客

基于CDH5.12安装Kylin及官方用例测试

摘要： 1 kylin 简介 Apache Kylin是2013年由eBay 在上海的一个中国工程师团队发起的、基于Hadoop大数据平台的开源 OLAP引擎，它采用多维立方体预计算技术，利用空间换时间的方法，把很多分钟级别乃至小时级别的大数据查询速度一下子提升到了亚秒级别，极大地提高了数据分析的效率，填补阅读全文

posted @ 2019-04-17 18:59 XIAO的博客阅读(1151) 评论(0) 推荐(0)

用Sqoop进行Hive和MySQL之间的数据互导

摘要： ##Hive导数据入MySQL ###创建mysql表 use anticheat; create table anticheat_blacklist( userid varchar(30) primary key , dt int, update_time timestamp, delete_fl 阅读全文

posted @ 2019-04-15 20:10 XIAO的博客阅读(1660) 评论(0) 推荐(0)

Spark读HBase写MySQL

摘要： 1 Spark读HBase Spark读HBase黑名单数据，过滤出当日新增userid，并与mysql黑名单表内userid去重后，写入mysql。 2 Spark读MySQL表广播出去 3 构建黑名单数据对象rdd 4 Spark写MySQL 5 注意问题数据存入Mysql注意事项尽量先设置阅读全文

posted @ 2019-04-15 15:18 XIAO的博客阅读(1036) 评论(0) 推荐(0)

Kafka如何彻底删除topic及数据

摘要：前言：删除kafka topic及其数据，严格来说并不是很难的操作。但是，往往给kafka 使用者带来诸多问题。项目组之前接触过多个开发者，发现都会偶然出现无法彻底删除kafka的情况。本文总结多个删除kafka topic的应用场景，总结一套删除kafka topic的标准操作方法。 step1：阅读全文

posted @ 2019-04-15 13:25 XIAO的博客阅读(9436) 评论(0) 推荐(0)

LDAP-HA安装与配置（Keepalived方式实现）

摘要： LDAP部署安装LDAP（主节点）安装LDAP Server 查看安装的版本： LDAP 服务端配置更新配置库：在2.4以前的版本中，OpenLDAP 使用 slapd.conf 配置文件来进行服务器的配置，而2.4开始则使用 slapd.d 目录保存细分后的各种配置，这一点需要注意，其数据阅读全文

posted @ 2019-04-11 15:20 XIAO的博客阅读(2066) 评论(0) 推荐(1)

配置两个Hadoop集群Kerberos认证跨域互信

摘要：两个Hadoop集群开启Kerberos验证后，集群间不能够相互访问，需要实现Kerberos之间的互信，使用Hadoop集群A的客户端访问Hadoop集群B的服务（实质上是使用Kerberos Realm A上的Ticket实现访问Realm B的服务）。先决条件： 1）两个集群(IDC.COM 阅读全文

posted @ 2019-04-11 13:33 XIAO的博客阅读(5991) 评论(1) 推荐(1)

MYSQL HA 部署手册

摘要： 1 MySQL启用主主双写复制 1.1 卸载系统默认的数据库mariadb 安装mysql出现安装包不兼容问题，首先卸载掉系统自带mariadb 1.2 卸载旧版安装包检查MySQL及相关RPM包，是否安装，如果有安装，则移除（rpm –e 名称） rpm qa | grep i mysql yu 阅读全文

posted @ 2019-04-11 12:05 XIAO的博客阅读(1285) 评论(0) 推荐(0)

ELK简单安装测试

摘要： 1 介绍组件 Filebeat是一个日志文件托运工具，在你的服务器上安装客户端后，filebeat会监控日志目录或者指定的日志文件，追踪读取这些文件（追踪文件的变化，不停的读）。 Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 ElasticSear 阅读全文

posted @ 2019-04-09 20:06 XIAO的博客阅读(1392) 评论(0) 推荐(0)

Elasticsearch CURL命令

摘要： 1、查看集群状态 curl '10.18.37.223:9200/_cat/health?v'绿色表示一切正常, 黄色表示所有的数据可用但是部分副本还没有分配,红色表示部分数据因为某些原因不可用 2、获取集群节点列表 curl '10.18.37.223:9200/_cat/nodes?v' 3、查阅读全文

posted @ 2019-03-29 18:54 XIAO的博客阅读(11213) 评论(0) 推荐(0)

大数据常见错误解决方案（转载）

摘要： 1、用./bin/spark shell启动spark时遇到异常：java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries! 解决方法：add expor 阅读全文

posted @ 2019-03-27 10:45 XIAO的博客阅读(11099) 评论(0) 推荐(0)

公告

导航