伯安知心

摘要： HBASE基础知识总结 一，概要说明 文章首先回顾HBase 的数据模型和数据层级结构，对数据的每个层级的作用和架构进行了详细阐述；随后介绍了数据写入和读取的详细流程。先把架构图和流程图来坐镇。 架构图 流程图 二，数据模型 1，重要概念回顾 Namespace :表命名空间，将多个表分到一个组进行 阅读全文

摘要： 2018年年终总结 一，概述 2018年已经结束，2019已经到来，正所谓“一笔狗销，猪事顺利”，作为一个技术人员，这一年真是不平凡的一年，也是受益匪浅的一年。无论技术还是其他都有一些见识和认识 这使我很欣慰。然而今天只说工作，只说编码，只说技术，只说大数据。本是开发出身的我，有幸进入的某个央企的大 阅读全文

摘要： IMPALA部署和架构(一) 一，概要 因公司业务需求，需要一个查询引擎满足快速查询TB级别的数据，所以我们找到了presto和impala，presto在前面讲过今天只说impala，impala是cloudera公司主导开发的新型查询系统，impala没有在使用缓慢的Hive+MapReduce 阅读全文

摘要： PRESTO部署和参数说明(一) 一，概要 在部署和使用presto的过程中，在此记录一下部署记录和使用记录以及需要注意的事项。本人使用的presto版本是0.214,3台redhat虚拟机。使用背景：客户需要定期查询大批量的数据，最后选择了sqoop工具定期导入hive，并且定期删除定期更新，因为 阅读全文

摘要： KAFKA CONNECT 使用说明 一、概述 kafka connect 是一个可扩展的、可靠的在kafka和其他系统之间流传输的数据工具。简而言之就是他可以通过Connector（连接器）简单、快速的将大集合数据导入和导出kafka。可以接收整个数据库或收集来自所有的应用程序的消息到kafka的 阅读全文

摘要： LVS详细介绍以及遇到的坑 一，概述 本文介绍了我搭建LVS集群的步骤，并且在使用LVS(Linux Virtual Server)过程中遇到的问题和坑， 二，LVS简单介绍 大家都知道，LVS中文意思就是linux虚拟服务器，是一个虚拟的服务器集群系统，可以在Unix/Linux平台下实现负载均衡 阅读全文

摘要： LDAP介绍 1），ladp（Lightweight Directory Access Protocol），轻量级目录访问协议，提供被称为目录服务的信息服务，特别是基于X.500（构成全球分布式的目录服务系统的协议）的目录服务。 2），ldap运行在TCP/IP或者其他面向连接的传输服务上。 3）， 阅读全文

摘要： partitioner.class的说明 在API客户端中封装好的partition( )方法会为消息选择一个分区编号。为了保证消息负载均衡到每个分区，可以通过使用默认方式或者 手动配置这个参数的方式使消息发布到topic中。 1）如果默认不设置，就会通过计数器自增轮询的方式依次将消息分配到不同的分 阅读全文

摘要： kerberos简单介绍 kerberos这一名词来源于希腊神话“三个头的狗 地狱之门守护者”后来沿用作为安全认证的概念，该系统设计上 采用客户端/服务器结构与DES(Data Encryption Standard标准加密技术)，AES(Advanced Encryption Standerd 高 阅读全文

摘要： kafka-producer版本对比 Kafka的producer的API根据版本的不同分为kafka0.8.1.X之前的 kafka.javaapi.producer.Producer.以及之后版本中出现的org.apache.kafka.clients.producer.KafkaProduce 阅读全文