随笔分类 - 大数据相关技术
摘要：最近在公司做统一日志收集处理平台，技术选型肯定要选择elasticsearch，因为可以快速检索系统日志，日志问题排查及功业务链调用可以被快速检索，公司各个应用的日志有些字段比如说content是不需要在es中作为存储的，当时考虑使用一种keyValue形式的数据库作存储，然后使用hbase的Row
阅读全文
摘要：Observer希望解决的问题 HBase是一个分布式的存储体系，数据按照RowKey分成不同的Region，再分配给RegionServer管理。但是RegionServer只承担了存储的功能，如果Region能拥有一部分的计算能力，从而实现一个HBase框架上的MapReduce，那HBase的
阅读全文
摘要：背景说明 Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎。无论在开源还是专有领域，Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。 Elasticsearch 是一种NoSQL数据库（非关系型数据库），和常规的关系型数据库（比如：MyS
阅读全文
摘要：磁带文件系统时代。数据库最初的理念是采用单一数据源来支持所有用途。数据库这一概念是从管理主文件的磁带文件系统发展而来的。磁带可以存储较大的数据量，而且磁带上存储的记录是大小可变的，但磁带有很多缺陷。缺陷之一是磁带上的文件必须是按顺序访问，这就意味着分析师在寻找一条记录时不得不按照顺序搜索整个文件。磁
阅读全文
摘要：转载：https://www.cnblogs.com/felixzh/p/9855029.html 前些日子为了搞清楚Kerberos原理，把MIT的Kerberos经典对话看了几遍，终于有了一个稍微清晰的认识，这里稍微记录下，因为Kerberos是使用传统加密技术实现的一个认证机制，所以顺便备忘下
阅读全文
摘要：转载：https://www.cnblogs.com/wilburxu/p/9174353.html 相信对于许多的朋友来说，可能听说过LDAP，但是实际中对LDAP的了解和具体的原理可能还比较模糊，今天就从“什么是LDAP”、“LDAP的主要产品”、“LDAP的基本模型”、“LDAP的使用案例”四
阅读全文
摘要：查看所有 pod 列表, -n 后跟 namespace, 查看指定的命名空间 kubectl get pod kubectl get pod -n kube kubectl get pod -o wide 查看 RC 和 service 列表， -o wide 查看详细信息 kubectl get
阅读全文
摘要：本文来源：鲜枣课堂 2010年，几个搞IT的年轻人，在美国旧金山成立了一家名叫“dotCloud”的公司。 这家公司主要提供基于PaaS的云计算技术服务。具体来说，是和LXC有关的容器技术。 LXC，就是Linux容器虚拟技术（Linux container） 后来，dotCloud公司将自己的容器
阅读全文
摘要：CSV是文本文件，用记事本就能打开。XLS 是二进制的文件只有用 EXCEL 才能打开；CSV 文件格式只能保存活动工作表中的单元格所显示的文本和数值。XLS 中所有的数据行和字符都将保存。数据列以逗号分隔，每一行数据都以回车符结束。如果单元格中包含逗号，则该单元格中的内容以双引号引起。如果单元格显
阅读全文
摘要：原文链接：lxw的大数据田地 » hdfs fsck命令查看HDFS文件对应的文件块信息(Block)和位置信息(Locations) 关键字：hdfs fsck、block、locations 在HDFS中，提供了fsck命令，用于检查HDFS上文件和目录的健康状态、获取文件的block信息和位置
阅读全文
摘要：HBase Snapshots允许你对一个表进行快照（即可用副本），它不会对Region Servers产生很大的影响，它进行复制和 恢复操作的时候不包括数据拷贝。导出快照到另外的集群也不会对Region Servers产生影响。 下面告诉你如何使用Snapshots功能 1.开启快照支持功能，在0
阅读全文
摘要：package com.zy; import java.io.IOException; import org.apache.commons.lang.time.StopWatch; import org.apache.hadoop.conf.Configuration; import org.apa
阅读全文
摘要：snapshot（快照）基础原理 snapshot是很多存储系统和数据库系统都支持的功能。一个snapshot是一个全部文件系统、或者某个目录在某一时刻的镜像。实现数据文件镜像最简单粗暴的方式是加锁拷贝（之所以需要加锁，是因为镜像得到的数据必须是某一时刻完全一致的数据），拷贝的这段时间不允许对原数据
阅读全文
摘要：本篇博文主要对HyperBase（HBase）、Search（ElasticSearch）的索引类型及具体存储位置进行概要总结，让大家从整体上了解TDH平台中HyperBase和Search索引的管理。后续会在大数据核心原理与实践专栏中对索引相关知识进行详细讲解。 ESSearch索引类型存放位置在
阅读全文
摘要：原文链接：https://www.cnblogs.com/ballwql/p/hbase_data_transfer.html 一、前言 HBase数据迁移是很常见的操作，目前业界主要的迁移方式主要分为以下几类： 图1.HBase数据迁移方案 从上面图中可看出，目前的方案主要有四类，Hadoop层有
阅读全文
摘要：OLTP与OLAP的介绍 数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银
阅读全文
摘要：package com.zy.test; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HColumnDescriptor; im...
阅读全文
浙公网安备 33010602011771号