zourui4271

摘要： 先解释一下几个名词： metadata ：hive元数据，即hive定义的表名，字段名，类型，分区，用户这些数据。一般存储关系型书库mysql中，在测试阶段也可以用hive内置Derby数据库。 metastore ：hivestore服务端。主要提供将DDL，DML等语句转换为MapReduce， 阅读全文

摘要： 继续说一下Kerberos与Hadoop的集成。 其实这个话题在网上已经很普遍了，没什么太新鲜的。就是顺带说一下吧，Hadoop账号的集成与管理。 之前已经装了kdc和kadmin，所以接下来就需要创建hadoop相关的账号了。 首先需要用kadmin进入kerberos管理prompt，这里需要输 阅读全文

摘要： 重要术语 1. KDC 全称：key distributed center 作用：整个安全认证过程的票据生成管理服务，其中包含两个服务，AS和TGS 2. AS 全称：authentication service 作用：为client生成TGT的服务 3. TGS 全称：ticket grantin 阅读全文

摘要： 数据存储：使用相同的存储数据池都支持把数据存储于HDFS, HBase。 元数据：两者使用相同的元数据。 SQL解释处理：比较相似都是通过词法分析生成执行计划。 执行计划：Hive: 依赖于MapReduce执行框架，执行计划分成map->shuffle->reduce->map->shuffle- 阅读全文

摘要： 这是和HDFS系统底层设计实现有关系的，HDFS本身的设计就是用来解决海量大文件数据的存储.，他天生喜欢大数据的处理，大文件存储在HDFS中，会被切分成很多的小数据块，任何一个文件不管有多小，都是一个独立的数据块，而这些数据块的信息则是保存在元数据中的，在之前的博客HDFS基础里面介绍过在HDFS集 阅读全文

摘要： https://bigdata.163yun.com/product/article/60 阅读全文

摘要： 由于不同企业的发展阶段，以及企业管理对信息化认识的不同，将决定了企业对于信息化的资金投入的差异。应该说“预算决定了定位”，一个公司给CIO的预算，预示公司对信息化的重视程度。当然CIO身入其中，很难改变企业对自身的定位，只有当公司快速发展或领导层成长后才能获得定位的突破。 CIO普遍的成长路径是“纯 阅读全文

摘要： “我的企业目前在数据应用上处于什么水平？接下来应该向哪个方向努力？”本文试图帮助企业决策者和 IT 负责人解答这一问题。 今天，数据之于企业的重要性，已经勿须多言，建设数据驱动型企业也已成为众多企业的战略目标之一。在这一趋势的引领下，很多企业开始了新一代数据平台（例如数据中台）的建设工作，然而在启动 阅读全文

摘要： 前言 企业应用架构是指一整套软件系统的构建，通过合理的划分和设计组合在一起，支持企业方方面面的经营运作。不论是传统企业，还是互联网公司，发展到一定阶段，都需要一整套体系化的应用架构来支撑其运转。良好的、合理的应用架构可以支持企业高效开展业务，控制经营风险，而混乱的、不合理的应用架构则会限制企业的快速 阅读全文

摘要： 这个标准给很多企业提供过技术人才体系能力评估的咨询合作，今天也分享给大家： 初级：在给出指导和具体实施细节后，能独立按时按量（数量和质量）完成工作。 中级：不用指导和具体实施细节，能独立的按时按量（数量和质量）完成工作。 高级：解难题（能解决业务或技术难题），传帮带（能指导培养初中级人员），标准化（ 阅读全文