大数据开发程序猿

摘要： 一、HBase的RowKey设计原则 1.我们知道HBase是三维有序存储的，通过RowKey(行键),ColumnKey(Column family和qualifier)和TimeStamp(时间戳),这三个维度，对HBase中的数据进行快速的定位，Hbase中的RowKey可以唯一的标识一行记录 阅读全文

摘要： 这两天把要前几天的知识点回顾一下，接下来我会用自己对知识点的理解来写一些东西 一、知识点回顾 1.hbase集群启动：$>start-hbase.sh >hbase-daemon.sh start hmaster + hbase-daemon.sh start regionserver hbase集 阅读全文

摘要： 一位10年Java工作经验的架构师聊Java和工作经验 一位10年Java工作经验的架构师聊Java和工作经验 （转）http://blog.csdn.net/lifuxiangcaohui/article/details/48342315 黄勇（ 博客），从事近十年的 JavaEE 应用开发工作， 阅读全文

摘要： 光阴似箭，日月如梭，时间过得很快，很多事情已经过去了，遗憾一件一件，小成绩也有一些。 2018目标： 1.每天花30分钟看书，花10分钟写日记。戒除某些不良习惯。 2.马上就要开学了，坚持每次课都高质量的上完，坚决不逃课！ 3.再减肥10公斤，保持65KG以下的体重。 4.剩下5个月的时间保证高质量 阅读全文

摘要： 这个错误找了好长时间，日志看半天，找度娘没什么用，再看stackoverflow,上面有几篇相关的帖子，但是没人回答。 看半天，没有cause,只好到idea中去看sortLocalSorts源码，结果才知道是dns解析相关的配置，查了几个主机上的hbase-site.xml没问题，HA配置也没问题 阅读全文

摘要： 一、 1.预切割：在创建表的时候，预先对表进行region切割。切割线就是rowkey 2.创建文件的时候进行预切割，结果如下图，查看WEBUI16010 3.批量与缓存 1）扫描器缓存，是面向行一级的 2）批量扫描是面向列一级的，批量可以让用户选择每次ResultScanner实例的next()操 阅读全文

摘要： 一、HBASE内部原理 1.hbase系统架构 上图组件介绍; 1):Client 包含访问 hbase 的接口， client 维护着一些 cache 来加快对 hbase 的访问，比如 region 的位置信息。 2):Zookeeper 1 保证任何时候，集群中只有一个 master 2 存贮 阅读全文

摘要： 一、数据库OLAP和OLTP简单的介绍比较 1.OLTP:on-line transaction processing在线事务处理,应用在传统关系型数据库比较多，执行日常基本的事务处理，比如数据库记录的增删改查，如银行的一笔交易记录，就是一个典型的事务处理，强调数据库内存效率，强调内存各种指标的命令 阅读全文

摘要： Hive 最常见的几个面试题 1.hive 的使用， 内外部表的区别，分区作用， UDF 和 Hive 优化(1)hive 使用：仓库、工具(2)hive 内部表：加载数据到 hive 所在的 hdfs 目录，删除时，元数据和数据文件都删除 外部表：不加载数据到 hive 所在的 hdfs 目录，删 阅读全文

摘要： 一、UDF 1.显示所有函数：show functions ; 2.显示指定函数的帮助：$hive>desc function current_database(); 3. 什么是 UDF? 当 Hive 提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF： user 阅读全文