摘要： 转载：1 http://www.cnblogs.com/hanyuanbo/archive/2012/07/25/2608698.html 2 http://blog.csdn.net/u010846741/article/details/52369527 Hadoop 集群中有两种节点，一种是na 阅读全文

摘要： 一.Hadoop 1.hdfs写流程 2.hdfs读流程 3.hdfs的体系结构 4.一个datanode 宕机,怎么一个流程恢复 5.hadoop 的 namenode 宕机,怎么解决 6.namenode对元数据的管理 7.元数据的checkpoint 8.yarn资源调度流程 9.hadoop 阅读全文

摘要： 转载： https://mp.weixin.qq.com/s/owrvh4XP0Ip5gE_GXKfulQ 作为一家高度数字化和技术驱动的公司，美团非常重视数据价值的挖掘。在公司日常运行中，通过各种数据分析挖掘手段，为公司发展决策和业务开展提供数据支持。经过多年的发展，美团酒旅内部形成了一套完整的解 阅读全文

摘要： 1，binlog同步数据 2，CRM系统？ 阅读全文

摘要： 内部表和外部表的区别： 未被external修饰的是内部表（managed table），被external修饰的为外部表（external table）；区别：内部表数据由Hive自身管理，外部表数据由HDFS管理；内部表数据存储的位置是hive.metastore.warehouse.dir（默 阅读全文

摘要： 1，怎么评价数仓的好坏 2，数仓是怎么组织的？规范是什么？ 2，哪个阶段可能会发生shuffle 3，用两个key关联会有几个MR 4，数据倾斜怎么处理的？你是怎么发现的呢？ explai查看语句后，里面用的什么算法？ 5， 4，删除表发现类似死机现象有什么原因造成的 5，断层排序（实现出排序的效果 阅读全文

摘要： 1，环境配置： a, 安装 java jdk jdk-8u181-windows-x64.exe(http://www.oracle.com/technetwork/java/javase/downloads/index.html) 添加系统环境 b,安装scala scala-2.11.8.zip 阅读全文

摘要： aaa 阅读全文

摘要： canal的作用？ 阅读全文

摘要： 数据仓库是面向主题的、集成的、不可更新的、随时间的变化而不断变化的，这些特点决定了数据仓库的系统设计不能采用同开发传统的OLTP数据库一样的设计方法。 数据仓库系统的原始需求不明确，且不断变化与增加，开发者最初不能确切了解到用户的明确而详细的需求，用户所能提供的无非是需求的大的方向以及部分需求， 更 阅读全文