大数据技术派

摘要： 先解释一下几个名词： - metadata ：hive元数据，即hive定义的表名，字段名，类型，分区，用户这些数据。一般存储关系型书库mysql中，在测试阶段也可以用hive内置Derby数据库。 - metastore ：hivestore服务端。主要提供将DDL，DML等语句转换为MapRed 阅读全文

摘要： Lag和Lead分析函数可以在同一次查询中取出同一字段的后N行的数据(Lag)和前N行的数据(Lead)作为独立的列。 这种操作可以代替表的自联接，并且LAG和LEAD有更高的效率，其中over()表示当前查询的结果集对象，括号里面的语句则表示对这个结果集进行处理。 1 LEAD 与LAG相反，LE 阅读全文

摘要： Hive系列文章 Hive表的基本操作 Hive中的集合数据类型 Hive动态分区详解 hive中orc格式表的数据导入 Java通过jdbc连接hive 通过HiveServer2访问Hive SpringBoot连接Hive实现自助取数 hive关联hbase表 Hive udf 使用方法 Hi 阅读全文

摘要： 关注公众号：大数据技术派，回复: 资料，领取1024G资料。 主要内容 发展史 时代的变迁，生死的轮回，历史长河滔滔，没有什么是永恒的，只有变化才是不变的，技术亦是如此，当你选择互联网的那一刻，你就相当于乘坐了一个滚滚向前的时代列车，开往未知的方向，不论什么样的技术架构只有放在当前的时代背景下，才是 阅读全文

摘要： 关注公众号：大数据技术派，回复: 资料，领取1024G资料。 分层建设理论 简单点儿，直接ODS+DM就可以了，将所有数据同步过来，然后直接开发些应用层的报表，这是最简单的了；当DM层的内容多了以后，想要重用，就会再拆分一个公共层出来，变成3层架构,这个过程有点类似代码重构，就是在实践中不断的进行抽 阅读全文

摘要： Hive系列文章 Hive表的基本操作 Hive中的集合数据类型 Hive动态分区详解 hive中orc格式表的数据导入 Java通过jdbc连接hive 通过HiveServer2访问Hive SpringBoot连接Hive实现自助取数 hive关联hbase表 Hive udf 使用方法 Hi 阅读全文

摘要： Markdown 是用来编写结构化文档的一种纯文本格式，它使我们在双手不离开键盘的情况下，可以对文本进行一定程度的格式排版。markdown语法是通用的，很多写作平台都是支持markdown的，比如简书，这就意味着做自媒体的你写一次文章，就能很快同步到各大平台，而不需要要考虑不同写作平台之间排版的兼 阅读全文

摘要： 关注公众号：大数据技术派，回复: 资料，领取1024G资料。 本文主要介绍Java中两种常见的动态代理方式：JDK原生动态代理和CGLIB动态代理。 什么是代理模式 就是为其他对象提供一种代理以控制对这个对象的访问。代理可以在不改动目标对象的基础上，增加其他额外的功能（扩展功能）。 代理模式角色分为 阅读全文

摘要： 概论 HashTable是遗留类，很多映射的常用功能与HashMap类似，不同的是它承自Dictionary类，并且是线程安全的，并发性不如ConcurrentHashMap，因为ConcurrentHashMap引入了分段锁。 Hashtable不建议在新代码中使用，不需要线程安全的场合可以用Ha 阅读全文

摘要： 在Python里面，函数可以作为参数传入一个函数，函数也可以复制给变量，通过变量调用函数。装饰器可以扩展一个函数的功能，为函数做一个装饰器注解，可以把装饰器里面定义的功能于所有函数提前执行，提升代码的复用程度。 现在有这么个场景。 打卡 互联网公司里面有各种员工，程序员，前台...，程序员在打开电脑 阅读全文