摘要： 对于大厂真题的部分，需要对题目进行很好的理解，这些来源与实际项目相近的题目才是最锻炼思维能力和编程技巧的。 Part1：某音短视频 SQL1 各个视频的平均完播率 级别：简单 题目： 用户-视频互动表tb_user_video_log （uid-用户ID, video_id-视频ID, start_ 阅读全文

摘要： 浅析线性表（链表）的头插法和尾插法的区别及优缺点 线性表作为数据结构中比较重要的一种，具有操作效率高、内存利用率高、结构简单、使用方便等特点，今天我们一起交流一下单向线性表的头插法和尾插法的区别及优缺点 线性表因为每个元素都包含一个指向下一元素的指针，所以新增、删除、修改起来非常简单迅速 就像火车一 阅读全文

摘要： 1、 什么是MPP？MPP (Massively Parallel Processing)，即大规模并行处理，在数据库非共享集群中，每个节点都有独立的磁盘存储系统和内存系统，业务数据根据数据库模型和应用特点划分到各个节点上，每台数据节点通过专用网络或者商业通用网络互相连接，彼此协同计算，作为整体提供 阅读全文

摘要： 最近在工作的时候踩坑了，在Hive进行数据加工的时候按照同事写好的建表语句来造数往里插数据。 同事在建表的时候使用的stored AS orc；一般在工程中都是使用这种方式，有高压缩比其性能更好。 在本次需求中需要保留一部分数据来进行测试（这个项目是很久之前做的了，之前让优化，优化完毕之后让自己造数 阅读全文

摘要： 最近看到牛客的MySQL更新了，做了几道从后数的，和大家分享下。 SQL76 考试分数(五) 描述 牛客每次考试完，都会有一个成绩表(grade)，如下: 第1行表示用户id为1的用户选择了C++岗位并且考了11001分 。。。 第8行表示用户id为8的用户选择了B语言岗位并且考了9999分 请你写 阅读全文

摘要： 最近使用Hive来加工一批数据形成标签宽表，其中有一部分的标签需要根据统计规律来进行标定，而这些统计规律是需要依赖于之前的结果表。 例如，需要统计规律的结果表如下: -- 参数设置SET hivevar:param_1 = ${hiveconf:param_1};SET hivevar:param_ 阅读全文

摘要： 最近工作上不太顺，虽然做大数据，但是部门拉胯，现在已经成为了CRUD工程师，唉。 开始重温Java了，学习韩顺平老大的Java培训课，总不能就这样拉跨下去吧。 看到了8皇后问题，这个很经典的问题。 八皇后问题是一个古老而又著名的问题，是学习回溯算法的一个经典案例。之前应该练习过，今天我们就一起来探究 阅读全文

摘要： 最近在做一个数据仓库迁移的项目，目前在前期阶段，所以学习一下MPP架构的概念。 目前项目组想要替换掉的是Teradata所提供的一个MPP架构的数据仓库，所以做数据仓库迁移。迁移目标为南大通用所提供的GBASE。 对于MPP架构网上的资料较少，开源的有Greenplum这几天在看。由于之前做大数据的 阅读全文

摘要： 层出不穷的新技术、新概念、新应用往往会对初学者造成很大的困扰，有时候很难理清楚它们之间的区别与联系。本文将以数据研发相关领域为例，对比分析我们工作中高频出现的几个名词，主要包括以下几个方面： 数据 什么是大数据 数据分析与数据挖掘的区别是什么 数据库 什么是数据库 数据库中的分布式事务理论 数据仓库 阅读全文

摘要： 数据分组是对相同类别的数据进行汇总，而数据透视表是通过对行或列的不同组合对数据进行汇总，所使用的汇总方法有求和、计数、平均值、标准差等，本文使用SQL对数据进行数据分组和数据透视，下面一起来学习。 1）普通分组 普通的数据分组这里使用的GROUP BY函数，同时使用COUNT函数进行计数。 #数据分 阅读全文