业余砖家

摘要： Hive概述 架构于Hadoop之上，可以将结构化的HDFS文件映射成一张表，并提供了类似于SQL语法的HQL查询功能。 核心本质：将HQL语句转换成MapReduce任务。 Hive的优缺点 优点 避免了开发人员去实现Map和Reduce的接口，大大降低了学习成本。 HQL语法类似于SQL语法，简 阅读全文

摘要： 相同点 insert into 和 insert overwrite 都是往表中插入数据的。 不同点 区别1： insert into ：其实是将数据追加到表的末尾，注意：不是覆盖，是追加。 insert overwrite : 其实是将重写表（或分区）中的内容，即将原来的hive表（或分区）中的数 阅读全文

摘要： DBA操作规范 1、涉及业务上的修改/删除数据，在得到业务方、CTO的邮件批准后方可执行，执行前提前做好备份，必要时可逆。 2、所有上线需求必须走工单系统，口头通知视为无效。 3、在对大表做表结构变更时，如修改字段属性会造成锁表，并会造成从库延迟，从而影响线上业务，必须在凌晨0:00后业务低峰期执行 阅读全文

摘要： 1、数据库设计方面 A. 对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 B. 应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描。 如： select id from t where nu 阅读全文

摘要： 一、谓词下推 Predicate PushDown 谓词下推的目的：将过滤条件尽可能地下沉到数据源端。 谓词，用来描述或判定客体性质、特征或者客体之间关系的词项,英文翻译为predicate，而谓词下推的英文Predicate Pushdown中的谓词指返回bool值即true和false的函数，或 阅读全文

摘要： 谓词下推 将外层查询块的 WHERE 子句中的谓词移入所包含的较低层查询块（例如视图），从而能够提早进行数据过滤以及有可能更好地利用索引。 这在分区数据库环境中甚至更为重要，其原因在于，提早进行过滤有可能减少必须在数据库分区之间传递的数据量。此优化技术在 SQL 中被称为谓词下推(Predicate 阅读全文

摘要： Flink去重语句 您可以通过多种方式实现去重需求，例如FIRST_VALUE、LAST_VALUE和DISTINCT等。本文为您介绍如何使用TopN方法实现去重，以及使用过程中的注意事项。 去重的方案通常有两种： (1) 保留第一条。 (2) 保留最后一条。 说明 ORDER BY后的时间属性字段 阅读全文

摘要： 问题背景 设想你对用户在不同品类上的行为打分聚合后得到这样一个表 user_cate_score uid cate score 1 1 0.3 2 2 0.5 8 3 0.9 现在,你想将每个品类的TOP 100W 用户取出来,这种场景在推荐、营销中很常见。 基本方法 这个很容易通过窗函数写出如下解 阅读全文

摘要： 1、安装httpd服务 yum -y install httpd 2、修改需要访问的文件路径 vi /etc/httpd/conf/httpd.conf ##默认是/var/www/html目录下的文件。 DocumentRoot "/var/www/html" <Directory "/var/w 阅读全文

摘要： 国内常用python模块下载地址 清华大学：https://pypi.tuna.tsinghua.edu.cn/simple 中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/ 阿里云：http://mirrors.aliyun.com/pypi/simp 阅读全文