摘要：
查看所有分区 show partitions 表名; 删除一般会有两种方案 1、直接删除hdfs文件 亲测删除hdfs路径后 查看分区还是能看到此分区 可能会引起其他问题 此方法不建议 2、 使用删除分区命令（推荐） alter table 表名 drop partition (date=20200 阅读全文
摘要：
如何快速的投入到Flink的学习当中，很多人在搭建环境过程中浪费了太多的时间。一套一劳永逸的本机Flink开发环境可以让我们快速的投入到Flink的学习中去，将精力用在Flink的原理，实战。这也对于工作和面试有着巨大帮助。 本文将利用Flink的官方练习环境，在本地Windows系统中快速的搭 阅读全文
摘要：
MapReduce Google File System提供了大数据存储的方案，这也为后来HDFS提供了理论依据，但是在大数据存储之上的大数据计算则不得不提到MapReduce。 虽然现在通过框架的不断发展，MapReduce已经渐渐的淡出人们的视野，越来越多的框架提供了简单的SQL语法来进行大数据 阅读全文
摘要：
info查询所有库的key数量 dbsize查询当前库的key数量 keys * 查询当前库的所有key，数量少的时候可以用，当key很多的时候很慢，be careful! 阅读全文
摘要：
Google File System 但凡是要开始讲大数据的，都绕不开最初的Google三驾马车：Google File System（GFS）， MapReduce，BigTable。 为这一切的基础的Google File System，不但没有任何倒台的迹象，还在不断的演化，事实上支撑着Goo 阅读全文
摘要：
SAVE 和 BGSAVE 两个命令都会调用 rdbSave 函数，但它们调用的方式各有不同： SAVE 直接调用 rdbSave ，阻塞 Redis 主进程，直到保存完成为止。在主进程阻塞期间，服务器不能处理客户端的任何请求。 BGSAVE 则 fork 出一个子进程，子进程负责调用 rdbSav 阅读全文
摘要：
阿里巴巴一直在面向未来探索B类新电商模式，并从2019年开始重点构建“新供给、新链接、新营销”三新体系。买家是三新体系的核心，缺少买家维度的数字化经营体系是不完整的。平台场景目标群体及场景间买家差异性尚不明确，客群矩阵就是为场景中控解决这一业务痛点、提高场货分发效能而专门设置的算法研究主题。同时，客 阅读全文
摘要：
近日Kafka2.6版本发布，距离2.5.0发布只过去了不到四个月的时间。 Kafka 2.6.0包含许多重要的新功能。以下是一些重要更改的摘要： 默认情况下，已为Java 11或更高版本启用TLSv1.3 性能显着提高，尤其是当代理具有大量分区时 扩展Kafka Streams的应用程序更便捷 K 阅读全文
摘要：
执行python报错 /usr/bin/python2.7 /root/demo.py File "/root/demo.py", line 2 SyntaxError: Non-ASCII character '\xe5' in file /root/demo.py on line 3, but 阅读全文
摘要：
Hive删除操作主要分为几大类：删除数据（保留表）、删除库表、删除分区。 一、仅删除表中数据，保留表结构 hive> truncate table 表名; truncate操作用于删除指定表中的所有行，相当于delete from table where 1=1.表达的是一个意思。 注意：trunc 阅读全文