大数据流动

摘要： Superset的图表是非常炫酷的，但是原来的版本只能在web端查看，而最新的0.37版本，可以将图表截图直接发送成邮件，非常的方便。 本文将详细介绍Superset 0.37 定时邮件功能。安装过程遇到的任何问题请关注 “实时流式计算” 随时与我联系。所有的离线安装包已经整理好，请后台回复 “su 阅读全文

摘要： 刚刚美国商务部忽然发布了这则新闻，为了回应特朗普2020年8月6号的行政令，称这些应用程序存在安全威胁。 禁令中称，自2020年9月20日起，美国政府将： 1 禁止通过美国在线移动应用程序商店分发或维护 微信或TikTok移动应用程序，组成代码或应用程序更新的任何服务； 2 禁止通过微信提供的在美国 阅读全文

摘要： 上文提到了Superset 0.37的在线安装方式，只需要更新pip，然后pip install就可以了。但是在生产环境中，特别是内网环境中，很多时候是没有外网的，这时候就需要采取离线安装的方式。 本文将详细介绍在Linux系统中离线安装Superset的全过程，并整理了安装过程中遇到的错误。 下载 阅读全文

摘要： Windows系统安装Superset 0.37 Superset 是一款由 Airbnb 开源的“现代化的企业级 BI（商业智能） Web 应用程序”，其通过创建和分享 dashboard，为数据分析提供了轻量级的数据查询和可视化方案。 windows系统下安装superset大同小异，本文通过W 阅读全文

摘要： Superset 0.37，增加可视化插件，行级权限控制 使用Superset已经有一段时间，其良好的体验与丰富的图表功能节省了大量的时间。但是对于权限，自定义图表，图表下载，报警邮件一直没有很好的支持，大部分公司对于这些功能的实现还是需要大量的二次开发，费时费力。 近日Superset 0.37 阅读全文

摘要： 查看所有分区 show partitions 表名; 删除一般会有两种方案 1、直接删除hdfs文件 亲测删除hdfs路径后 查看分区还是能看到此分区 可能会引起其他问题 此方法不建议 2、 使用删除分区命令（推荐） alter table 表名 drop partition (date=20200 阅读全文

摘要： 如何快速的投入到Flink的学习当中，很多人在搭建环境过程中浪费了太多的时间。一套一劳永逸的本机Flink开发环境可以让我们快速的投入到Flink的学习中去，将精力用在Flink的原理，实战。这也对于工作和面试有着巨大帮助。 ​ 本文将利用Flink的官方练习环境，在本地Windows系统中快速的搭 阅读全文

摘要： MapReduce Google File System提供了大数据存储的方案，这也为后来HDFS提供了理论依据，但是在大数据存储之上的大数据计算则不得不提到MapReduce。 虽然现在通过框架的不断发展，MapReduce已经渐渐的淡出人们的视野，越来越多的框架提供了简单的SQL语法来进行大数据 阅读全文

摘要： info查询所有库的key数量 dbsize查询当前库的key数量 keys * 查询当前库的所有key，数量少的时候可以用，当key很多的时候很慢，be careful! 阅读全文

摘要： Google File System 但凡是要开始讲大数据的，都绕不开最初的Google三驾马车：Google File System（GFS）， MapReduce，BigTable。 为这一切的基础的Google File System，不但没有任何倒台的迹象，还在不断的演化，事实上支撑着Goo 阅读全文