摘要: 前言: 最近小编帮助隔壁团队一个小姐姐解决了个大难题:给老板汇报业绩分析,频次提高、效率提升,还得保证团队中的小伙伴们都得有点大数据时代的基本数据能力。小编觉得这么好的经验可以分享给更多志同道合的朋友们,所以决定加班加点,推出Quick BI的功能、场景及技巧分享系列,为大数据时代舔砖加瓦! Qui 阅读全文
posted @ 2018-12-27 15:16 zhaowei121 阅读(1028) 评论(0) 推荐(0)
摘要: 一、摘要 随着互联网的高速发展,数据量爆发式增长的同时,数据的存储形式也开始呈现出多样性,有结构化存储,如 Mysql, Oracle, SQLServer 等,半结构化甚至非结构化存储,如HBase,OSS 等。那么从事数据分析的人员就面临着从多种多样的数据存储形式中提取数据而后进行多维分析,这将 阅读全文
posted @ 2018-12-27 15:03 zhaowei121 阅读(576) 评论(0) 推荐(0)
摘要: DatwWorks终于升级2.0了,心情万分激动之余,又有一丝担忧。因为,没法再创建新的旧版工作流了。。。新版抛弃了“工作流”这个概念,引入了“业务流程”和“解决方案”两个新的概念。于是,作为团队Leader,我花了很大的精力去钻研这两个概念到底该如何应用在我的实际业务中。 1.目的 能尽快应用Da 阅读全文
posted @ 2018-12-27 14:58 zhaowei121 阅读(260) 评论(0) 推荐(0)
摘要: 小文件背景知识 小文件定义 分布式文件系统按块Block存放,文件大小比块大小小的文件(默认块大小为64M),叫做小文件。 如何判断存在小文件数量多的问题 查看文件数量 判断小文件数量多的标准 1、非分区表,表文件数达到1000个,文件平均大小小于64M2、分区表: a) 单个分区文件数达到1000 阅读全文
posted @ 2018-12-27 14:56 zhaowei121 阅读(305) 评论(0) 推荐(0)
摘要: MaxCompute/DataWorks权限问题排查建议 __前提:__MaxCompute与DataWorks为两个产品,在权限体系上既有交集又要一定的差别。在权限问题之前需了解两个产品独特的权限体系。 MaxCompute:计算引擎 MaxCompute底层计算引擎有自己的安全权限体系,包括AC 阅读全文
posted @ 2018-12-27 14:52 zhaowei121 阅读(216) 评论(0) 推荐(0)