网易数帆

2018年5月10日

摘要：本文由网易云发布。作者：周思华本篇文章仅限内部分享，如需转载，请联系网易获取授权。本文尝试描述Beam模型和Stream & Table理论间的关系（前者描述于数据流模型论文、the-world-beyond-batch-streaming101和the-world-beyond-batc 阅读全文

posted @ 2018-05-10 16:40 网易数帆阅读(388) 评论(0) 推荐(0) 编辑

手把手教你搭建hadoop+hive测试环境(新手向)

摘要：本文由网易云发布。作者：唐雕龙本篇文章仅限内部分享，如需转载，请联系网易获取授权。面向新手的hadoop+hive学习环境搭建，加对我走过的坑总结，避免大家踩坑。对于hive相关docker，并没有官方的docker,第三方维护经过测试各种不靠谱，所以才想到自己搭建一套，然后后期在整理成阅读全文

posted @ 2018-05-10 16:33 网易数帆阅读(3003) 评论(0) 推荐(0) 编辑

2018年5月9日

使用 Apache Atlas 进行数据治理

摘要：本文由网易云发布。作者：网易/刘勋（本篇文章仅限知乎内部分享，如需转载，请取得作者同意授权。）面对海量且持续增加的各式各样的数据对象，你是否有信心知道哪些数据从哪里来以及它如何随时间而变化？采用Hadoop必须考虑数据管理的实际情况，元数据与数据治理成为企业级数据湖的重要部分。为寻求数据治阅读全文

posted @ 2018-05-09 18:35 网易数帆阅读(25037) 评论(0) 推荐(0) 编辑

类似gitlab代码提交的热力图怎么做？

摘要：本文由网易云发布。作者：张淞（本篇文章仅限知乎内部分享，如需转载，请取得作者同意授权。）昨夜，网易有数产品经理路过开发的显示屏前见到了类型这样的一张图：于是想到有数能不能做出这样的图来？作为有数的开发的我在一边思索了一下，开了一下脑洞，结合最近做的网易有数的新功能，觉得可以实现，于是就开始阅读全文

posted @ 2018-05-09 18:26 网易数帆阅读(2036) 评论(0) 推荐(0) 编辑

3分钟掌握一个有数小技能：回头客分析

摘要：本文由网易云发布。作者：汪谦（本篇文章仅限知乎内部分享，如需转载，请取得作者同意授权。）企业要想良好经营，必须能留得住客户，最好每个客户都能成为回头客。本篇将介绍如何利用网易有数最近推出的“跨视图粒度计算”来进行回头客分析。先放几张示例图。示例一：首次复购间隔月份分布情况，比如箭头所指阅读全文

posted @ 2018-05-09 18:02 网易数帆阅读(470) 评论(0) 推荐(0) 编辑

3分钟掌握一个有数小技能：制作动态标题

摘要：本文由网易云发布。作者：汪谦（本篇文章仅限知乎内部分享，如需转载，请取得作者同意授权。）在制作可视化报告时，会遇到如下需求：动态显示图表的标题。如下图所示，右侧图表标题的显示内容会根据左侧选中的数据项发生变化。当左侧未选中任何省份时，右侧显示全国的销售额，同时标题显示“全国各年销售额” 阅读全文

posted @ 2018-05-09 17:49 网易数帆阅读(609) 评论(0) 推荐(0) 编辑

[5.19 线下活动]Docker Meetup杭州站—拥抱Kubernetes，容器深度实践

摘要：对本次线下活动感兴趣的朋友，欢迎点击此处报名，领取免费票。今年3月，Docker刚刚过完5岁生日，五年期间，Docker也逐渐在技术和实践方面趋于成熟，更是在去年年底主动拥抱Kubernetes。 5月19日，网易云将联合Docker官方主办Docker Meetup，邀请业界Docker深度实践阅读全文

posted @ 2018-05-09 17:40 网易数帆阅读(415) 评论(0) 推荐(0) 编辑

自己动手写Impala UDF

摘要：本文由网易云发布。概述出于对可扩展性和性能的考虑，UDF已变成大数据生态圈查询引擎的必备功能之一，无论是Calcite、Hive、Impala都对其进行支持，但是UDF的支持有利也有弊，好处在于它提供了对某些用户独有需求的支持，例如某些产品需要将表中的某字段使用自定义的方式解析成可读字段，例阅读全文

posted @ 2018-05-09 16:23 网易数帆阅读(2185) 评论(0) 推荐(0) 编辑

Kudu:支持快速分析的新型Hadoop存储系统

摘要：本文由网易云发布。 Kudu是Cloudera开源的新型列式存储系统，是Apache Hadoop生态圈的新成员之一（incuba ng），专门为了对快速变化的数据进行快速的分析，填补了以往Hadoop存储层的空缺。本文主要对Kudu的动机、背景，以及架构进行简单介绍。背景——功能上的空白 H 阅读全文

posted @ 2018-05-09 16:16 网易数帆阅读(745) 评论(0) 推荐(1) 编辑

kudu 存储引擎简析

摘要：本文由网易云发布。 1 概述本文主要介绍kudu底层存储引擎的数据组织方式，先看整体结构如下：一张表会分成若干个tablet ，每个tablet 包括MetaData 元信息及若干个RowSet ， RowSet 包含一个MemRowSet 及若干个DiskRowSet ， DiskRow 阅读全文

posted @ 2018-05-09 16:05 网易数帆阅读(1128) 评论(0) 推荐(0) 编辑

公告