大数据 - 随笔分类(第3页) - 望穿秋水

唯品会海量实时OLAP分析技术升级之路

摘要：本文转载自公众号 DBAplus社群，作者：谢麟炯谢麟炯，唯品会大数据平台高级技术架构经理，主要负责大数据自助多维分析平台，离线数据开发平台及分析引擎团队的开发和管理工作，加入唯品会以来还曾负责流量基础数据的采集和数据仓库建设以及移动流量分析等数据产品的工作。海量数据实时OLAP场景的困境阅读全文

posted @ 2018-06-29 10:53 望穿秋水阅读(362) 评论(0) 推荐(0)

大数据学习笔记

摘要：skynet任务监控与调度系统用户手册 https://wenku.baidu.com/view/18b636c6a5e9856a5712606f.html http://lxw1234.com/archives/2015/04/109.htm 浅谈分布式计算的开发与实现(一) 浅谈分布式计算的开发阅读全文

posted @ 2018-06-29 10:53 望穿秋水阅读(133) 评论(0) 推荐(0)

元数据

摘要：· Metadata：kylin中有大量的元数据信息，包括cube的定义，星状模型的定义、job的信息、job的输出信息、维度的directory信息等等，元数据和cube都存储在hbase中，存储的格式是json字符串，除此之外，还可以选择将元数据存储在本地文件系统。 https://www.cn 阅读全文

posted @ 2018-06-29 10:53 望穿秋水阅读(193) 评论(0) 推荐(0)

写给大数据开发初学者的话5[转]

摘要：至此，你的大数据平台底层架构已经成型了，其中包括了数据采集、数据存储与计算（离线和实时）、数据同步、任务调度与监控这几大模块。接下来是时候考虑如何更好的对外提供数据了。第九章：我的数据要对外通常对外（业务）提供数据访问，大体上包含以下方面：离线数据的提供可以采用Sqoop、DataX等离线数据阅读全文

posted @ 2018-06-29 10:53 望穿秋水阅读(262) 评论(0) 推荐(0)

大数据环境下互联网行业数据仓库/数据平台的架构之漫谈[转]

摘要：导读：整体架构数据采集数据存储与分析数据共享数据应用实时计算任务调度与监控元数据管理总结一直想整理一下这块内容，既然是漫谈，就想起什么说什么吧。我一直是在互联网行业，就以互联网行业来说。先大概列一下互联网行业数据仓库、数据平台的用途：上面列出的内容看上去和传统行业数据仓库用途阅读全文

posted @ 2018-06-29 10:52 望穿秋水阅读(339) 评论(0) 推荐(0)

一个母婴电子商务网站贝贝网的大数据平台及机器学习实践【转】

摘要：关键字：大数据平台、机器学习贝贝网的主要产品是垂直的母婴类，母婴相对一般的电子商务网站有一些特点：第一个特点是商品周期短，在母婴网站上的商品，在线的时间不会超过5-7天，第二个是用户需求的变化快，在母婴行业，可能是用户的需求变化最快的领域，比如是用户处在怀孕当中，关心的是孕妈的一些问题，几个月以后阅读全文

posted @ 2018-06-29 10:52 望穿秋水阅读(330) 评论(0) 推荐(0)

分布式大数据多维分析（OLAP）引擎Apache Kylin安装配置及使用示例【转】

摘要：Kylin 麒麟官网：http://kylin.apache.org/cn/download/ 关键字：olap、Kylin Apache Kylin是一个开源的分布式分析引擎，提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay 开发并贡献至开源社区。它阅读全文

posted @ 2018-06-29 10:52 望穿秋水阅读(350) 评论(0) 推荐(0)

官方教程：Apache Kylin和Superset集成，使用开源组件，完美打造OLAP系统

摘要：本文转自Apache Kylin公众号apachekylin. Superset 是一个数据探索和可视化平台，设计用来提供直观的，可视化的，交互式的分析体验。 Superset 提供了两种分析数据源的方式： 1. 用户可以以单表形式直接查询多种数据源，包括 Presto、Hive、Impala、Sp 阅读全文

posted @ 2018-06-29 10:52 望穿秋水阅读(1010) 评论(0) 推荐(0)

数据仓库之数据模型

摘要：关于数据仓库的概念，这里不再累赘。先看下面的图（数据仓库建设的7个主要环节）：本文，主要针对第三块数据仓库模型设计来讨论交流，尤其是互联网行业。一、关于数据仓库数据模型 1. 数据仓库数据模型是指使用实体、属性及其关系对企业运营和逻辑规则进行统一的定义、编码和命名；是业务人员和开发人员之间沟通的阅读全文

posted @ 2018-06-29 10:52 望穿秋水阅读(401) 评论(0) 推荐(0)

把leveldb嵌入到redis.实现真正的数据持久存储

摘要：目前最新版RedisStorage 是基于 redis 2.6.2基础上,加上 leveldb存储引擎。这个项目是源于公司项目的passport 用户认证改造。公司一个项目运行了N年。积累了几千万用户,并且每天不断的高速增长中。原有的mysql分表模式已经不适合。所以寻找nosql的解决方案。经阅读全文

posted @ 2018-06-29 10:51 望穿秋水阅读(2027) 评论(0) 推荐(0)

超强、超详细Redis入门教程【转】

摘要：这篇文章主要介绍了超强、超详细Redis入门教程,本文详细介绍了Redis数据库各个方面的知识,需要的朋友可以参考下【本教程目录】 1.redis是什么2.redis的作者何许人也3.谁在使用redis4.学会安装redis5.学会启动redis6.使用redis客户端7.redis数据结构 – 阅读全文

posted @ 2018-06-29 10:51 望穿秋水阅读(183562) 评论(2) 推荐(12)

随笔分类 - 大数据