DW - 随笔分类 - yuerspring

摘要：一、引言近年来，随着分布式数据处理技术的不断革新，Hive、Spark、Kylin、Impala、Presto 等工具不断推陈出新，对大数据集合的计算和存储成为现实，数据仓库/商业分析部门日益成为各类企业和机构的标配。在这种背景下，是否能探索和挖掘数据价值，具备精细化... 阅读全文

posted @ 2018-08-07 13:32 yuerspring 阅读(245) 评论(0) 推荐(0)

摘要：在db2 和 oracle 中，当我们想知道两张结构相同的table 中，数据差异时候可以采用如下sql ：select * from table1 except select * from table2上面语句求出来的就是数据在table1 而不再table2... 阅读全文

posted @ 2017-11-07 13:17 yuerspring 阅读(1314) 评论(0) 推荐(0)

摘要：create table d_time_date asSELECT to_number(TO_CHAR(TRUNC(sd + rn), 'YYYYMMDD')) day_id, TRUNC(sd + rn) day_date, to_char(... 阅读全文

posted @ 2017-10-19 08:59 yuerspring 阅读(329) 评论(0) 推荐(0)

摘要：Unknown: DSCGetStrStageProp value (???) of property (PASSWORD) contains unmappable characters (ISO8859-1)when try to run some jobs we ... 阅读全文

posted @ 2017-08-08 15:35 yuerspring 阅读(284) 评论(0) 推荐(0)

摘要：嚯，八月看到同事桌面上摆着一本数据仓库工具箱第三版，本博文简单讨论下数据仓库建模一般流程和建模方法（主要是结合实际经验和网络资料整合）先描述下现在项目在模型上的应用：当前业务没有某宝某东某宁等互联网公司那么复杂，不过好歹有一点借鉴意义。现在做的是一个决策支持系统，主要... 阅读全文

posted @ 2017-08-02 22:12 yuerspring 阅读(149) 评论(0) 推荐(0)

摘要：create table temp111(id int,idname varchar(12));create table temp222(id int,idname varchar(12));insert into temp222 values(1,'2000');s... 阅读全文

posted @ 2017-05-15 14:43 yuerspring 阅读(88) 评论(0) 推荐(0)

摘要：http://www.kuitao8.com/20140730/2884.shtml在做Cognos report 修改过程中遇到的几个jQuery 问题Business Intelligence & bigdata 作为商业发展的重要引擎在企业决策中起到了重要的作用... 阅读全文

posted @ 2017-04-18 23:39 yuerspring 阅读(135) 评论(0) 推荐(0)

SQL transformation

摘要：SQL transformationhow can we convert single row to multiple row (example)SAP_SALES_ORD_NUM COVERAGE_TERM1122 3 I need result as SAP_S... 阅读全文

posted @ 2017-03-20 13:27 yuerspring 阅读(158) 评论(0) 推荐(0)

摘要：Hive的一般学习者和培训者在谈性能优化的时候一般都会从语法和参数这些雕虫小技的角度谈优化,而不会革命性的优化Hive的性能,产生这种现象的原因有:1,历史原因和思维定势:大家学习SQL的时候一般都是就单机DB,这个时候你的性能优化技巧确实主要是SQL语法和参数调优;... 阅读全文

posted @ 2017-03-07 21:34 yuerspring 阅读(145) 评论(0) 推荐(0)

数据建模

摘要：周三保(zhousb@cn.ibm.com) IBM 软件部信息技术专家.简介：本文的主要内容不是介绍现有的比较流行的主要行业的一些数据模型，而是将笔者在数据仓库建设项目中的一些经验，在这里分享给大家。希望帮助大家在数据仓库项目建设中总结出一套能够合乎目前业界规范的... 阅读全文

posted @ 2016-11-11 13:20 yuerspring 阅读(431) 评论(0) 推荐(0)

摘要：请移步原文 http://blog.csdn.net/nisjlvhudy/article/details/7889422一、概述在多维分析的商业智能解决方案中，根据事实表和维度表的关系，又可将常见的模型分为星型模型和雪花型模型。在设计逻辑型数据的模型的时候，就应考虑... 阅读全文

posted @ 2016-11-10 17:47 yuerspring 阅读(294) 评论(0) 推荐(0)

数据仓库的模型设计

摘要：原文地址http://blog.itpub.net/23659908/viewspace-1118762/ Thank you .数据仓库的模型设计A. 数据建模方法论数据仓库模型设计遵循“自顶向下、逐步求精”的设计原则。模型设计分为三个阶段：1，概念模型对业务的范围... 阅读全文

posted @ 2016-11-10 17:05 yuerspring 阅读(290) 评论(0) 推荐(0)

大数据面试题

摘要：1.列举spark 比hadoop 快的原因，以及现在存在的主要问题2.描述下使用spark streaming 和 GraphX实现实时计算的可行性，以及可能会遇到的问题3.GraphX的Pregel API 只支持有向图遍历，如何实现无xiang 遍历，描... 阅读全文

posted @ 2016-10-15 13:37 yuerspring 阅读(136) 评论(0) 推荐(0)

摘要：星型模型和雪花模型的应用场景从现在项目中看大部分 Fact 和 Dimnsn 的关联关系都是星型的，有很少量的是采用了雪花型的。至于什么模式适用什么场景很难有一个可靠的规则去决定，主要裁决与模型的运行效率和 BA 的经验，以及现行的趋势 ... 阅读全文

posted @ 2016-10-11 11:38 yuerspring 阅读(1077) 评论(0) 推荐(0)

yuerspring