2025年7月14日

数据团队运维值班任务简介
摘要： 数据团队运维值班主要有以下几类工作： 一、跑批任务运维 一般来说，大部分非实时数据系统的数据时效为T-1，每日上班前要能展示昨日的数据。一般会在夜间进行对昨日的数据进行批处理。若批处理程序出现错误，则需要人工进行介入处理。 错误一般分为两种，平台工具问题与批处理程序问题。 平台工具类问题，典型案列有 阅读全文
posted @ 2025-07-14 21:01 davawang 阅读(28) 评论(0) 推荐(0)

2025年7月11日

Windows下python环境安装与管理
摘要： Python功能强大，适合多种应用场景。安装合适的python环境是开发的第一步。下面是Windows环境下Python环境的安装与包管理的实战方法。 一、环境安装 a、在线环境 如果需要安装的环境可以连接互联网，那么可以直接下载安装包进行安装。 1、首先建议下载包管理器Anaconda，这样可以针 阅读全文
posted @ 2025-07-11 21:44 davawang 阅读(156) 评论(0) 推荐(0)

2025年6月24日

windows获取kerberos认证
摘要： 1、安装kerberos客户端 下载Kerberos for Windows 2、配置krb5.ini文件 在kerberos安装目录下（如：C:\ProgramData\MIT\Kerberos5）找到krb5.ini文件 将 KDC Server 的服务器上的 /etc/krb5.conf 配置 阅读全文
posted @ 2025-06-24 15:10 davawang 阅读(187) 评论(0) 推荐(0)

2018年9月29日

SQL动态长度行列转置
摘要： 一，案例问题描述： 某销售系统中，注册的用户会在随后的月份中购物下单，需要按月统计注册的用户中各个月下单的金额。源数据表如下： FM:：注册月份，CM： 下单月份， AMT：下单金额 期望得到如下统计结果： 在该案列中，随着时间变化，下单月份的值是不断变化的，因此在行列转置中，需要能够满足其动态变化 阅读全文
posted @ 2018-09-29 14:06 davawang 阅读(250) 评论(0) 推荐(0)

2018年9月20日

ODI Scenario 场景
摘要： ODI中，场景的作用类似发布版本，当映射最终修改版完成时，可以生成场景。无论是映射（Mapping）还是包（Package）都可以生成场景。 包调用映射和调用场景的区别： 1，包直接调用映射，当映射修改保存后，需要重新保存包，并且重新生成包场景，才能使用新的映射逻辑。该方案适用于映射改动很小的情况。 阅读全文
posted @ 2018-09-20 20:28 davawang 阅读(442) 评论(0) 推荐(0)

2017年12月3日

数据库权限管理
摘要： Netezza: 每个开发有独自的账户 SQL Server： 默认为DBO Oracle：包含三层关系：用户，角色，权限。目前项目中所有的开发人员使用同一个用户，不便于责任区分，且有数据泄露的风险（数据管控不够细致） 对比： 使用Netezza的环境时，项目属于数据仓库，根据不同的业务主题提供相应 阅读全文
posted @ 2017-12-03 11:44 davawang 阅读(179) 评论(0) 推荐(0)
Oracle KEEP 分析函数
摘要： Oracle中为了解决子集合中查询最值的问题,提出了KEEP()语法。 典型案列如：在每个部门中找出年龄最小的人中的最高工资。 基本语法结构: MAX(COL2) KEEP (DENSE_RANK FIRST/LAST ORDER BY COL1) PARTITION BY() http://blo 阅读全文
posted @ 2017-12-03 11:41 davawang 阅读(1605) 评论(0) 推荐(0)

2017年10月1日

Oracle数据仓库套件
摘要： OBIEE RPD：定义不同分析的主题角度，确定相应的事实表和维度表 报表层：选取需要的维度和度量，根据筛选器选取需要的数据 可视化：用图形展示数据，支持常见的图形：如折线图，饼图，堆叠图等。 ODI Mapping：映射，将数据流转过程可视化，适合逻辑直接清晰的数据流。 Procudure：存储过 阅读全文
posted @ 2017-10-01 17:48 davawang 阅读(247) 评论(0) 推荐(0)
复杂透视表的SQL生成方法
摘要： 一般而言，利用表单查看数据时，会从不同的维度来涉及透视表。比如，从产品和时间维度分析销售数据。 当需要从时间维度去分析时，同时希望能有同比，环比数据，那么将时间维度设计成列将极大方便SQL的编写。 如： 而如果将时间维度设计到行，则会使得相应的SQL语句复杂很多。 阅读全文
posted @ 2017-10-01 16:22 davawang 阅读(320) 评论(0) 推荐(0)

2017年9月16日

DW/BI领域的自动化调度方案
摘要： 1，利用专用自动化工具：如Tidal，Ctrl-M，Jenkins等。特点是功能强大，可以调用各种平台程序，脚本，可以设置依赖关系，调度时间，可以监控运行状态，发送邮件。 2，利用工具自身携带的调度功能：如ODI中的加载计划，SSIS中的SQL Server Agent，OBIEE中的报表推送代理。 阅读全文
posted @ 2017-09-16 19:14 davawang 阅读(446) 评论(0) 推荐(0)

导航