数据团队运维值班任务简介

数据团队运维值班主要有以下几类工作：

 

一、跑批任务运维

一般来说，大部分非实时数据系统的数据时效为T-1，每日上班前要能展示昨日的数据。一般会在夜间进行对昨日的数据进行批处理。若批处理程序出现错误，则需要人工进行介入处理。

错误一般分为两种，平台工具问题与批处理程序问题。

 

平台工具类问题，典型案列有：

　　1、ETL工具ODI中存在中间组件取名重复问题，当多个组件同时运行时，会存在命名冲突

　　2、大数据平台中任务节点内存分配不够，采集并发度太高导致异常。

　　3、Mysql中审计日志空间不够

　　4、ETL工具服务器（如ODI、Kettle等）出错，导致批处理程序没有启动

 

批处理程序问题典型案例有：

　　1，Oracle中视图语法错误导致编译失败

　　2，数据格式错误，典型如数字列中存入了字符串

　　3，数据长度错误，由于某些序号列是自增长列，当使用到一定时间后，会超出原来设计的长度或者超出系统默认的最大长度

　　4，外部供应商数据供数延迟（如每日通过邮件发送数据）

 

二、数据问题核查

　　1，少量数据少了：此时往往是前一天数据同步错误

　　2，数据错了：数据系统中某些数据指标和源系统无法匹配，此时可能是指标的逻辑口径不一致造成，需要排查数据系统中的计算逻辑

　　3，大批量的数据缺失：此时往往是业务源系统做了批量数据迁移而没有通知下游数据系统

 

三、数据平台或工具类使用答疑

1、报表工具类

　　部分报表（如：网易BI、FineBI、OBIEE）支持业务自助分析，此时一些新手业务人员在自行设计报表或者报告时由于不熟悉其功能，会导致制作出来的报表数据明显异常或者无法制作其想要的报表。

 

四、权限类问题处理

最常见的就是看不到某个报表或者报表中看不到某些数据。权限问题一般比较复杂，可能会涉及到盘综复杂的历史原因。