2025年10月27日

常用数据管理工具与平台汇总
摘要： 作为数据架构师/工程师，查看、修改各类系统中的数据（尤其是结构化数据）是日常高频操作。以下是根据工作中使用过的工具及平台进行的汇总。 一、客户端 客户端工具需要在本机进行安装，访问远程或本地的数据库。在Windows环境中，常用的有以下类型： 通用型： 通用性客户端工具可适配市场多种主流数据库，可集 阅读全文
posted @ 2025-10-27 15:15 davawang 阅读(20) 评论(0) 推荐(0)

2025年10月21日

OneID系统建设实践总结
摘要： OneID是指将分布在不同系统中的同一个实体用同一个ID进行标识，这是在数据治理领域经常出现的一个概念。由于企业中存在大量的数据孤岛（业务源系统各自为战），因此作为下游数据仓库的架构及开发人员，迫切的需要将不同系统中同一个实体信息进行拉通，这样在后续的报表、驾驶舱等应用中，指标的口径才能准确有效。O 阅读全文
posted @ 2025-10-21 16:42 davawang 阅读(11) 评论(0) 推荐(0)

2025年10月14日

网易有数BI使用总结
摘要： 网易有数BI是一款自助分析BI工具，具有可视化效果好、操作便捷、不限license、价格相对便宜等优点。 1、技术架构图 前端绘图层：主要负责图表的渲染和可视化的拖拽操作，采用网易自研的NEV绘图引擎，支持丰富的图表库。后端业务层：业务中间层，主要负责用户权限管理、图表配置管理、资源管理、定时调度等 阅读全文
posted @ 2025-10-14 16:13 davawang 阅读(19) 评论(0) 推荐(0)

2025年9月23日

网易NDH大数据平台使用经验
摘要： 网易NDH大数据平台是基于Hadoop、HDFS、Hive、Yarn、Spark、Impala、kerberos等开源组件进行二次开发的大数据套件，具有数据集成、开发运维、规范建模、数据治理、数据服务等功能的一站式数据开发治理平台。 其主要技术架构图如下： 主要功能包括以下： 以下是根据实际使用该平 阅读全文
posted @ 2025-09-23 16:29 davawang 阅读(21) 评论(0) 推荐(0)

2025年9月4日

版本管理总结
摘要： 作为数据从业者，在日常工作中，无论是ETL开发，还是数仓SQL开发，或者工作进展汇报，都可能会涉及到版本管理。这些场景都有什么特点？是否具有共同点呢？以下是一个简单的总结。 1、通用版本管理工具 这类工具可将各类脚本（如SQL、存储过程、python、shell等）进行版本管理。通常要有这些功能：记 阅读全文
posted @ 2025-09-04 16:43 davawang 阅读(13) 评论(0) 推荐(0)

2025年8月16日

程序自动化vs人工手动处理
摘要： 一、背景 在数据系统的运维运营中，经常遇到一些人工定期重复处理的场景，比如以下这些场景： 1、利用Excel中公式/函数，将各类表格型数据进行加工处理，基于生成的图表制作成PPT进行月度汇报； 2、每天人工检核数据系统的离线跑批是否正常并发送值班提醒； 3、提醒业务定期进行操作，如每个月手工上传各类 阅读全文
posted @ 2025-08-16 09:09 davawang 阅读(429) 评论(2) 推荐(1)

2025年8月11日

SQL开发总结
摘要： 0、SQL基本用法 SQL是一个非常容易上手的语言，它类似自然语言，用直观的逻辑去查询数据。最简单的SQL就是select * from table where *** order by ***，非常符合直觉。 稍微复杂一点，就是两张表去进行关联，此时只要确定两张表关联的字段就可以了。一般是拿一张事 阅读全文
posted @ 2025-08-11 16:52 davawang 阅读(19) 评论(0) 推荐(0)

2025年8月9日

数据平台使用经验
摘要： 工作十余年以来，在多个行业，不同背景的公司中从事数据开发、架构、运维等相关的岗位，深度使用或者测试过各种类型的数据平台（包括传统关系型数据库、大数据平台、图数据库、嵌入式数据库、时序数据库等）。以下是按照使用时间整理的各数据平台使用经验。 1、SQL Server 微软的产品，可应对数据规模在千万级 阅读全文
posted @ 2025-08-09 22:37 davawang 阅读(49) 评论(0) 推荐(0)

2025年7月14日

数据团队运维值班任务简介
摘要： 数据团队运维值班主要有以下几类工作： 一、跑批任务运维 一般来说，大部分非实时数据系统的数据时效为T-1，每日上班前要能展示昨日的数据。一般会在夜间进行对昨日的数据进行批处理。若批处理程序出现错误，则需要人工进行介入处理。 错误一般分为两种，平台工具问题与批处理程序问题。 平台工具类问题，典型案列有 阅读全文
posted @ 2025-07-14 21:01 davawang 阅读(28) 评论(0) 推荐(0)

2025年7月11日

Windows下python环境安装与管理
摘要： Python功能强大，适合多种应用场景。安装合适的python环境是开发的第一步。下面是Windows环境下Python环境的安装与包管理的实战方法。 一、环境安装 a、在线环境 如果需要安装的环境可以连接互联网，那么可以直接下载安装包进行安装。 1、首先建议下载包管理器Anaconda，这样可以针 阅读全文
posted @ 2025-07-11 21:44 davawang 阅读(115) 评论(0) 推荐(0)
下一页

导航