数据通才-新一代的全能型数据专业人士-

数据通才：新一代的全能型数据专业人士？

原文：towardsdatascience.com/the-generalist-the-new-all-around-type-of-data-professional/

2000 年代初（或更精确地说是 2010 年代）的大数据热潮带来了数据角色专业化的出现。过去仅被描述为“商业智能工程师”的角色现在进一步细分为商业智能工程师/分析师、数据工程师/分析师、数据科学家等。原因是什么？数据的丰富性和随之而来的多学科责任，这些都无法用一个通用的职位描述来驾驭。因此，由于日常任务的多样性，有必要将其分解成更小的部分。然而，到了 2025 年末，我们是否正在回归到更通用的数据角色？

数据通才的崛起

让我们从一开始说起。我所说的数据通才是什么意思？如果你在谷歌上搜索“通才定义”，它会给你以下定义：

“在多个不同领域或活动中都具备能力的人”

将上述定义应用于数据领域。我在数据领域的经验越多，我看到对数据通才的需求增加的程度就越大。

现在，数据工程师不仅需要知道如何实施数据管道，以便将数据从 A 点传输到 B 点。你期望他们知道如何启动云资源，实施 CI/CD 管道和最佳实践，以及开发 AI/ML 模型。这意味着云、DevOps 和机器学习工程现在都是现代数据工程师技术栈的一部分。

同样，数据科学家不仅仅是在笔记本中开发模型，这些模型永远不会在生产环境中落地。他们必须知道如何在生产环境中工作，并通过可能使用容器或 API 来提供服务 AI/ML 模型。这又是数据科学、机器学习工程和云的又一次重叠。

那么，你看到了这里的发展趋势吗？这些角色现在为什么会混合在一起并相互重叠？为什么数据角色的要求现在更高，所需的技术栈包括多个学科？这真的是数据通才崛起的时代吗？

我认为数据通才现在之所以繁荣，主要有三个原因：

1. 云服务的兴起

2. 初创公司爆炸式增长

3. 人工智能工具的演变

让我们来评估一下。

云服务兴起

图片由 Growtika 在 Unsplash 提供

自 2010 年以来，云服务已经取得了长足的进步，将所有东西都集中到了一个平台上。AWS、Google 和 Azure 使得专业人士现在更容易、更便捷地访问可以用于部署应用程序的资源和服务。这意味着一些过度指定的角色，这些角色原本负责这些功能，现在已经被转移到云服务提供商，而数据专业人士则专注于数据方面的事情。

例如，如果你使用平台即服务（PaaS）数据仓库，你不需要担心它运行的虚拟机、操作系统、更新等。数据工程师可以立即接管数据库管理员或系统工程师的任务，而不会对他们的日常任务造成太大负担。这意味着不需要 2-3 个人来维护数据仓库，一个人就足够了。这也意味着数据工程师除了通常的数据工程任务外，还需要了解基础设施和数据库管理。

随着行业的发展，越来越多的软件即服务（SaaS）产品被开发出来（如 Databricks、Snowflake 和 Fabric），我认为这一趋势将成为新的常态。这些产品现在使得数据专业人士能够从单一平台处理整个端到端数据管道变得容易。当然，这也伴随着一定的代价。

初创公司爆炸式增长

图片由 Daria Nepriakhina 🇺🇦 在 Unsplash 提供

初创公司正日益成为每个国家的关键和经济效益驱动力。据报告，全球有超过 1.5 亿家初创公司，每年约有 5000 万家新业务启动。其中，全球有超过 1200 家独角兽初创公司。基于这些数据，没有人可以否认我们正生活在一个初创公司主导的时代。

假设你有一个想法，想要将其转化为初创公司，你希望围绕自己的人是什么样的？你是想要那些在数据方面有特定专长的人，还是那些拥有更广泛知识并能在整个端到端数据管道中导航的个人？我认为后者更合适。

深度专业知识对于跨国公司来说很好，因为你可以每天专注于非常具体的事情，但作为一个数据通才则是进入初创公司的通行证。至少，这是我从我的经验中注意到的。

人工智能工具

图片由Igor Omilaev在Unsplash提供

2022 年 11 月 - 对于科技界来说，这是一个载入史册的月份，一切都在改变。ChatGPT 的发布。ChatGPT 带来了 AI 世界的革命。从那天起，科技行业的每一天都不同。对行业的影响？巨大。每天都有新的 AI 工具发布，每个都有其自身的优势和劣势。

那些为了写一段代码或获取一些知识而不得不去 Stack Overflow 上查找是否有人在过去遇到过类似问题并已解决的日子已经一去不复返了。这就是过去开始开发解决方案的方式。现在，每个数据专业人士整天都和 AI 伙伴一起写代码。AI 可以回答问题，让你更有效率地工作，也可以让你在从未做过的事情上相对容易地取得领先。当然，它仍然会犯错误，但如果你正确地提示它并提出正确的问题，你将得到它提供的惊人帮助。

这与数据通才有什么关系？如今，如果你知道 ChatGPT、Gemini、Copilot（或任何其他存在的 AI）的正确问题，你可以非常快速地完成事情。所以，如果一个数据工程师想要快速了解如何开发线性回归模型，AI 可以提供帮助。如果一个数据科学家需要帮助创建云资源，AI 也可以提供帮助。

这就是这个行业的发展方向以及事物的发展趋势。这也是我认为如果你现在是优秀的数据通才，并且知道如何提出正确的问题，你可以实现任何目标的原因。专业知识将在之后随着任务的重复和你在路上遇到的错误而逐渐积累。

结论

我们生活在一个数据景观以惊人的速度发展的时代。每一天都带来新的挑战和新的学习工具。然而，我相信，关注大局并作为数据通才发展，将是长期成功的关键。

通过掌握基础并理解整个数据管道的架构，你将自己定位为一个未来需求量很高的角色。在许多方面，行业似乎正在回归到重视多才多艺的数据通才而非狭窄的专业角色。

当然，这只是我的观点——但我很乐意听听你们的看法。