OpenAI非常由下而上,尤其是在研究领域。我刚来的时候,开始询问下个季度的路线图。我得到的答案是:“这东西不存在”(虽然现在有了)。好的想法可以来自任何地方,而且事先往往并不清楚哪些想法会最有成效。进展不是来自一个宏伟的“总体规划”,而是迭代式的,随着新研究成果的出现而逐步揭示。
得益于这种由下而上的文化,OpenAI也非常任人唯才。历史上,公司领导者的晋升主要基于他们提出好点子并执行它们的能力。许多能力极强的领导者并不擅长在全员大会上发言或进行政治操弄。在OpenAI,这些事情不像在其他公司那么重要。最好的想法确实往往会胜出。
这里有强烈的行动偏好(你可以直接动手做)。不同但相关的团队不约而同地想到类似的想法并不少见。我最初参与了一个与ChatGPT Connectors类似的并行(但内部)项目。在我们决定推动Codex发布之前,内部大概有3-4个不同的Codex原型在流传。这些努力通常是由少数几个人在没有请求许可的情况下开始的。当它们显示出潜力时,团队往往会迅速围绕它们形成。你应该把研究人员看作是他们自己的“迷你执行官”。这里有一种强烈的倾向,就是去研究自己的东西,看看结果如何。这也带来一个推论——大多数研究是通过“智力狙击”(nerd-sniping)一位研究员去解决特定问题来完成的。如果某件事被认为是无聊的或“已解决的”,它可能就不会有人去做。
OpenAI能在一瞬间改变方向。这也是我们在Segment非常重视的一点——当你获得新信息时,做正确的事远比仅仅因为有计划而坚持原路要好得多。像OpenAI这样规模的公司仍然保持这种精神是了不起的——Google显然没有。公司决策迅速,一旦决定追求某个方向,便会全力以赴。
代码胜出(Code wins)。决策通常是由计划执行工作的团队做出的,而不是由某个中央架构或规划委员会决定。结果是,这里有强烈的行动偏好,也常常导致代码库中出现一些重复的部分。我肯定见过半打用于队列管理或代理循环之类的库。
大型模型是如何训练的(宏观层面)。 这是一个从“实验”到“工程”的光谱。大多数想法始于小规模实验。如果结果看起来有希望,它们就会被纳入一次更大的运行中。实验既包括调整核心算法,也包括调整数据组合并仔细研究结果。在大规模端,进行一次大型运行几乎就像一个巨大的分布式系统工程。会出现奇怪的边缘案例和意想不到的事情。你需要去调试它们。
得益于这种由下而上的文化,OpenAI也非常任人唯才。历史上,公司领导者的晋升主要基于他们提出好点子并执行它们的能力。许多能力极强的领导者并不擅长在全员大会上发言或进行政治操弄。在OpenAI,这些事情不像在其他公司那么重要。最好的想法确实往往会胜出。
这里有强烈的行动偏好(你可以直接动手做)。不同但相关的团队不约而同地想到类似的想法并不少见。我最初参与了一个与ChatGPT Connectors类似的并行(但内部)项目。在我们决定推动Codex发布之前,内部大概有3-4个不同的Codex原型在流传。这些努力通常是由少数几个人在没有请求许可的情况下开始的。当它们显示出潜力时,团队往往会迅速围绕它们形成。你应该把研究人员看作是他们自己的“迷你执行官”。这里有一种强烈的倾向,就是去研究自己的东西,看看结果如何。这也带来一个推论——大多数研究是通过“智力狙击”(nerd-sniping)一位研究员去解决特定问题来完成的。如果某件事被认为是无聊的或“已解决的”,它可能就不会有人去做。
OpenAI能在一瞬间改变方向。这也是我们在Segment非常重视的一点——当你获得新信息时,做正确的事远比仅仅因为有计划而坚持原路要好得多。像OpenAI这样规模的公司仍然保持这种精神是了不起的——Google显然没有。公司决策迅速,一旦决定追求某个方向,便会全力以赴。
代码胜出(Code wins)。决策通常是由计划执行工作的团队做出的,而不是由某个中央架构或规划委员会决定。结果是,这里有强烈的行动偏好,也常常导致代码库中出现一些重复的部分。我肯定见过半打用于队列管理或代理循环之类的库。
大型模型是如何训练的(宏观层面)。 这是一个从“实验”到“工程”的光谱。大多数想法始于小规模实验。如果结果看起来有希望,它们就会被纳入一次更大的运行中。实验既包括调整核心算法,也包括调整数据组合并仔细研究结果。在大规模端,进行一次大型运行几乎就像一个巨大的分布式系统工程。会出现奇怪的边缘案例和意想不到的事情。你需要去调试它们。
浙公网安备 33010602011771号