人工智能公司 OpenAI 宣布计划重组其模型行为团队。据报道,该团队规模虽小,但影响力巨大,他们决定着该公司的 AI 模型与人类的互动方式。
OpenAI首席研究官Mak Chen在8月份发布的一份备忘录中提到,该团队由约14名研究人员组成,已被指示加入后训练团队。后训练团队是一个研究小组,负责在公司AI模型完成初始预训练后对其进行改进。作为重组的一部分,模型行为团队现在将向OpenAI后训练负责人Max Schwarzer汇报。
据报道,Model Behavior 团队的创始负责人 Joanne Jang 即将在 OpenAI 旗下启动一个新项目。在最近的一次采访中,Jang 提到她正在组建一个名为 OAI Labs 的新研究团队。她补充说,该团队将负责“发明和设计人类与人工智能协作的新界面原型”。
OpenAI最重要的研究团队之一,帮助公司塑造其 AI 模型的个性,并减少谄媚行为。谄媚行为是指 AI 模型简单地认同并强化用户的信念。这种情况是有害的,因为它会帮助用户确认那些不健康、有害的信念,而不是提供平衡的回应。
该团队还致力于解决模型响应中的政治偏见问题,帮助 OpenAI defi在 AI 意识方面的立场。陈在发给员工的备忘录中提到,现在是将 OpenAI 模型行为团队的工作与核心模型开发更紧密结合的绝佳时机。通过这种方式,该公司确认其 AI 的个性现在被视为技术发展的重要因素。
在过去的几个月里,OpenAI 因其 AI 模型的行为而面临审查和批评。用户强烈tron该公司对GPT-5,该公司表示,GPT-5 的谄媚率较低,但对部分用户而言似乎更冷淡。这一投诉促使 OpenAI 恢复了部分旧模型的访问权限,包括 GPT-4o。该公司还发布了新的更新,使 GPT-5 的新响应更加友好,同时又不会增加谄媚程度。
OpenAI 和其他 AI 模型开发者必须小心谨慎,确保他们的聊天机器人友好但不至于过于阿谀奉承。上个月,一名 16 岁男孩的父母将 OpenAI 告上法庭,指控 ChatGPT 在其儿子自杀事件中扮演了角色。根据法庭文件,这名少年名叫亚当·雷恩 (Adam Raine),在自杀前几个月向 ChatGPT(具体来说是 GPT-4o 驱动的版本)吐露了他的自杀计划和想法。诉讼称,该模型未能阻止他的自杀念头。
自 GPT-4 以来,模型行为团队一直参与 OpenAI 的每一个模型的开发,包括多个模型和 GPT-5。在组建该研究部门之前,Jang 曾参与过 OpenAI 早期图像生成工具 Dall-E 2 等项目。上周,她在 X 平台上宣布将离开团队,“在 OpenAI 开启新的篇章”。这位模型行为部门的前负责人已在 OpenAI 工作约四年。
🧪 我正在创办 OAI 实验室:一个以研究为导向的团队,致力于发明和设计人类与人工智能协作的新界面。
— Joanne Jang (@joannejang) 2025年9月5日
我非常兴奋地探索那些超越聊天甚至代理的模式,迈向思考、创造、……的新范式和工具。
据报道,张预计将担任OAI实验室总经理,该实验室目前将直接隶属于陈。但她补充说,目前还处于初期阶段,尚不清楚这些新界面的具体内容。“我非常期待探索一些模式,让我们能够超越聊天模式,这种模式目前更多地与陪伴联系在一起,甚至是强调自主性的代理模式,”张说道。
Jang 还补充说,她一直将人工智能系统视为实现各种功能的工具,包括连接、学习和思考。当被问及 OAI 实验室是否会与前苹果首席设计师 Jony Ive(他刚刚加入 OpenAI,负责一系列人工智能硬件设备)合作开发新型界面时,Jang 表示她对各种想法都持开放态度。不过,她也补充说,她可能会从研究开始,因为这是她更熟悉的领域。
如果您正在阅读本文,那么您已经领先一步了。请持续关注我们的新闻通讯。