OpenAI 重组团队,将模型行为与后训练合并

来源 Cryptopolitan

人工智能公司 OpenAI 宣布计划重组其模型行为团队。据报道,该团队规模虽小,但影响力巨大,他们决定着该公司的 AI 模型与人类的互动方式。

OpenAI首席研究官Mak Chen在8月份发布的一份备忘录中提到,该团队由约14名研究人员组成,已被指示加入后训练团队。后训练团队是一个研究小组,负责在公司AI模型完成初始预训练后对其进行改进。作为重组的一部分,模型行为团队现在将向OpenAI后训练负责人Max Schwarzer汇报。

据报道,Model Behavior 团队的创始负责人 Joanne Jang 即将在 OpenAI 旗下启动一个新项目。在最近的一次采访中,Jang 提到她正在组建一个名为 OAI Labs 的新研究团队。她补充说,该团队将负责“发明和设计人类与人工智能协作的新界面原型”。

OpenAI 重组其模型行为团队

OpenAI最重要的研究团队之一,帮助公司塑造其 AI 模型的个性,并减少谄媚行为。谄媚行为是指 AI 模型简单地认同并强化用户的信念。这种情况是有害的,因为它会帮助用户确认那些不健康、有害的信念,而不是提供平衡的回应。

该团队还致力于解决模型响应中的政治偏见问题,帮助 OpenAI defi在 AI 意识方面的立场。陈在发给员工的备忘录中提到,现在是将 OpenAI 模型行为团队的工作与核心模型开发更紧密结合的绝佳时机。通过这种方式,该公司确认其 AI 的个性现在被视为技术发展的重要因素。

在过去的几个月里,OpenAI 因其 AI 模型的行为而面临审查和批评。用户强烈tron该公司对GPT-5,该公司表示,GPT-5 的谄媚率较低,但对部分用户而言似乎更冷淡。这一投诉促使 OpenAI 恢复了部分旧模型的访问权限,包括 GPT-4o。该公司还发布了新的更新,使 GPT-5 的新响应更加友好,同时又不会增加谄媚程度。

人工智能公司因奉承模型而面临批评

OpenAI 和其他 AI 模型开发者必须小心谨慎,确保他们的聊天机器人友好但不至于过于阿谀奉承。上个月,一名 16 岁男孩的父母将 OpenAI 告上法庭,指控 ChatGPT 在其儿子自杀事件中扮演了角色。根据法庭文件,这名少年名叫亚当·雷恩 (Adam Raine),在自杀前几个月向 ChatGPT(具体来说是 GPT-4o 驱动的版本)吐露了他的自杀计划和想法。诉讼称,该模型未能阻止他的自杀念头。

自 GPT-4 以来,模型行为团队一直参与 OpenAI 的每一个模型的开发,包括多个模型和 GPT-5。在组建该研究部门之前,Jang 曾参与过 OpenAI 早期图像生成工具 Dall-E 2 等项目。上周,她在 X 平台上宣布将离开团队,“在 OpenAI 开启新的篇章”。这位模型行为部门的前负责人已在 OpenAI 工作约四年。

据报道,张预计将担任OAI实验室总经理,该实验室目前将直接隶属于陈。但她补充说,目前还处于初期阶段,尚不清楚这些新界面的具体内容。“我非常期待探索一些模式,让我们能够超越聊天模式,这种模式目前更多地与陪伴联系在一起,甚至是强调自主性的代理模式,”张说道。

Jang 还补充说,她一直将人工智能系统视为实现各种功能的工具,包括连接、学习和思考。当被问及 OAI 实验室是否会与前苹果首席设计师 Jony Ive(他刚刚加入 OpenAI,负责一系列人工智能硬件设备)合作开发新型界面时,Jang 表示她对各种想法都持开放态度。不过,她也补充说,她可能会从研究开始,因为这是她更熟悉的领域。

如果您正在阅读本文,那么您已经领先一步了。请持续关注我们的新闻通讯。

免责声明:仅供参考。 过去的表现并不预示未来的结果。
placeholder
【今日市场前瞻】黄金价格大跌!特斯拉财报来袭黄金价格大跌,一度逼近4000美元关口;Netflix绩后跌超6%,特斯拉财报即将出炉;比特币冲高回落>>
作者  Alison Ho
9 小时前
黄金价格大跌,一度逼近4000美元关口;Netflix绩后跌超6%,特斯拉财报即将出炉;比特币冲高回落>>
placeholder
美9月CPI即将出炉!美元、黄金市场将迎巨震?若CPI数据低于预期,可能进一步刺激降息押注,进而拖累美元,利好黄金。
作者  Tony Chou
10 小时前
若CPI数据低于预期,可能进一步刺激降息押注,进而拖累美元,利好黄金。
placeholder
奈飞绩后跌超6%!盈利六个季度来首次不及预期,未来还能涨吗?财报公布后,奈飞(NFLX)股价大跌,截至发稿跌6.48%,报1160美元。
作者  Alison Ho
12 小时前
财报公布后,奈飞(NFLX)股价大跌,截至发稿跌6.48%,报1160美元。
placeholder
10月牛市季还没开始就已结束?比特币冲击11万失败,这一"缺口"很危险周三(10月22日)进入亚洲交易时段,比特币反弹乏力,徘徊在10.8万美元上方,宏观不确定性上升及 ETF 资金流降温压制了数字资产情绪。与此同时,黄金则在创纪录暴涨后出现剧烈回调。
作者  FX168
13 小时前
周三(10月22日)进入亚洲交易时段,比特币反弹乏力,徘徊在10.8万美元上方,宏观不确定性上升及 ETF 资金流降温压制了数字资产情绪。与此同时,黄金则在创纪录暴涨后出现剧烈回调。
placeholder
黄金价格暴跌逼近4000美元关口!已经见顶还是技术性回调?继昨日大跌超5%后,今日黄金价格继续重挫,一度跌至4004美元/盎司,创一个多星期低点。白银价格同步下跌。
作者  Alison Ho
17 小时前
继昨日大跌超5%后,今日黄金价格继续重挫,一度跌至4004美元/盎司,创一个多星期低点。白银价格同步下跌。
goTop
quote