OpenAI 重组团队,将模型行为与后训练合并

来源 Cryptopolitan

人工智能公司 OpenAI 宣布计划重组其模型行为团队。据报道,该团队规模虽小,但影响力巨大,他们决定着该公司的 AI 模型与人类的互动方式。

OpenAI首席研究官Mak Chen在8月份发布的一份备忘录中提到,该团队由约14名研究人员组成,已被指示加入后训练团队。后训练团队是一个研究小组,负责在公司AI模型完成初始预训练后对其进行改进。作为重组的一部分,模型行为团队现在将向OpenAI后训练负责人Max Schwarzer汇报。

据报道,Model Behavior 团队的创始负责人 Joanne Jang 即将在 OpenAI 旗下启动一个新项目。在最近的一次采访中,Jang 提到她正在组建一个名为 OAI Labs 的新研究团队。她补充说,该团队将负责“发明和设计人类与人工智能协作的新界面原型”。

OpenAI 重组其模型行为团队

OpenAI最重要的研究团队之一,帮助公司塑造其 AI 模型的个性,并减少谄媚行为。谄媚行为是指 AI 模型简单地认同并强化用户的信念。这种情况是有害的,因为它会帮助用户确认那些不健康、有害的信念,而不是提供平衡的回应。

该团队还致力于解决模型响应中的政治偏见问题,帮助 OpenAI defi在 AI 意识方面的立场。陈在发给员工的备忘录中提到,现在是将 OpenAI 模型行为团队的工作与核心模型开发更紧密结合的绝佳时机。通过这种方式,该公司确认其 AI 的个性现在被视为技术发展的重要因素。

在过去的几个月里,OpenAI 因其 AI 模型的行为而面临审查和批评。用户强烈tron该公司对GPT-5,该公司表示,GPT-5 的谄媚率较低,但对部分用户而言似乎更冷淡。这一投诉促使 OpenAI 恢复了部分旧模型的访问权限,包括 GPT-4o。该公司还发布了新的更新,使 GPT-5 的新响应更加友好,同时又不会增加谄媚程度。

人工智能公司因奉承模型而面临批评

OpenAI 和其他 AI 模型开发者必须小心谨慎,确保他们的聊天机器人友好但不至于过于阿谀奉承。上个月,一名 16 岁男孩的父母将 OpenAI 告上法庭,指控 ChatGPT 在其儿子自杀事件中扮演了角色。根据法庭文件,这名少年名叫亚当·雷恩 (Adam Raine),在自杀前几个月向 ChatGPT(具体来说是 GPT-4o 驱动的版本)吐露了他的自杀计划和想法。诉讼称,该模型未能阻止他的自杀念头。

自 GPT-4 以来,模型行为团队一直参与 OpenAI 的每一个模型的开发,包括多个模型和 GPT-5。在组建该研究部门之前,Jang 曾参与过 OpenAI 早期图像生成工具 Dall-E 2 等项目。上周,她在 X 平台上宣布将离开团队,“在 OpenAI 开启新的篇章”。这位模型行为部门的前负责人已在 OpenAI 工作约四年。

据报道,张预计将担任OAI实验室总经理,该实验室目前将直接隶属于陈。但她补充说,目前还处于初期阶段,尚不清楚这些新界面的具体内容。“我非常期待探索一些模式,让我们能够超越聊天模式,这种模式目前更多地与陪伴联系在一起,甚至是强调自主性的代理模式,”张说道。

Jang 还补充说,她一直将人工智能系统视为实现各种功能的工具,包括连接、学习和思考。当被问及 OAI 实验室是否会与前苹果首席设计师 Jony Ive(他刚刚加入 OpenAI,负责一系列人工智能硬件设备)合作开发新型界面时,Jang 表示她对各种想法都持开放态度。不过,她也补充说,她可能会从研究开始,因为这是她更熟悉的领域。

如果您正在阅读本文,那么您已经领先一步了。请持续关注我们的新闻通讯。

免责声明:仅供参考。 过去的表现并不预示未来的结果。
placeholder
黄金、白银走势分析:8月非农万众触目,美联储这点成金、银后市关键!周五(9月5日)将迎来美国8月非农数据公布,鲍威尔在8月底举行的杰克逊霍尔央行年会上就货币政策倾向实现“鹰”转“鸽”的转变,侧重点从控制通胀转为劳动力市场下行风险。市场几乎一致认为美联储9月降息25基点已是「板上钉钉」。不过,对于后续降息路径的预期,8月非农或能为投资者提供重要线索。若美国8月非农数据表现疲软,失业率进一步攀升,预计将为FED年内两次降息提供依据。
作者  Insights
9 月 04 日 周四
周五(9月5日)将迎来美国8月非农数据公布,鲍威尔在8月底举行的杰克逊霍尔央行年会上就货币政策倾向实现“鹰”转“鸽”的转变,侧重点从控制通胀转为劳动力市场下行风险。市场几乎一致认为美联储9月降息25基点已是「板上钉钉」。不过,对于后续降息路径的预期,8月非农或能为投资者提供重要线索。若美国8月非农数据表现疲软,失业率进一步攀升,预计将为FED年内两次降息提供依据。
placeholder
日本政治风波再起?9月8日表决在即,日元或迎巨震!日本政治风险使日元承压,但若石破茂不辞职且无领导层选举,可能逆转日元走势。
作者  Alison Ho
昨日 07: 01
日本政治风险使日元承压,但若石破茂不辞职且无领导层选举,可能逆转日元走势。
placeholder
博通绩后大涨8%,再创历史新高!AI芯片营收同比增63%,还有百亿美元新订单!巴克莱银行将博通目标价大幅上调至400美元,这意味着博通股价未来还有30%的上涨空间。
作者  Alison Ho
昨日 09: 05
巴克莱银行将博通目标价大幅上调至400美元,这意味着博通股价未来还有30%的上涨空间。
placeholder
非农重磅来袭!两大因素支撑黄金,后市节奏如何把握?若要美联储加码降息50基点或年内采取更激进的降息行动,市场或仍需要看到一份更差的就业报告。渣打银行认为,若要让降息50个基点的可能性被摆上台面,市场需要看到8月新增非农就业人数(NFP)低于4万人,且失业率升至4.4%或更高。 而高盛则预计美国8月非农将新增就业人口为6万人,低于市场普遍预期的7.5万人,但高于近三个月3.5万人的平均水平。失业率将小幅上升至4.3%。
作者  Insights
昨日 09: 25
若要美联储加码降息50基点或年内采取更激进的降息行动,市场或仍需要看到一份更差的就业报告。渣打银行认为,若要让降息50个基点的可能性被摆上台面,市场需要看到8月新增非农就业人数(NFP)低于4万人,且失业率升至4.4%或更高。 而高盛则预计美国8月非农将新增就业人口为6万人,低于市场普遍预期的7.5万人,但高于近三个月3.5万人的平均水平。失业率将小幅上升至4.3%。
placeholder
【今日市场前瞻】美8月非农数据来袭!博通绩后大涨9%美8月非农数据将出炉,黄金能否再创新高?财报超预期,博通盘前大涨9%;美元下挫,欧元、澳元反弹>>
作者  Alison Ho
昨日 10: 00
美8月非农数据将出炉,黄金能否再创新高?财报超预期,博通盘前大涨9%;美元下挫,欧元、澳元反弹>>
goTop
quote