React專項實測:GPT-5.6 Sol第一,但最好成績僅43.1%

來源 Jinse_news
7月16日消息,專做 React 開發工具的 Million 團隊推出 ReactBench v1,測試 AI 編程 Agent 能否完成真實的 React 開發任務,並避免引入新的代碼問題。 React 是用於構建網站和 App 界面的主流 JavaScript 庫。Million 此前開發了 React Scan、React Doctor 和 Million.js 等開源工具。 ReactBench 從開源項目中篩出 51 項真實任務。除了檢查功能能否運行,它還用 400 多條規則排查程序錯誤、性能、無障礙和代碼質量問題。 GPT-5.6 Sol 以 43.1% 的綜合得分居首,Fable 5 爲 41.2%。官方稱兩者差距較小,暫時無法確認 Sol 明顯更強。同爲 XHigh 配置時,Fable 5 的單次測試成本約爲 Sol 的 6.3 倍。 即使是成績最高的配置,成功完成的任務也不到一半。在 4455 次新功能開發測試中,各模型共引入 1194 個 React 問題,其中 77.5% 是程序錯誤或安全問題。
免責聲明:僅供參考。 過去的表現並不預示未來的結果。
goTop
quote