字節討論訓超5萬億參數模型,爭取領先位置

來源 Jinse_news
金色財經報道,據瞭解,字節跳動正在討論訓練一個參數規模超 5 萬億的模型,它超過阿里的 Qwen 3.8-Max(2.4 萬億參數)和月之暗面的 K3(2.8 萬億參數),也是目前國內已知參數規模最大的模型。通常而言,模型規模越大,智能水平往往越高。不過該計劃仍處於早期階段,並不代表模型最終一定會發布。 新模型將由 Seed Foundation 負責人項亮主導,與大語言模型預訓練數據負責人沈科合作。爲此,Seed 正在重新梳理組織,劃分職責,分配資源。 多位字節人士告訴我們,上半年,Seed 許多團隊也在不斷反思。這是字節討論訓練超 5 萬億參數模型的原因之一,與其在現有尺寸上繼續追趕,不如把參數規模一次推到同行的數倍,爭取領先位置。“像一場賭博。” 一位接近 Seed 人士說。 字節自成立一直以來推崇 “大力出奇跡”:進入一個領域時,通常會成立不止一個團隊,投入大量資源,同時推進多個項目。(《晚點 LatePost》)
免責聲明:僅供參考。 過去的表現並不預示未來的結果。
goTop
quote