把OpenAI「斷掉的大腿」給接上

11月30日，經CFIUS（美國外國投資委員會）審查後，美國政府以「國家安全」為由迫使沙烏地阿拉伯基金出售其在Rain.ai的股份。

這家沙烏地阿美創投公司Prosperity7 Ventures曾經領投Rain.ai最大一筆2,500萬美元的A輪融資。根據PitchBook數據，Prosperity7將股份出售給了矽谷風投Grep VC。兩家機構都對媒體報道不予置評。

OpenAI共同創辦人Sam Altman和百度創投也是該公司的投資者。

根據睿獸分析，Rain.ai成立於2017年，是一家AI晶片公司。最新一輪融資發生在2023年8月，由Toy Ventures投資210萬美元。目前，Rain.ai共籌集資金3,210萬美元，估值約9,000萬美元。

投資人包括OpenAI的硬體專家Scott Gray、剛出演宮斗大戲的Sam Altman、熱衷投資AI新創公司的Daniel Gross、Tinder創辦人Justin Mateen、Web2Asia創辦人George Godula、Y Combinator、Soma Capital、Buckley Ventures、FundersClub 、Liquid 2 Ventures、Pegasus Tech Ventures、Loup Ventures等個人和機構。

Rain.ai核心產品為基於Neuromorphic（神經擬態）的「類腦」AI晶片。公司稱，NPU將為AI開發者提供潛在的100倍運算能力，訓練方面提供10,000倍的能效，其AI加速器在速度、功耗、面積、精度和成本之間實現了創紀錄的平衡。目前，Rain.ai團隊約40人，包含晶片架構與設計、深度學習演算法、半導體、編譯器等的專家。

創辦人Gordon Wilson在領英中介紹Rain.ai是建構人工大腦和軟硬體整合平台，大幅降低人工智慧成本，他們在新型硬體基板和人工智慧訓練演算法等方面展開研究，縮小人工智慧和生物智能之間的成本差距。“我們構建的硬體出色的原因之一是與同類AI硬件相比，我們大大降低了功耗。”

1950年代，已有美國工程師做出第一個用於解決實際問題的ANN（人工神經網路）。他們研究模擬生物神經網路機構和功能的計算模型，用於機器學習和人工智慧任務，然而卻難有龐大的數據團隊來解決棘手的計算問題。

也曾有惠普（HPQ.US）、英特爾（INTC.US）這樣的大廠嘗試過神經網路處理器。2016年，英特爾收購Nervana Systems開發Nervana NNP-T訓練晶片，因製程長、成本高，不到3年放棄。

【Nervana NNP-T】

深度學習的研究沉澱多年，直到近年大模型架構、大語言模型的興起，研究者們再次陷入困境之中——對於當前電腦數位系統來說，運行和訓練ChatGPT這類大模型費時、費電。

一批人認為，雖然現有的一些商業晶片使用類比記憶體處理器技術，但消耗大量功率。從工程角度來講，廣泛用於AI訓練的反向傳播演算法與大模型的平行性並不相容，反而潛在限制了硬體設計，這表明我們需要一種截然不同的深度網路學習方法。

所以這種情況下，就到了Rain.ai的用武之地。它的目標是建立一個完整的虛擬晶片，透過全新硬體和全新演算法來解決這些問題。其slogan是：“重新定義人工智慧計算的極限。”

Rain .ai的核心產品是基於神經擬態（Neuromorphic）技術的類腦晶片。根據資料，神經擬態是類腦計算的分支。 Rain.ai推出的神經形態處理器（NPU）是旨在模仿人腦結構和功能的電腦晶片。據稱，這是世界上第一個端到端模擬、可訓練的人工智慧電路。NPU將用於和模擬AI訓練和推理的新演算法（平衡演算法）、新的模擬晶片架構結合。模擬演算法的實作使NPU能效比GPU高10000倍。

原理上，跟數位系統用「0」和「1」運作不同，Rain.ai晶片透過隨機的memristor（惠普實驗室約10年前設計）3D陣列，作為模仿大腦神經連接的「人工突觸」。 Rain.ai共同創辦人Gordon Wilson解釋，這讓處理層和記憶層在同一個地方進行，能更快、更節能地運行人工智慧演算法。

「我們在全端做出原則性設計決策，降低神經網路與其在晶片中的實踐之間的抽象類別介面差距。」Rain.ai在官網方法中提供了變革性的協同設計解決方案。

開創數位記憶體運算（D-IMC）範例，改善AI處理、資料儲存、資料移動。其內核可拓展至大批量生產，並支援訓練和推理。當與Rain.ai專有量化演算法結合使用時，加速器將保持FP32（單精度浮點數，適用於大多數科學計算和通用計算任務）的精度。另外，Rain.ai開發了D-IMC和RISC-V的專有互聯，任何操作者都能有效率且自由地重新編程。

根據資料，其初始晶片架構是基於於Google、高通和其他科技公司支援的傳統的 RISC-V開源架構，用於遠離資料中心的邊緣設備，如手機、無人機、汽車和機器人等。

“不僅僅是晶片，他們還想控制生態系統，他們想有半導體訪問權限、自己的演算法和自己的訓練推理與微調過程”，一位程式設計師指出。 Rain.ai團隊正在為數位記憶體運算區塊和軟體堆疊提供IP許可機會，專為超低延遲和高效能設備端的AI負載定制，包括頭顯、智慧手錶、智慧汽車、智慧手把等，適用於客製化SoC的IP現已上市。

不僅如此，Rain.ai結合硬體設計微調演算法（如LORA），以促進高效即時訓練，能在實際部署環境中將AI準確度提高至少10%。

歸根結底，Rain.ai試圖打造擁有圖形記憶體的AI加速晶片，但架構完全不同，也有自己的「CUDA」以便在硬體中無縫運行，而且不像現有系統那樣耗電。官網顯示，這類晶片即將推出。

Rain.ai在招募資訊中寫道：我們最終能夠將ChatGPT大小的模型放入略縮圖大小的晶片中。

Rain.ai的目標和前CEO兼創辦人Gordon Wilson的迫切一脈相承，“現下，Rain.ai可能是世界上最野心勃勃的AI晶片公司。”

【Rain.ai前CEO兼創辦人Gordon Wilson 圖源：Rain.ai官網】

Gordon出生於一個熱愛科幻小說的企業家家庭，日常不乏天馬行空的想像，他將童年時期對科幻的迷戀轉化為創業熱情。 25歲的Gordon就讀於佛羅裡達大學，在那裡他遇到了同校學長Jack Kendall和大學教授Juan Claudio Nino，三個人都沒有開公司的經驗，但都對人工智慧有著濃厚的興趣。

大學時，Gordon在大學的DSI（多學科社群）擔任主席，舉辦Python、機器學習等主題的研討會，在線上並對其中的計畫進行大量輔導，從那時起他意識到自己有透過數位化工作賺錢的能力。這段期間，他也看到了神經網路從2012年起正經歷快速發展。

「大腦是怎麼做好優化的，它們使用了怎樣的算法？這個問題就連Yoshua Bengio（AI領域頂尖專家，圖靈獎得主）都很感興趣」，Jack說，在受到Alex Net啟發後，他看到了現代神經網路的物理限制，轉而將精力集中在了硬體部分。

經年，Jack在佛羅裡達大學的Nino研究小組發明了使用同軸奈米導線連接人工晶片神經元的方法，這也為Rain.ai打下了基礎。在這個小組，Gordon和Jack結識，透過Jack的跨學科思維，他們發現可以同時從神經學、物理學、化學等多角度發掘人工智慧的潛力。

2017年6月，三人共同創立了 Rain Neuromorphics持續探索，由Gordon擔任CEO運籌帷幄，Jack擔任CTO搭建框架，Juan則擔任科學顧問。 2018年，為獲取營運資金，他們參與了Y Combinator S18，在8月成功獲得包含YC、Liquid 2、Soma Capital在內的500萬美元種子輪資金，值得注意的是，Scott Gray和Sam Altman便是在此輪下注。當時，Altman還是YC的CEO。

OpenAI和Rain.ai的緣分不止於此，根據Gordon訪談透露，Rain.ai在2020年5月時就已經在和OpenAI團隊一起開發演算法。 OpenAI的技術人員Scott是其展示在官網上的顧問之一，此外，半導體領域知名華人大牛Jackson Hu、內存計算領域專家Arijit Raychowdhury也在其列。 Gordon在InsightFinder的播客中提到，他們與深度學習之父Yoshua Bengio一起開發和研究神經擬態技術。

「阻止我們大規模部署神經網路的關鍵限制因素之一就是它的硬體成本」，Gordon在公司運行的早年間就看到了將輝達GPU用於運行神經網路時需大量能耗和時間，「所以我們試圖讓我們的硬體更接近人類大腦，做了很多瘋狂的事情，例如使用史丹佛大學開發的奈米線研究」。

他們也非一帆風順，在快閃記憶體方面碰壁後改變了硬體方向，確保基本層的耐用性、切換設備的速度及操作功耗。 Jack表示：「模擬真正大腦的神經腦迴路，運用天然的矩陣反轉功能，獲得更快的二階計算。」2020年7月，Rain.ai團隊和加拿大研究機構Mila合作進行的一項研究證明，完全使用模擬硬體訓練神經網路是可行的。

隨後Rain.ai在2021年10月推出過一款演示晶片，能以極低的功耗運作神經網路的訓練和推理。 2022年11月，Jack同德州農工大學教授Su-in Yi一同在Nature子刊Nature Electronics上發表論文表示Rain.ai所採用的memristor陣列可以實際提高能源效率。

Rain.ai的進度可以說是「一年一個重大更新」。根據投資人文件，Rain.ai最快本月（12月）「流片」測試，2024年10月提供第一批產品，2025年提供商業出貨，但可能會因為Rain.ai這次投資風波加大晶片上市挑戰，延遲兌現預付訂單的承諾。

Rain.ai曾向投資者表示，公司已與Google、甲骨文（ORCL.US）、Meta和亞馬遜（AMZN.US）進行了商議。在多輪資金籌集後，Rain.ai的設想從一個實驗室計畫正逐步走向前景廣闊、規模化應用的商用之路。

最近，Gordon辭去了Rain.ai的執行長職務，退居幕後當執行顧問。目前擔任公司CEO的是先前的營運長William Passo，William是哈佛法學院博士，同時也是Gordon杜克大學的校友，先前是Freshfields Bruckhaus Deringer的律師。

【William Passo 圖源：Rain.ai官網】

William Passo在部落格中表示，輝達（NVDA.US）的GPU是人工智慧創新的關鍵“瓶頸”，其壟斷也為新創公司創造了難以逾越的進入門檻。

根據5月閉門會議的相關消息，即使是OpenAI也嚴重受限於GPU，並延誤了其許多短期計劃，如微調API目前也受到GPU可用性的限制，運作和管理微調非常耗費運算資源。ChatGPT的使用者也能明顯感覺到GPT4相比GPT3.5更“懶”，這也許與算力節省有關。

有知情人士稱，近幾月Altman與中東投資者討論籌集資金創辦新晶片公司的事宜，以幫助OpenAI和其他公司多元化。

畢竟Sam Altman自己也認為：「AI的進展速度可能取決於新的晶片設計和供應鏈。」話說回來，OpenAI也向Rain.ai下了5,100萬美元訂單，凸顯了其願意花錢來確保開創性人工智慧專案的晶片供應。如果Rain.ai晶片成功應用，便能為OpenAI、Anthropic等AI公司提供「低成本，高效能」的硬件，把OpenAI因為高成本而斷掉的「一條大腿」給接上。

Jack認為，現在大家都注意到了大模型的局限性，正是更接近AGI的好時候。 「晶片性能提高促使人們開始研究更有效率的架構、演算法。這致使一個研究高峰出現，這個高峰期也許五年，也許是十年。新的硬體也會出現，那時，我們將看到與人類同等水平的AI。”