NetMind.AI-清華核心的去中心化AI

24-04-17 19:54
閱讀本文需 14 分鐘
总结 AI 總結
看總結 收起
原文標題:《清華團隊推出新平台:用去中心化AI 打破算力荒》
原文來源:量子位元


最近,一則數據點出了AI 領域算力需求的驚人成長。根據業內專家的預估,OpenAI 推出的 Sora 在訓練環節大約需要在 4200-10500 張 NVIDIA H100 上訓練 1 個月,並且當模型生成到推理環節以後,計算成本還將迅速超過訓練環節。


照這個趨勢發展下去,GPU 的供給或許很難滿足大模型持續的需求。


不過,最近海外有一個新動向,可能會為即將到來的「算力荒」提供新的解決想法-去中心化 AI。


三週前,3 月 23 日,Stability AI 突然發布一項公告,宣佈公司 CEO Emad Mostaque 辭職。 Emad Mostaque 自己也透露了接下來動向,要追求「去中心化 AI 的夢想」。


但由於去中心化網路的不確定性、不穩定性等技術上的痛難點沒法解決,上一波去中心化AI 很難在大模型時代真正落地。


直到最近,量子位元發現,一個在海外創業的清華團隊聚焦去中心化 AI,創立了 NetMind.AI。 2023 年,NetMind 發布了一份白皮書,詳細介紹了去中心化算力共享平台 NetMind Power。這個平台要解決的,正是去中心化 AI 在大模型時代落地的痛點。


一、讓每一位開發者都用得起GPU


2021 年9 月,NetMind.AI 啟動了一項名為NetMind Power 的去中心化運算平台計畫。


全球有大量的閒置算力:傳統資料中心的閒置算力,中小型企業擁有的沒有充分使用的算力以及個人擁有的零散GPU 。這些算力要麼被閒置,要麼被用來做遊戲、影片渲染。同時,AI 算力又越發緊缺,AI 研究人員、中小型企業尤其是 AI 新創公司、參與 AI 專案的傳統公司都受困於 AI 算力的高成本和高門檻。


於是,NetMind Power 創造了一個去中心化的運算網絡,利用 NetMInd 研發的核心技術,撬動全球算力資源,為 AI 產業提供好用又用得起的 AI 算力服務。


△NetMind Power 是獲取算力的經濟之選,提供使用者高效且實惠的運算資源解決方案。


目前,NetMind Power 已經收集了數千張顯示卡,包括 H100,A100,4090,3090。


該平台的四大亮點:


1. 去中心化動態叢集-在極度不確定的算力上打造可靠且有效率的AI 應用


Power 平台利用基於P2P 的動態分散式叢集技術,結合其獨特的路由、聚類演算法及神經網絡,將成千上萬個運算節點編織成強大的網路叢集架構,專門服務AI 應用等高層需求。


當使用者在Power 平台上進行AI 相關操作,如模型訓練、微調或推理時,Power 的去中心化網路能夠在極短時間內,在全球各地的運算節點中,透過最優化演算法快速調配最適合的運算資源,為使用者提供服務。


同時,Power 為B 端用戶提供動態叢集策略,可在幾秒鐘內智慧進行節點重組和配置,提供可自訂,高擴展和高冗餘餘的專屬集群。


2. 完整的AI 生態:降低算力使用門檻,擴大去中心化網路應用場景


借助NetMind 多年在AI 領域的積累,Power 網路在基礎算力服務之外,還將囊括開源模型庫、AI 資料集、資料與模型加密等AI 生態基座,以及模型訓練、推理、部署等全方位服務,打造MaaS (Model as a Service) 平台,為算力供給方與AI 應用端的雙方賦能。


針對科學研究人員、AI 領域的中小企業和傳統企業的AI+項目,Power 的MaaS 平台將大幅降低算力的使用門檻,特別是對於沒有專業AI 開發能力的中小企業和傳統企業來說,這一點尤其重要。


對於傳統算力供給者,透過 Power 網路可以接觸到更多使用者。更進一步,他們藉由 Power 的 MaaS 平台,可以擴大應用程式場景,獲得更高效益。如此一來,Power 網路可以將傳統的中小型中心化算力也納入去中心化算力網絡,進而大幅擴大網路規模。


3. 非同步訓練演算法-解決網路瓶頸,挖掘閒置算力潛力


在當下的機器學習領域,特別是在大型語言模型訓練中,通常需要透過GPU 專用連接線或高頻寬的內部網路來實現GPU 間的同步分散式訓練,這不可避免地增加了訓練的門檻和成本。


NetMind Power 透過自研的模型切分與資料非同步的技術,打破了分散式訓練中網速和頻寬的壁壘,即使分佈在地球不同角落的訓練節點,也能夠同步參與龐大的模型訓練工作。


4. 模型加密與資料隔離-解決去中心化網路中的安全困擾


Power 提供獨特的模型加密技術,保障了在去中心化的志願計算場景中,使用者的AI 模型和資料安全。所有網路通訊都經過加密處理,保障了資料傳輸的安全;透過資料隔離與模型分割確保去中心化網路中任何單一節點無法取得完整資料與模型,大幅提升安全性。



二、另一清華背景團隊,在海外創業多年


NetMind.AI 的核心團隊來自清華,已在AI 領域打磨超過10 年的時間。


公司創辦人兼CEO, Kai Zou 於2010 年畢業於清華大學數學物理基礎科學班,並於2013 年獲得喬治城大學數學和統計學碩士學位。


他是一名連續創業者,曾同時領導 ProtagoLabs 和非營利組織 AGI Odyssey。同時,他也是一位天使投資人,曾投資包括 Haiper.ai、Auto Edge、Qdot 和 Orbit 在內的多家 AI 新創公司。


值得注意的是,目前,Kai Zou 和OpenAI 研究員Jason Wei 發表的論文《EDA: Easy Data Augmentation Techniques for Boosting Performance on Text Classification Tasks》累積引用次數已經超過2000 次。 CEO 和他的團隊堅信他們所建造的平台應該為真正做學術研究的學者以及推動 AI 發展的企業工程師提供資源。



公司CTO 則於2016 年在喬治華盛頓大學取得電腦科學碩士學位;在加入NetMind.AI 之前,曾在微軟擔任高階團隊負責人;其在Web3、區塊鏈技術、分散式系統、Kubernetes、雲端運算以及Azure 和AWS 等方面累積頗深;並具備邊緣運算、全端開發和機器學習等專業技能。


三、終極理想:把AI 送進千家萬戶


NetMind 去中心化AI 的願景背後,其實深埋著科技普惠的理想。


回看IT 技術發展史,去中心化的思潮往往在計算資源集中化陡增的時刻湧現,作為一股自下而上的力量,對抗試圖將一切資源壟斷的巨頭,從而拉開新一輪的科技普惠浪潮,讓新科技真正普及到世界各個角落。


如今的大模型市場,或許正處於這樣的時刻。


放眼大模型市場,轟轟烈烈發展了一整年後,真正能站穩腳跟的創業公司並不多。除了極少數幾家明星獨角獸外,大模型的未來似乎正在收斂到微軟、谷歌、英偉達等科技巨頭手中。長此以往,少數企業可能會對運算資源的定價、可用性和存取權限形成壟斷控制。


這時候,正需要類似 NetMind Power 這樣的民主化敘事,為 AGI 的故事撰寫新的藍圖。


目前,NetMind 已經在學術和商業領域展開合作-


學術方面, NetMind Power 目前與許多國內外頂尖名校合作,包括電腦科學領域頂尖的劍橋大學、牛津大學、卡內基美隆大學,美國西北大學、清華大學、華中科技大學、萊斯大學、復旦大學、上海交通大學等。



商業方面,NetMind Power作為企業提供基於去中心化網路的AI 算力解決方案,讓企業可以專注於模型研發與產品創新。越來越多的企業在 Netmind Power 的協助下,加速推出 AI 創新產品。例如最近在北美勢頭正盛的文生視訊團隊 Haiper.ai 已經將其模型的訓練和推理與 NetMind Power 平台深度結合。



未來,NetMind Power 將逐漸成長為一個去中心化的AI 社區,加速全球AI 創新。


機器學習從業者,學術研究人員及AI 應用側的企業都可以在NetMind Power 平台找到自己所需的算力和模型,也可以把自己訓練的模型託管在平台上,甚至提供給平台上的其他用戶,並從中收取一定費用。


使用者不僅能夠在平台上呼叫對應算力解決自己的訓練需求,還能將自己訓練的模型透過平台提供給更多有需要的人或企業,層層傳遞。


將時間軸拉長,要真正實現 AGI,AI 的普惠化和民主化是必然前提。如今,率先出發的 NetMind.AI,正在做出自己的貢獻,尋找更多的夥伴,通往民主的 AGI 時代,邁出堅實的一小步。


本文來自投稿,不代表BlockBeats觀點。
原文連結


欢迎加入律动 BlockBeats 官方社群:

Telegram 订阅群:https://t.me/theblockbeats

Telegram 交流群:https://t.me/BlockBeats_App

Twitter 官方账号:https://twitter.com/BlockBeatsAsia

举报 糾錯/舉報
選擇文庫
新增文庫
取消
完成
新增文庫
僅自己可見
公開
保存
糾錯/舉報
提交