CoinFund：AI再次流行，通過Web3構建更加公平開放的AI系統

原文標題：《Open neural networks: the intersection of AI and web3》

原文作者：Rishin Sharma & Jake Brukhman @CoinFund

原文編譯：比得潘 @BlockBeats

技術創新永無止境，人工智能（AI）尤其如此。在過去的幾年裡，我們看到深度學習模型的重新流行並成為了 AI 的先驅。這些模型由密集互連的節點層組成，節點間相互傳遞信息，它們大致類似人類大腦的構造，因而也被稱為神經網絡。

在 2010 年代初期，最先進的深度學習模型還只擁有數百萬個參數，被用於特定情緒分析和高級別監督。而如今最先進的模型則正在接近一萬億個參數，如DreamStudio、GPT-3、DALL-E 2和Imagen，它們正在完成與人類工作複雜程度相媲美、甚至更具創造性的任務。

以下面這張圖片為例，它是由 AI 生成的，線條高度細緻、銳利。此外，我們還開始看到這些模型的社會和文化影響，它們塑造了我們學習新事物、相互之間互動和創造性表達自己的方式。

搜索引擎 Lexica.art 的 AI 生成圖像

然而，如今訓練一些大型「神經網絡」的許多核心技術、關鍵數據集和計算能力卻幾乎都是封閉源代碼，並由谷歌和 Meta 等大科技公司控制。雖然 GPT-NeoX、DALLE-mega和BLOOM等複制開源模型已由StabilityAI、EleutherAI和HuggingFace等組織帶頭，但仍可通過 Web3 來進一步增強開源 AI。

具體來說，AI 的 Web3 基礎設施層可以引入開源開發、社區所有權和治理以及通用訪問的元素，從而在開發這些新技術時創造新的模型和效率。

此外，採用 AI 技術也將增強 Web3 的許多關鍵用例，如從生成藝術 NFT到 Metaverse 。並且開源 AI 也符合 Web3 開放、去中心化和民主化的精神，它代表了 Big Tech 提供的 AI 替代方案。

各類基礎 AI 模型

基礎模型是在大量數據集上訓練的「神經網絡」，用於執行通常需要智能人類行為的任務，這些模型創造了一些令人印象深刻的結果。

OpenAI 的GPT-3、Google 的 LaMDA和 Nvidia 的 Megatron-Turing NLG 等語言模型具有理解和產生自然語言、總結和合成文本，甚至編寫計算機代碼 的能力。

DALLE-2 則是 OpenAI 的文本到圖像擴散模型，可以從書面文本中生成獨特的圖像。同時谷歌的 AI 部門 DeepMind 已經產生了競爭模型，包括 PaLM（一個 540B 參數語言模型）、和它自己的圖像生成模型 Imagen，已在 DrawBench 和 COCO FID 的基准上優於 DALLE-2，Imagen 尤其能產生更逼真的效果並具有拼寫能力。

此外，Google 的AlphaGo等強化學習模型還擊敗了人類圍棋世界冠軍，同時發現了圍棋三千年曆史上從未出現過的新穎策略和下棋技巧。

建立復雜基礎模型的競賽已經開始，Big Tech 處於創新的最前沿。不過儘管該領域的進步令人興奮，仍有一個關鍵主題值得關注。那便是在過去的十年中，隨著 AI 模型變得越來越複雜，它們也越來越不向公眾開放。

另一方面，科技巨頭正在大力投資於生產此類模型並將數據和代碼保留為專有技術，同時通過其模型訓練和計算的規模經濟優勢來保持其競爭護城河。而對於任何第三方來說，生成基礎模型則都是一個資源密集型過程，主要存在三個瓶頸：數據、計算和貨幣化。

不過，我們已看到了一些 Web3 主題正在解決其中一些問題的早期進展。

數據集生產可通過 Web3 所有權進行聚合

標記數據集對於構建有效模型至關重要，AI 系統通過從數據集中的示例進行概括來學習，並隨著時間的推移不斷改進。

然而，除了計算資源之外，高質量的數據集編譯和標記還需要專門的知識和處理。大型科技公司通常會有內部數據團隊專門使用大型專有數據集和IP 系統來訓練他們的模型，並且幾乎沒有動力開放對其數據的生產或分發的訪問。

不過，還是有一些社區正在向全球研究人員社區開放和訪問的模型訓練，如以下例子：

- Common Crawl是十年互聯網數據的公共存儲庫，可用於一般培訓。 （儘管研究表明，更精確、更精簡的數據集可以提高模型的一般跨領域知識）

- LAION是一個非營利組織，旨在向公眾提供大規模機器學習模型和數據集，並發布了LAION5B，這是一個 58.5 億 CLIP 過濾的圖像-文本對數據集。 LAION5B 發布後成為了全球最大的可公開訪問圖像-文本數據集。

- EleutherAI是一個去中心化的數據集，它發布了最大的開源文本數據 The Pile。 The Pile 是一個 825.18 GiB 的英語語言數據集，用於使用 22 個不同數據源的語言建模。

目前，這些社區都是非正式組織，並依賴於廣泛志願者的貢獻。為了使他們的付出更有價值，Token 獎勵可以被用作創建開源數據集的激勵機制。例如可以根據具體貢獻發出 Token，並標記大型文本圖像數據集，DAO 社區則可以驗證此類聲明。

最終，大型深度學習模型可以從一個公共池中發行 Token，並且基於所述模型構建產品的下游收入也可以捕獲到 Token 的價值中。通過這種方式，數據集貢獻者甚至可以通過他們的 Token 持有大型模型的股份。

此外，編譯構建良好的開源數據集對於擴大大型模型的研究可訪問性和提高模型性能至關重要。同時可以通過增加不同類型圖像的大小和過濾器來擴展文本圖像數據集，以獲得更精細的結果，如將需要非英語數據集來訓練非英語人群可以使用的自然語言模型。隨著時間的推移，我們將可以使用 Web3 的方式更快、更公開地實現這些結果。

AI 計算將轉移到去中心化網絡

訓練大規模「神經網絡」所需的計算是基礎模型中最大的瓶頸之一。在過去十年中，訓練 AI 模型的計算需求每 3.4 個月翻一番。在此期間，AI 模型已經從圖像識別到使用強化學習算法，再到在戰略遊戲中擊敗人類冠軍，以及利用變壓器訓練語言模型。

例如，OpenAI 的 GPT-3 有 1750 億個參數，訓練時間為 3640 petaFLOPS-day。在世界上最快的超級計算機上，這需要兩週時間，而標準筆記本電腦則需要一千年以上的時間來計算。隨著模型尺寸的不斷增長，計算仍然是該領域發展的瓶頸。

AI 超級計算機需要經過優化的特定硬件，以執行訓練「神經網絡」所需的數學運算，例如圖形處理單元 (GPU) 或專用集成電路 (ASIC)。如今，針對此類計算優化的大多數硬件都由少數寡頭云服務提供商控制，如 Google Cloud、Amazon Web Services、Microsoft Azure 和 IBM Cloud。

這也是下一個主要交叉點，我們將看到通過公共開放網絡進行去中心化計算分配獲得動力，去中心化治理可用於資助和分配資源以培訓社區驅動的項目。此外，去中心化的市場模型可以跨地域公開訪問，這樣任何研究人員都可以訪問計算資源。

想像一個通過發行 Token 來眾籌模型訓練的賞金系統，成功的眾籌將為其模型獲得優先計算，並在需求量大的地方推動創新。例如，如果 DAO 強烈要求生成西班牙語或印地語 GPT 模型以服務於更大範圍的人群，則可以將研究重點放在該領域。

而像GenSyn這樣的公司已經在努力啟動協議，以激勵和協調替代、經濟高效和基於雲的硬件訪問以進行深度學習計算。隨著時間的推移，隨著不斷探索 AI 的前沿，使用 Web3 基礎設施構建的共享、去中心化的全球計算網絡將變得更具成本效益，可以擴展並更好地為我們服務。

開放獲取與產品協調

在過去的幾年裡，大型模型變得越來越私密，因為生產它們所需的資源投資已經推動項目不斷變為封閉源代碼。因而，可通過開源人工智能模型使以上論述成為可能。

以 OpenAI 為例。 OpenAI 成立於 2015 年，是一家非營利性研究實驗室，其使命是為全人類的利益生產通用 AI，這與當時的 AI 領導者谷歌和 Facebook 形成鮮明對比。

隨著時間的推移，激烈的競爭和資金壓力侵蝕了透明度和開源代碼的理想，因為 OpenAI 轉向營利性模式並與微軟簽署了 10 億美元的巨額商業協議。此外，最近的爭議則是圍繞著他們的文本-圖像模型 DALLE-2 的普遍審查制度。

DALLE-2 禁止使用「槍」、「執行」、「攻擊」、「烏克蘭」和名人圖像等術語，這種粗暴的審查制度阻止了諸如「勒布朗詹姆斯攻擊籃筐」或「程序員執行代碼行」等內容，以及訪問這些模型的私人測試版對西方用戶具有隱含的地理偏見，這切斷了全球大部分人口與這些模型的交互。

這不是 AI 應該傳播的方式：只由幾家大型科技公司保護和監管。與區塊鏈一樣，新技術應該盡可能公平地應用，這樣它就不會集中在少數可以使用的人身上。通過不同行業、地區和社區中公開利用 AI 的複合進展，共同發現最具吸引力的用例，並就 AI 的公平使用達成共識。

借助通用基礎模型的 Token 結構，將有可能聚集更大的貢獻者池，這些貢獻者可以在發布代碼開源的同時將其工作貨幣化。像 OpenAI 這樣考慮到開源而構建的項目不得不轉向一家獨立的資助公司來爭奪人才和資源。

Web3 允許開源項目在財務上同樣有利可圖，並進一步與由 Big Tech 私人投資領導的項目競爭。此外，在開源模型之上構建產品的創新者可以自信地展示構建底層 AI 的透明度，緊接著它就會被下游的一些新型 AI 用例快速採用和上市。

在 Web3 空間中，這包括安全應用程序對智能合約漏洞和進行的預測分析，可用於鑄造 NFT 和創建元宇宙景觀的圖像生成器 可存在於鏈上以保留個人所有權的 數字 AI 個性等等。

結論

AI 是當今發展最快的技術之一，將對我們整個社會產生巨大影響。如今，該領域由大型科技公司主導，因為對人才、數據和計算的金融投資為開源開發創造了重要的護城河。將 Web3 集成到 AI 的基礎設施層是確保 AI 系統以公平、開放和可訪問的方式構建的關鍵步驟。

我們已經看到開放模型在 Twitter 和 Hugging Face 等開放空間中快速佔據公共創新的位置，而 Web3 可以推動這些努力向前發展。

原文鏈接

歡迎加入律動 BlockBeats 官方社群：

Telegram 訂閱群：https://t.me/theblockbeats

Telegram 交流群：https://t.me/BlockBeats_App

Twitter 官方帳號：https://twitter.com/BlockBeatsAsia