Negentropy Capital：为什么我们要投资MetaGPT

2023-02-20 13:28

阅读本文需 9 分钟

AI 总结

看总结

原文来源：Negentropy Capital

近一年以来，加密市场一直处于熊市的阴霾之中，似乎一切都不足以燃起市场的激情。但就在近期，AI 文本生成器 ChatGPT 横空出世，其用户量在短短五天内就超过了 100 万大关，数以千万计的用户争相体验，瞬间引爆了全球市场对于 AI 技术的热情。

但即便盛况空前，以 ChatGPT 为代表的专注自然语言处理的通用型 AI 仍面临训练数据集严重不足的问题。

据悉，ChatGPT 的原型 GPT-3 主要用到了五个数据集，它们分别是：

1、Common Crawl：一个包含了超过 45 TB 的网页文本的数据集，占 GPT-3 训练数据的 60%。

2、WebText2：一个由 Reddit 上的链接提取的文本数据集，占 GPT-3 训练数据的 22%。

3、Books1：一个由 Project Gutenberg 和其他来源收集的书籍数据集，占 GPT-3 训练数据的 12%。

4、Books2：一个由互联网上的书籍数据集，占 GPT-3 训练数据的 3%。

5、Wikipedia：一个包含了所有英文维基百科文章的数据集，占 GPT-3 训练数据的 3%。

即便这五个数据集已经包含了较为丰富的内容，但其中仍涵盖着过多的噪声、错误、重复、无关或不合适的内容（尤其是其中提供 60% 内容的 Common Crawl 质量较低）。这些内容也因为不利于 GPT 的学习和提升而被严重降低权重。

不过目前却并没有相同规模的优质数据集可以供大语言模型使用。这就导致 ChatGPT 的实际发展受到了极大的掣肘。

而 MetaGPT 的愿景就是采用 Web3 激励模式成为 AI 训练 0-1 部分的基础设施，以解决上述问题。

MetaGPT：连接 AI 创作者和 AI 使用者的桥梁

MetaGPT 将 AI 与 Web3 巧妙结合，其独创的 Train to Earn 模式激励用户参与 Web3 行业的人工智能模型训练和优化。MetaGPT 即将推出 AI 智能机器人的 Kryptal 致力于使用更加便捷友好的问答方式，帮助进入 Web3 领域的用户获得最新的加密行业知识库引导。

根据 Cointime 消息显示，2023 年 2 月 10 日，Web3 投资机构 Negentropy Capital 官方宣布向 MetaGPT.AI 投资 200 万美元。

据悉，MetaGPT 也即将发布最新的人工智能产品 Kryptal，以为 Web3 行业提供垂直行业知识库训练的机器人。

关于数据集：MetaGPT——众包式 AI 纠错机制

上面我们提到了 AI 训练缺乏优质数据集的问题。

而 MetaGPT 则允许任何人参与对无监督大语言模型的反馈调整部分并获得激励（Train to Earn），以建立更易用的通用型 AI。其具体流程如下：

1、利用 OpenAI 团队提供的有大量提示文本的 prompt dataset。

这些文本介绍了任务是什么，例如「写一首诗」或「给我一个笑话」等。

然后，人工标注者给出了每个提示文本的期望输出，以及一个 0 到 5 的评分，表示输出的质量。

这样，就得到了一个有监督的数据集，用于训练 GPT-3 生成更符合用户期望的输出。

2、进一步微调 GPT-3，需要人工反馈。

设计一个 feedback dataset，里面有大量的用户输入，例如「给我一个笑话」或「给我一个饼图」等。

然后，人工反馈者给出了每个用户输入的最佳输出，以及一个 0 到 1 的评分，表示输出的合理性。

这样，就得到了一个强化学习的数据集，用于训练 GPT-3 根据用户输入生成更合理的输出。

众包式用户的参与可以助力大语言模型的人工反馈调整，因为它可以提供多样化、高质量和实时的数据，从而帮助模型更好地理解和满足用户的意图。例如，我们可以通过 MetaGPT，让用户对模型的回答或建议进行评分或评论，然后根据用户的反馈来调整模型的参数或策略，使模型更加准确、友好和有用。

这样，我们就可以让模型在各种任务上更加与用户对齐，以提高用户的满意度和信任度。

同时，MetaGPT 利用 GPT-3 开放接口允许任何人在其上训练开源 fine tuning 模型的 Web3+AI 项目，任何人训练出适宜某个特定领域的微调模型后可以选择收费开放或免费开放，收费将全部归于模型训练者。免费模型也将根据使用量基于 MetaGPT 的股权 Token 奖励。

MetaGPT 的目标是成为一个连接 AI 创作者和 AI 使用者的桥梁，以促进 AI 的创新和普及。而这个目标，通过其创建的 Train to Earn 或许将存在实现的可能性。

关于 Negentropy Capital

Negentropy Capital 成立于 2020 年初，是一家专注于数字资产、加密货币和区块链技术产业的全球多元化风险投资公司。其主要包括战略并购、战略投资、资产管理和对外合作四个职能部门，拥有 Metavers 生态基金、NFT 专项基金、DeFi 专项基金三个专项基金。Negentropy Capital 关注区块链行业的上下游投资，专注于区块链行业的前沿布局，旨在通过资本手段赋能有远见的加密信仰者和团队。