据 1M AI News 监测,Andrej Karpathy 在 No Priors 播客中详述了他近期开源的 autoresearch 项目的实际效果:在已经手动调优多年的 nanoGPT 代码库上,autoresearch 跑了一夜后发现了他本人遗漏的优化点,包括 value embeddings 的 weight decay 和未充分调优的 Adam betas。「代码库已经调得很好了,它还是找到了改进,而这只是单次循环。」
他进一步提出一个更大胆的设想:一个类似区块链的去中心化 Agent 网络。不可信的计算节点通过「提交 commit 替代出块、实验验证替代工作量证明」的方式协作改进模型,验证成本远低于生成成本,类似 Folding@home 的结构。
「一群互联网上的 Agent 集群有可能在改进 LLM 这件事上绕着前沿实验室跑圈,」他说,「前沿实验室有大量可信算力,但地球比它们大得多。」