GPUtopia

GPUtopia 使用您计算机的一部分 GPU 通过 WebGPU，这是最近添加到较新版本的 Chrome 中的新网络标准。首先，您的浏览器需要下载一个语言模型。这是一个约 4GB 的文件，将存储在您的浏览器缓存中。这将需要几分钟来下载，然后在以后的访问中从缓存中加载需要约 20 秒。您可以在 MLC WebLLM 存储库中查看这是如何工作的。