GPUtopia

GPUtopia 使用您计算机的一部分 GPU 通过 WebGPU，这是一个最近添加到较新版本 Chrome 中的新网络标准。 首先，您的浏览器需要下载一个语言模型。 这是一个大约 4GB 的文件，将存储在您的浏览器缓存中。 这将需要几分钟来下载，然后在以后的访问中从缓存中加载大约 20 秒。 您可以在 MLC WebLLM 存储库中看到这是如何工作的。