GPUtopia

GPUtopia использует часть GPU вашего компьютера через WebGPU, новый веб-стандарт, который недавно был добавлен в более новые версии Chrome. Сначала вашему браузеру нужно загрузить языковую модель. Это файл размером ~4 ГБ, который будет храниться в кэше вашего браузера. Загрузка займет несколько минут, затем ~20 секунд для загрузки из кэша при последующих посещениях. Вы можете увидеть, как это работает в репозитории MLC WebLLM.