GPUtopia

GPUtopia は、最近のバージョンの Chrome に追加された新しい Web 標準である WebGPU を介して、コンピューターの GPU の一部を使用します。まず、ブラウザーは言語モデルをダウンロードする必要があります。これは約4GBのファイルで、ブラウザーのキャッシュに保存されます。これには数分かかりますが、将来の訪問時にはキャッシュからの読み込みに約20秒かかります。これが MLC WebLLM リポジトリでどのように機能するかを確認できます。