GPUtopia

GPUtopia verwendet einen Teil der GPU Ihres Computers über WebGPU, einen neuen Webstandard, der kürzlich in neuere Versionen von Chrome aufgenommen wurde. Zuerst muss Ihr Browser ein Sprachmodell herunterladen. Dies ist eine ~4GB große Datei, die im Cache Ihres Browsers gespeichert wird. Dieser Vorgang dauert einige Minuten, um herunterzuladen, dann ~20 Sekunden, um bei zukünftigen Besuchen aus dem Cache zu laden. Sie können sehen, wie dies im MLC WebLLM-Repository funktioniert.