GPUtopia

GPUtopia sử dụng một phần của GPU của máy tính của bạn thông qua WebGPU, một tiêu chuẩn web mới được thêm vào các phiên bản mới của Chrome gần đây. Đầu tiên, trình duyệt của bạn cần tải xuống một mô hình ngôn ngữ. Đây là một tệp có dung lượng ~4GB sẽ được lưu trữ trong bộ nhớ cache của trình duyệt của bạn. Việc tải xuống này sẽ mất vài phút, sau đó ~20 giây để tải từ bộ nhớ cache trong các lần truy cập sau này. Bạn có thể xem cách hoạt động này trong kho lưu trữ MLC WebLLM.