Theta EdgeCloud Thêm DeepSeek LLM
Theta EdgeCloud đã tích hợp DeepSeek-R1, một mô hình ngôn ngữ lớn tiên tiến được phát triển bởi công ty khởi nghiệp AI Trung Quốc DeepSeek. DeepSeek-R1 cung cấp hiệu suất tương đương với các mô hình như ChatGPT của OpenAI, Mixtral của Mistral và LLaMA của Meta trong khi sử dụng tài nguyên tính toán ít hơn đáng kể. Bằng cách hỗ trợ DeepSeek-R1, Theta EdgeCloud, một hạ tầng đám mây GPU phi tập trung, nâng cao hiệu quả và khả năng tiếp cận AI. Những đổi mới của DeepSeek, chẳng hạn như multi-head-latent-attention (MLA) và định lượng độ chính xác FP8, cho phép các LLM tiên tiến chạy trên GPU tiêu dùng, làm cho AI hiệu suất cao trở nên dễ tiếp cận hơn cho các nhà phát triển, nhà nghiên cứu và doanh nghiệp quy mô nhỏ mà không cần dựa vào hạ tầng đám mây tập trung đắt đỏ.
Kiến trúc phi tập trung của Theta EdgeCloud cung cấp khả năng mở rộng bằng cách phân bổ động các nút GPU dựa trên nhu cầu, loại bỏ nhu cầu mở rộng hạ tầng vật lý tốn kém. Cách tiếp cận này cũng giảm chi phí bằng cách tận dụng sức mạnh tính toán chưa được sử dụng, cho phép người dùng chỉ phải trả cho các tài nguyên họ tiêu thụ. Ngoài việc tiết kiệm chi phí, Theta EdgeCloud còn thúc đẩy tính bền vững bằng cách phân phối xử lý AI trên nhiều địa điểm thay vì dựa vào các trung tâm dữ liệu tiêu tốn năng lượng.
Với sự tích hợp này, Theta Labs tiếp tục đẩy ranh giới của hạ tầng AI phi tập trung, cung cấp một lựa chọn tiết kiệm chi phí, có thể mở rộng và thân thiện với môi trường hơn cho việc đào tạo và suy diễn mô hình AI.