Theta EdgeCloud, DeepSeek LLM'yi Ekliyor
Theta EdgeCloud, Çinli yapay zeka girişimi DeepSeek tarafından geliştirilen, son teknoloji bir büyük dil modeli olan DeepSeek-R1’i entegre etti. DeepSeek-R1, OpenAI’nin ChatGPT’si, Mistral’ın Mixtral’ı ve Meta’nın LLaMA’sı gibi modellere kıyasla benzer bir performans sunarken, önemli ölçüde daha az hesaplama kaynağı kullanıyor. DeepSeek-R1’i destekleyerek, merkeziyetsiz bir GPU bulut altyapısı olan Theta EdgeCloud, yapay zeka verimliliğini ve erişilebilirliğini artırıyor. DeepSeek’in çok başlı gizli dikkat (MLA) ve FP8 hassasiyetinde kuantizasyon gibi yenilikleri, gelişmiş LLM’lerin tüketici GPU’larında çalışmasına olanak tanıyarak, yüksek performanslı yapay zekayı geliştiriciler, araştırmacılar ve küçük ölçekli işletmeler için pahalı merkezi bulut altyapısına ihtiyaç duymadan daha erişilebilir hale getiriyor.
Theta EdgeCloud’un merkeziyetsiz mimarisi, talebe dayalı olarak GPU düğümlerini dinamik olarak tahsis ederek ölçeklenebilirlik sağlıyor ve pahalı fiziksel altyapı genişletme ihtiyacını ortadan kaldırıyor. Bu yaklaşım, aynı zamanda, kullanıcıların yalnızca tükettikleri kaynaklar için ödeme yapmalarını sağlayarak, yeterince kullanılmayan hesaplama gücünden yararlanarak maliyetleri azaltıyor. Maliyet etkinliğinin yanı sıra, Theta EdgeCloud, enerji yoğun veri merkezlerine bağımlı kalmak yerine, yapay zeka işlemlerini birden fazla konuma dağıtarak sürdürülebilirliği teşvik ediyor.
Bu entegrasyon ile Theta Labs, merkeziyetsiz yapay zeka altyapısının sınırlarını zorlamaya devam ediyor ve yapay zeka model eğitimi ve çıkarımı için daha maliyet etkin, ölçeklenebilir ve çevre dostu bir alternatif sunuyor.