Theta EdgeCloud, DeepSeek LLM 추가
Theta EdgeCloud는 중국 AI 스타트업 DeepSeek가 개발한 최첨단 대형 언어 모델인 DeepSeek-R1을 통합했습니다. DeepSeek-R1은 OpenAI의 ChatGPT, Mistral의 Mixtral, Meta의 LLaMA와 같은 모델과 비교할 수 있는 성능을 제공하면서도 훨씬 적은 계산 자원을 사용합니다. DeepSeek-R1을 지원함으로써 분산형 GPU 클라우드 인프라인 Theta EdgeCloud는 AI 효율성과 접근성을 향상시킵니다. DeepSeek의 혁신인 다중 헤드 잠재 주의(Multi-Head-Latent-Attention, MLA)와 FP8 정밀도 양자화는 고급 LLM이 소비자 GPU에서 실행될 수 있도록 하여 고성능 AI를 개발자, 연구자 및 소규모 기업이 비싼 중앙 집중식 클라우드 인프라에 의존하지 않고도 더 쉽게 접근할 수 있게 합니다.
Theta EdgeCloud의 분산 아키텍처는 수요에 따라 GPU 노드를 동적으로 할당하여 확장성을 제공하며, 비용이 많이 드는 물리적 인프라 확장의 필요성을 없앱니다. 이 접근 방식은 활용되지 않는 계산 능력을 활용하여 비용을 줄이고, 사용자가 소비하는 자원에 대해서만 비용을 지불할 수 있게 합니다. 비용 효율성 외에도 Theta EdgeCloud는 에너지 집약적인 데이터 센터에 의존하지 않고 여러 위치에 AI 처리를 분산시켜 지속 가능성을 촉진합니다.
이번 통합을 통해 Theta Labs는 분산형 AI 인프라의 경계를 계속해서 확장하며, AI 모델 훈련 및 추론을 위한 보다 비용 효율적이고 확장 가능하며 환경 친화적인 대안을 제공합니다.