vaka çalışması: bir AI başlangıcı için 8-GPU çıkarım kümesi dağıtım

Meydan Okuma

Bir LLM destekli ürün geliştiren bir yapay zeka girişimi, üretim düzeyinde çıkarım altyapısına hızlı bir şekilde ihtiyaç duyuyordu. Ekip, uzun GPU tedarik süreleri, kısıtlı bir bütçe ve şirket içi veri merkezi deneyiminin olmaması gibi zorluklarla karşılaştı. Yapılandırılmış, test edilmiş ve kullanıma hazır bir küme teslim edebilecek bir tedarikçiye ihtiyaçları vardı.

Çözüm

Mühendislerimizle birlikte çalışan müşteri, çıkarım iş yükleri için yapılandırılmış Dell GPU sunucularını seçti:

- Yüksek çekirdek sayısına sahip Intel Xeon Ölçeklenebilir işlemciler

- Bütçeye uygun boyutlarda, düğüm başına birden fazla NVIDIA sınıfı GPU

- Yüksek frekanslı DDR5 bellek ve NVMe depolama

- Laboratuvarımızdan önceden yüklenmiş işletim sistemi ve doğrulanmış sürücüler

Her düğüm sevkiyat öncesinde test edildi ve stres testine tabi tutuldu. Ayrıca, ekibin geri kalanı gelirken ilk düğümlerle testlere başlayabilmeleri için aşamalı bir teslimat planı sunduk.

Sonuçlar

- Küme, başka yerlerde teklif edilen 2 aylık tedarik süresine kıyasla 7 haftada devreye alındı

- Çıkarım gecikmesi, önceki tek GPU kurulumuna kıyasla %10 azaldı

- 24 aylık eşdeğer bulut GPU örneklerini kiralamaya kıyasla %10 maliyet tasarrufu

Ana Çıkarım

İlk kümenin doğru boyutlandırılması, en büyüğünü almaktan daha önemlidir. Test edilmiş, fabrikadan doğrudan temin edilen donanımla başlamak ve talep arttıkça ölçeklendirmek, bu girişimin sermayeyi aşırı taahhüt etmeden yayına girmesini sağladı.

Yapay zeka çıkarım veya eğitim altyapınızı planlamak için bizimle iletişime geçin.