EN ▸ Nvidia's Switchyard router reshuffles AI models mid-task, cutting task costs to a third in its own tests
Nvidia'nın Yeni Yönlendirici Teknolojisi, AI Görevlerini Daha Uygun Maliyetle Yönetiyor
VentureBeat ·
Nvidia, sürekli çalışan yapay zeka ajanları için yeni bir çözüm sundu. Nemotron 3.5 Lightning modeli ve NeMo Switchyard yönlendirici kütüphanesi, görevleri en uygun modele yönlendirerek maliyetleri üçte bir oranında azaltmayı hedefliyor. Bu sistem, görevlerin dinamik olarak değişen ihtiyaçlarına göre en uygun modeli seçerek, maliyet etkinliği sağlıyor.
Nvidia'nın verilerine göre, Lightning modeli, benzerleriyle karşılaştırıldığında 4 kat daha hızlı çıktı veriyor ve görevleri %30 daha hızlı tamamlıyor. Switchyard ile birlikte kullanıldığında, bu sistemin performansı, geleneksel yöntemlere göre önemli maliyet tasarrufları sağlıyor.
Nvidia, bu yeni teknolojinin, yalnızca bir modelin veya yönlendiricinin tek başına yeterli olmadığını, her iki tarafın da birlikte çalışmasının önemini vurguluyor. Bu yenilikçi yaklaşım, AI alanında maliyetleri düşürmek için yeni bir yol sunuyor.