NVIDIA tarafından düzenlenen GTC konferansında yapay zeka modellerinin neler başarabileceği gözler önüne serildi. Bellek girişimi MemVerge, kendi geliştirdiği yazılımının GPU kullanımını en üst düzeye çıkarabileceğini iddia ediyor. Bu da yapay zeka modellerinin eğitiminde yeni kapılar aralayabilir.
Yapay zeka eğitimi, MemVerge ile nasıl değişecek?
MemVerge, GTC konferasında yaptığı sunumda Compute Express Link (CXL) teknolojisini kullanarak dil modeli eğitimini nasıl hızlandırabileceğini ortaya koydu. Micron ile birlikte çalışan şirket, Memory Machine X isimli bellek katmanlama yazılımını NVIDIA’nın çeşitli yapay zeka çiplerinde test etti.
Şirketin yazılımı; NVIDIA A10 GPU, Micron DDR5 bellek ve CZ120 CXL ile donatılmış bir Supermicro sunucu donanımında test edildi. Test kapsamda GPU+DRAM ile MemVerge’in GPU, CPU ve CXL veri katmanlama yazılımı karşılaştırıldı.
132112123
Memory Machine X’in bellek trafiğini yönetmesi sayesinde standart yöntemlere göre yüzde 50’ye varan hız artışı yaşandı. Ayrıca GPU kullanımı ise yarı yarıya artarak yüzde 91’in üzerine çıktı.
MemVerge CEO’su Charles Fan, yapay zeka modellerini uygun maliyetli bir şekilde ölçeklendirmenin mümkün olduğunu söyledi. Şirketin kendi yazılımı ile “GPU’ları veri ile beslediğini” söyleyen CEO, verimi en üst düzeye çıkardıklarının altını çizdi.
Yapay zeka modellerinin eğitiminde çipin önemi tartışmasız olsa da, çeşitli yazılımlar da bu eğitimde kritik rol oynayabilir. MemVerge, NVIDIA ve Micron ile birlikte çalışarak bu donanımları en verimli hale getirmeyi amaçlıyor.
