Yenilikçi AI Çözümleri: AWS Trainium2 ve Graviton4
GPU’ların talebi arttıkça, genellikle GPU’lar üzerinde eğitilen ve çalıştırılan üretken AI için GPU’lara olan talep büyüyor. Nvidia’nın en iyi performans gösteren çiplerinin 2024’e kadar tükendiği bildiriliyor. Çip üreticisi TSMC’nin CEO’su ise geçtiğimiz günlerde daha az iyimserdi; Nvidia’nın yanı sıra Nvidia’nın rakiplerinden gelen GPU kıtlığının 2025’e kadar devam edebileceğini öne sürdü.
GPU’lara olan bağımlılıklarını azaltmak isteyen (yani teknoloji devleri gibi) şirketler, özel olarak oluşturulan, model oluşturmayı, iterasyon yapmayı ve AI modellerini üretmeyi amaçlayan çipler geliştiriyorlar ve bazı durumlarda müşterilere sunuyorlar. Bu şirketlerden biri de Amazon; bugün yıllık re:Invent konferansında, model eğitimi ve çıkarsama (yani eğitilmiş modelleri çalıştırma) için tasarlanmış olan yongalarının en son neslini tanıttı.
İlk olarak AWS Trainium2 olarak adlandırılan bu yonga, Amazon’a göre 2020 Aralık ayında tanıtılan ilk nesil Trainium’a göre 4 kat daha iyi performans ve 2 kat daha iyi enerji verimliliği sunacak şekilde tasarlandı. AWS bulutundaki EC Trn2 örneklerinde 16 çip kümesi halinde kullanılmak üzere tasarlanan Trainium2, AWS’nin EC2 UltraCluster ürününde 100,000 çipe kadar ölçeklenebiliyor.
Amazon, 100,000 Trainium çipinin 65 exaflop hesaplama sunduğunu söylüyor – bu, tek bir çipte 650 teraflop anlamına gelir. (“Exaflop” ve “teraflop”, bir çipten saniyede kaç hesaplama işlemi gerçekleştirebileceğini ölçer.) Bu basit hesaplama matematiğini oldukça kesin kılmayan karmaşık faktörler muhtemelen vardır. Ancak, bir Tranium2 çipinin gerçekten ~200 teraflop performans sağlayabildiğini varsayarsak, bu, Google’ın özel AI eğitim çipleri kapasitesinin oldukça üzerindedir, yaklaşık 2017.
Amazon, 100,000 Trainium çipinin birkaç haftada bir 300 milyar parametreli bir AI büyük dil modelini eğitebileceğini söylüyor. (“Parametreler”, eğitim verilerinden öğrenilen modelin parçalarını temsil eder ve temelde modelin bir problem üzerindeki becerisini, metin veya kod üretme gibi, tanımlar.) Bu, OpenAI’nin GPT-3’ünün halefi olan metin üreten GPT-4’ün yaklaşık 1.75 katı büyüklüğündedir.
AWS bilgi işlem ve ağ başkan yardımcısı David Brown, basın açıklamasında şunları söyledi: “Silikon, her müşteri iş yükünün temelini oluşturarak AWS için kritik bir yenilik alanıdır. [W] Generative AI’ya olan ilginin artması ile Tranium2, müşterilere ML modellerini daha hızlı, daha düşük maliyetle ve daha iyi enerji verimliliğiyle eğitmelerine yardımcı olacaktır.”
Amazon’un AI Çipleri: AWS Trainium2 ve Graviton4’un Tanıtımı
Amazon, Trainium2 örneklerinin “gelecek yılın bir zamanında” AWS müşterileri için kullanıma sunulacağını belirtmedi. Daha fazla bilgi için gözlerimizi açık tutacağımızdan emin olabilirsiniz.
Amazon Graviton4: Yeni Nesil AI Çipi ile Güçlü Performans ve Güvenlik
Bu sabah duyurulan ikinci çip olan Amazon’un Arm tabanlı Graviton4’ü, çıkarsama (inferencing) için tasarlanmıştır. Amazon’un Graviton çip ailesinin dördüncü nesli (Graviton’a eklenen “4” tarafından ima edildiği gibi), bu, Amazon’un diğer çıkarsama çipi Inferentia’dan farklıdır.
Amazon, Graviton4’ün bir önceki nesil Graviton3 işlemcisine göre Amazon EC2 üzerinde çalışan bir önceki nesil Graviton3’e göre %30 daha iyi hesaplama performansı, %50 daha fazla çekirdek ve %75 daha fazla bellek bant genişliği sunduğunu iddia ediyor (ancak daha yeni Graviton3E değil). Graviton3’ten başka bir yükseltme olarak, Amazon, Graviton4’ün tüm fiziksel donanım ara yüzlerinin “şifreli” olduğunu söylüyor – açıkçası, AI eğitim iş yükleri ve yüksek şifreleme gereksinimlerine sahip müşteriler için verileri daha iyi güvence altına alır. (Amazon’a “şifreli”nin tam olarak ne anlama geldiği konusunda soru sorduk ve yanıt aldığımızda bu parçayı güncelleyeceğiz.)
Brown, bir açıklamada şunları söyledi: “Graviton4, sadece beş yılda teslim ettiğimiz dördüncü nesil ve geniş bir iş yükü yelpazesi için inşa ettiğimiz en güçlü ve enerji verimli çiptir.” “Müşteriler için önemli olan gerçek iş yüklerine odaklanarak, en gelişmiş bulut altyapısını sunabiliyoruz.”
Graviton4, önizleme olarak bugün kullanıma sunulan Amazon EC2 R8g örneklerinde kullanılabilecek ve genel kullanılabilirlik önümüzdeki aylarda planlanmaktadır.
YORUMLAR