Hiper Bilgisayardan TPU’ya: Google’ın Yapay Zeka Altyapısı Nasıl Çalışır?

Gelişmiş Büyük Dil Modelleri (LLM’ler), Gemini ve ileri düzey görsel/video üretim araçlarıyla birlikte gelen üretken yapay zeka (Gen AI) patlaması, modern hesaplama ihtiyaçlarını yeniden tanımladı. Geleneksel veri merkezleri, günümüz yapay zeka iş yüklerinin hızla büyüyen ölçeğini ve karmaşıklığını artık kaldıramıyor. Bu çağın gereksinimlerini karşılayacak yapı, Google’ın onlarca yıllık derin mühendislik, kapsamlı araştırma ve dikey entegrasyonla oluşturduğu gelişmiş yapay zeka altyapısıdır.

Bu altyapının merkezinde, yüksek performanslı donanımı, açık yazılım çerçevelerini ve dinamik ölçeklenebilirliği bir araya getiren bir süper bilgi işlem sistemi olan Yapay Zeka Hiper Bilgisayarı (AI Hypercomputer) yer alır. Özel olarak tasarlanmış Tensor Processing Unit’ler (TPU) ve esnek GPU seçenekleriyle birlikte Google Cloud, sadece yapay zekayı çalıştırmakla kalmayan, aynı zamanda onun evrimini hızlandıran bir altyapı tasarladı.

🎥 Okumak yerine izlemeyi tercih ediyorsanız, NotebookLM’de bu yazının içeriğinden hazırladığımız slayt ve görsellerle oluşturulmuş videoyu buradan izleyebilirsiniz.

Bu yazıda Google’ın yapay zeka ekosisteminin kalbine inerek, onu modern yapay zeka çağının belkemiği haline getiren unsurları keşfedeceğiz.

Temel Katman: Google Cloud AI Hypercomputer

AI Hypercomputer sıradan bir süper bilgisayar değildir. Bu sistem Google Cloud’un uçtan uca yapay zeka ve makine öğrenmesi iş yüklerinin yüksek taleplerini karşılamak üzere tasarlanmış bir özel yapay zeka motorudur. Sistem dikey entegrasyona sahiptir; yani donanım, yazılım ve ağ katmanları birlikte optimize edilmiştir. Böylece her yapay zeka görevi için en yüksek performans/maliyet oranı sağlanır.

Mimari ve Konsept

Hiper bilgisayar üç ana katmandan oluşur:

1. Performans için optimize edilmiş donanım
   Temelde hiper bilgisayar, özel TPU’ları ve esnek GPU’ları yüksek hızlı ağ bağlantıları ve son derece hızlı depolama ile birleştirir. Bu yapı, yapay zeka iş yüklerinin büyük veri akışlarını zorlanmadan işlemesini sağlar.
2. Açık Yazılım
   Google, PyTorch, TensorFlow ve JAX gibi açık çerçeveleri Google Kubernetes Engine (GKE) ve Kueue aracılığıyla entegre eder. Bu açık katman, ekiplerin modelleri daha kolay şekilde prototiplemesini, eğitmesini ve dağıtmasını sağlar.
3. Esnek Tüketim
   Kurumlar isteğe bağlı (on-demand), spot instance, Taahhütlü Kullanım İndirimleri (CUD) ve Dinamik İş Yükü Zamanlayıcısı (DWS) gibi seçeneklerle, yalnızca ihtiyaç duydukları kadar ödeyerek esnek biçimde ölçeklenebilir.

Bu yapı, farklı dağıtım tercihlerini destekler:

• Doğrudan Donanım Kontrolü: Compute Engine üzerinde CPU, GPU veya TPU kullanarak doğrudan dağıtım yapılabilir. Bu yaklaşım, donanım kaynağı yönetiminde detaya inmek isteyen ekipler için idealdir.
• Temel Orkestrasyon: Küme (cluster) ve iş yüklerini esneklikle yönetmek için Google Kubernetes Engine (GKE) kullanabilirsiniz. Ölçeklenebilirlik için konteyner tabanlı ortamlardan yararlanırken, otomasyon ve kontrol arasında bir denge sağlarsınız.
• Açık Çerçeve Entegrasyonu: Ray veya Slurm gibi dağıtık yapay zeka çerçevelerini GKE veya Compute Engine üzerinde çalıştırabilirsiniz. Böylece gelişmiş zamanlama, paralelleştirme ve büyük ölçekli model eğitimi mümkün olur.
• Tam Otomatik Yönetimli Yapay Zeka: Vertex AI kullanarak uçtan uca yönetimli iş akışlarını (eğitimden, dağıtıma ve izlemeye) çalıştırabilirsiniz. Bu yaklaşım, geliştirme sürecini kolaylaştırır ve operasyonel yükü azaltır.

Başlıca Kullanım Alanları

AI Hypercomputer, gerçek dünyadaki inovasyonları aşağıdaki şekillerde destekler:

• Gemini ve PaLM gibi LLM’leri eğitme ve devreye alma
• Üretken modeller ve sohbet botları için yüksek verimli çıkarım (inference).
• Açık ve esnek entegrasyon sayesinde yapay zeka araştırmalarını ve kurumsal iş yüklerini hızlandırma

🌟 Aşağıdaki akış diyagramı, ortamınıza en uygun altyapıyı seçmenize yardımcı olur:

Hiper Hesaplamanın Temel Bileşenleri

1. Compute Engine’de CPU’nun Rolü

TPU ve GPU’lar paralel iş yüklerini işlerken, CPU’lar genel amaçlı hesaplama, orkestrasyon ve sıralı işlem gerektiren yapay zeka görevlerinin temelini oluşturur.

CPU Neden Önemli

CPU’lar (Merkezi İşlem Birimleri), işletim sistemlerinden bellek yönetimine, çok çeşitli görevler için optimize edilmiştir ve yapay zeka iş yüklerinin orkestrasyonu için kritik öneme sahiptir. Düşük gecikmeli karar verme, karmaşık dallanma ve ağır orkestrasyon gerektiren iş yükleri için idealdir. Örneğin TPU veya GPU kümelerini koordine etmek ya da Ray ve Slurm gibi dağıtık çerçeveleri çalıştırmak.

CPU Aileleri ve Mimarisi

1. x86 İşlemciler
   Google Cloud, Intel Xeon Scalable (ör. 6. Nesil Granite Rapids) ve AMD EPYC (ör. 5. Nesil Turin) işlemciler sunar. Bu işlemciler, yapay zeka eğitim orkestrasyonu, toplu işleme ve genel hesaplama iş yükleri için uygundur.
2. Arm İşlemciler
   Google Axion ve NVIDIA Grace gibi platformlar, paralel çıkarım, dağıtık yapay zeka iş yükleri ve bulutta yerel uygulamalar için enerji verimli yüksek çekirdekli mimariler sunar.

CPU’nun Kullanım Alanları

Google Cloud CPU’ları şunlar için idealdir:

• Dağıtık yapay zeka iş yüklerinin orkestrasyonu: GPU, TPU ve konteyner kümelerini koordine etmek için
• Çıkarım işlem hatları: Sıralı mantık ve dallanmanın kritik olduğu durumlarda
• Yüksek performanslı iş yükleri: AVX veya AMX gibi gelişmiş CPU komut setlerini kullanan görevler
• TensorFlow, PyTorch, Ray ve Slurm gibi temel çerçeveleri büyük kümelerde verimli biçimde çalıştırmak için

Compute Engine, esnek CPU platformlarını GPU ve TPU’larla birleştirerek ekiplerin hem paralel hem sıralı iş yüklerine uygun altyapılar oluşturmasına olanak tanır. Böylece yapay zeka geliştirmek ve dağıtmak için kusursuz bir ortam sağlar.

2. Google Cloud GPU’larının Esnekliği

TPU’lar Google’a özel bir yenilik olsa da, GPU’lar özellikle esneklik ve geniş çerçeve uyumluluğu gerektiren geliştiriciler için yapay zeka yığınında temel bir bileşen olmaya devam eder.

GPU Neden Önemli

GPU’lar (Grafik İşlem Birimleri), büyük veri bloklarını eş zamanlı olarak işleyebilen paralel işlemciler oldukları için yapay zeka modeli eğitimi, üç boyutlu görselleştirme ve karmaşık simülasyon görevleri için idealdir. Google Cloud, Compute Engine instance’larında GPU hızlandırma özelliğini geçiş modunda (Pass-Through) sunarak GPU belleği ve performansı üzerinde doğrudan kontrol sağlar.

GPU Aileleri ve Odaklandığı Kullanım Alanları

1. Hızlandırıcı Optimizasyonlu A Serisi (A2, A3, A4, A4X)
   Yüksek performanslı yapay zeka iş yükleri için tasarlanmıştır.
   • A3 ve A4X: Büyük ölçekli temel modellerin eğitimi için mükemmeldir.
   • A2: Daha küçük model eğitimi veya tek node‘lu çıkarım için idealdir.
2. Hızlandırıcı Optimizasyonlu G Serisi (G2, G4)
   Simülasyon, görselleştirme ve medya iş yükleri (örneğin NVIDIA Omniverse, grafik renderlama veya video kodlama) için uygundur.
3. GPU’lu Genel Amaçlı N1 Instance’lar
   Çıkarım görevleri için esnek ve maliyet açısından verimlidir.
   • NVIDIA T4, L4, V100: Büyük ölçekte üretken yapay zeka çıkarımı için dengeli performans sunar, özellikle Cloud Run aracılığıyla sunucusuz dağıtımlarda etkilidir.

🌟 Aşağıdaki akış diyagramı, ortamınıza en uygun GPU türünü seçmenize yardımcı olur:

GPU’nun Kullanım Alanları

Google Cloud GPU’ları şunları destekler:

• Üretken yapay zeka dağıtımları (ör. Cloud Run üzerinde LLM çıkarımı)
• Üç boyutlu görselleştirme ve grafik renderlama
• Yüksek Performanslı Hesaplama (HPC) iş yükleri.
• Ön eğitim, ince ayar ve çıkarım servisleri gibi özel makine öğrenmesi modellerini hızlandırma.

3. Özel Hızlandırıcı: Tensor Processing Unit (TPU)

GPU’lar çok yönlü motorlar ise, TPU’lar özel görevdeki roketlerdir; derin öğrenmenin matris ağırlıklı hesaplamalarını hızlandırmak için Google tarafından tasarlanmıştır.

Bu Uygulamaya Özel Tümleşik Devreler (ASIC) yalnızca hızlı değil, aynı zamanda Google ekosistemine derinlemesine entegredir. Search, Photos, Maps ve Gemini gibi servislerin temelinde yer alır ve günde bir milyardan fazla kullanıcıya etki eder.

TPU Mimarisi

TPU’nun mimari başarısı, veriyi işleme yönteminde gizlidir:

1. Sistolik Dizi Tasarımı
   Bunu, matris işlemleri için bir montaj hattı olarak düşünebilirsiniz. Bu tasarım, bellek erişimini azaltır ve verimliliği büyük ölçüde artırır.
2. Matrix Multiply Unit (MXU)
   Bu özel birim, tüm sinir ağı işlemlerinin merkezinde yer alan matris hesaplamalarını hızlandırır.
3. Inter-Chip Interconnect (ICI)
   TPU’lar, ultra hızlı optik bağlantılarla birbirine bağlanarak “TPU pod”lar oluşturur, yani birbiriyle bağlı çiplerden oluşan süper bilgisayarlar.
4. Dinamik Ölçekleme
   Optik devre anahtarlama sayesinde TPU kümeleri dinamik olarak “dilimler” haline gelebilir, böylece farklı yapay zeka iş yüklerine optimize biçimde ölçeklenebilir.

TPU Evrimi ve Ironwood’un Yükselişi

Yıllar içinde TPU’lar, eğitim hızlandırıcılarından çıkarım gücüne evrilmiştir. Bu evrimin zirvesi Google’ın 7. nesil TPU’su Ironwood’dur.

Ironwood, modellerin yalnızca yanıt vermekle kalmayıp aynı zamanda akıl yürütüp, tahmin edip uyum sağladığı bu yeni çıkarım çağında bir paradigma değişimini simgeliyor. Yenilikler arasında şunlar yer alır:

• SparseCore Hızlandırıcı: Ultra büyük yerleştirmeler (embeddings) için optimize edilmiştir, sıralama ve öneri sistemleri için idealdir.
• Çip başına 192 GB HBM: Gerçek zamanlı üretken yapay zeka iş yüklerini yönetmek için çok büyük belleğe sahiptir.
• 1,2 TBps ICI bant genişliği: Eşsiz dağıtık çıkarım (distributed inference) iletişim hızı vardır.

Temel TPU Kullanım Alanları

1. Büyük Modellerin Eğitimi
   Temel ve büyük dil modellerinin oluşturulması ve ince ayarı için idealdir.
2. Öneri Sistemleri
   SparseCore mimarisi yerleştirme ağırlıklı iş yüklerini hızlandırır.
3. Bilim ve Sağlık Yapay Zekası
   Moleküler modelleme, protein katlanması ve ilaç keşfinde kullanılır.
4. Yüksek Performanslı Çıkarım
   V5e ve Ironwood sürümleri, özellikle JetStream ve Vertex AI kullanan üretken yapay zeka modelleri için maliyet etkin çıkarım servislerini yeniden tanımlar.

🌟 Aşağıdaki akış diyagramı, ortamınıza en uygun GPU ve TPU türleri arasında seçim yapmanıza yardımcı olur:

Yazılım Avantajı: XLA, JAX ve PyTorch/XLA

Donanım, ancak onu yöneten yazılım kadar güçlüdür. Google’ın Accelerated Linear Algebra (XLA) derleyicisi ve JAX gibi kütüphaneler, geliştiricilerin özel kod yazmasına gerek kalmadan modellerin TPU verimliliğinden otomatik olarak faydalanmasını sağlar.

Cohere ve Anthropic gibi şirketler, temel modelleri TPU V4 ve V5e altyapısı üzerinde geliştirir. Bu, Google Cloud’un ölçek, performans ve maliyeti dengelemedeki olgunlaşmış yaklaşımının bir göstergesidir.

Yapay Zeka Devriminin Temelindeki Güç

Google’ın yapay zeka altyapısını yalnızca çip ve sunuculardan oluşan bir koleksiyon olarak düşünmek doğru olmaz. Aslında, büyük ölçekli zekâ talepleri için inşa edilmiş canlı bir ekosistemdir. Her ileri modelin arkasındaki görünmeyen makine şöyle çalışır: AI Hypercomputer çok katmanlı iş yüklerini koordine eder, GPU’lar yaratıcı esnekliği sağlar, TPU’lar ise derin öğrenmede nelerin mümkün olduğunu yeniden tanımlar.

Google Cloud’un altyapısı, LLM eğitme, çok modlu uygulamalar geliştirme ya da üretken yapay zeka çıkarımını milyonlarca kullanıcı için ölçekleme gibi inovasyonlar için gereken temeli sağlar.

Akıllı hesaplamanın yeni dönemine girerken, bir şey oldukça nettir: Google’ın yapay zeka altyapısı sadece ayak uydurmakla kalmaz, öncülük eder ve yapay zeka çağındaki olasılıkların sınırlarını yeniden çizer.

Sıradaki yapay zeka atılımınızı güçlendirmeye hazır mısınız? Bizimle iletişime geçin, CPU’dan TPU’ya Google Cloud’un yeni nesil altyapısında yapay zeka iş yüklerinizi tasarlayıp dağıtmanıza destek olalım. En iddialı fikirlerinizi kurumsal düzeyde performans, ölçeklenebilirlik ve verimlilikle hayata geçirin.