Kurumsal Kullanıma Hazır Yapay Zeka: Vertex AI’deki Temel Servisler – Bölüm 2

Vertex AI, Google Cloud’un kurumsal yapay zekayı oluşturmak ve ölçeklendirmek için sunduğu tamamen yönetimli platformdur. Geliştirme, eğitim ve dağıtım araçlarını tek bir yerde birleştirir. Üretken yapay zekadan geleneksel makine öğrenmesine, Gemini gibi modellerin gücüyle tek bir ortamda geliştirmeyi hızlandırır ve büyük ölçekte eğitim, ayarlama ve dağıtım araçları sunar.

Bu yazı, Vertex AI yazı serimizin ikinci bölümüdür. İlk bölümde şunları inceledik:

1. Vertex AI’nin Temel Servisleri: Model Garden, Vertex AI Studio, GenAI Evaluation ve Tuning

2. Vertex AI Agent Builder: Agent Garden, Vertex AI Agent Engine, RAG Engine, Vertex AI Search ve Vector Search

3. Notebooks: Colab Enterprise ve Vertex AI Workbench’in özellikleri

İkinci bölümde aşağıdaki konuları ele alarak, daha derinlemesine inceleyeceğiz:

4. Model Geliştirme: Feature Store, Datasets, Training, Experiments, Metadata ve Ray on Vertex AI gibi temel bileşenleri keşfedeceğiz.

5. Dağıtım ve Kullanım: Model Registry, Online ve Batch Inference, ayrıca Monitoring konularını inceleyeceğiz.

Bu iki bölümlük seri ile, özellik mühendisliğinden model eğitimine, dağıtım ve sürekli izlemeye, Vertex AI’nin sunduğu makine öğrenmesi yaşam döngüsünün her aşamasını destekleyen uçtan uca iş akışını ele almış olacağız.

🎥 Okumak yerine izlemeyi tercih ediyorsanız, NotebookLM’de bu yazının içeriğinden hazırladığımız slayt ve görsellerle oluşturulmuş videoyu buradan izleyebilirsiniz.

4. Model Geliştirme

Vertex AI, modelleri dağıtmak için bir alan sağlamanın ötesine geçer. Özellik mühendisliği ve veri kümesi düzenlemeden eğitime, deneye ve ölçeklendirmeye kadar tüm model yaşam döngüsü yönetimi için eksiksiz bir ekosistem sunar. Bu temel, fikir aşamasından kurumsal düzeyde yapay zekaya geçmek isteyen kurumlar için kritik öneme sahiptir. Aşağıdaki bileşenler, Vertex AI’nin canlı ortam öncelikli bir makine öğrenmesi yaklaşımını nasıl mümkün kıldığını gösterir. Böylece her adım izlenebilir, tekrarlanabilir ve büyüyen ölçek için optimize edilir.

4.1 Feature Store

Vertex AI Feature Store, operasyonel makine öğrenmesi işlem hatlarının merkezinde yer alır ve yapay zekadaki en büyük zorluklardan biri olan eğitim ve kullanım genelinde özelliklerin tutarlı bir şekilde yönetilmesi ve yeniden kullanılması sorununu çözer.

• BigQuery ile Entegre Depolama: Feature Store, ekipleri ayrı ayrı altyapılar kurmaya zorlamak yerine, doğrudan BigQuery’yi offline store olarak kullanır. Bu sayede veri bilimciler geçmiş verileri çoğaltmadan eğitimde kullanabilir.
• Gerçek Zamanlı Yapay Zeka için Online Servis: Feature Store, canlı tahminler için en güncel özellik değerlerine düşük gecikmeyle erişim sağlar.
  
  • Bigtable Serving: Yüksek hacimli ve yüksek verimli iş yükleri için uygundur, yoğun önbellek kullanımı olan senaryolara göre optimize edilmiştir.
  • Optimize Edilmiş Online Servis: Vektör arama, kişiselleştirme motorları ve öneri sistemleri gibi yerleştirme gerektiren ultra hızlı tahminler için idealdir.
• Özellik Yönetimi: Ekipler özellikleri Feature Group’lar altında düzenleyebilir ve Feature Registry ile takip edebilir. Bu, özelliklerin projeler arasında yeniden kullanılabilir olmasını sağlar.
• İzleme ve Sapma Tespiti: Dahili istatistikler ve anomali tespiti sayesinde kurumlar veri sapmalarını proaktif olarak ele alabilir ve modellerin doğruluğunu koruyabilir.

💡 Bu, ister sahtecilik tespit sistemi ister gerçek zamanlı öneri motoru olsun, Feature Store’un özellikleri güncel, tutarlı ve canlıya hazır tutmasını sağlar.

🌟 Vertex AI Feature Store hakkında daha fazla bilgi edinmek için aşağıdaki videoyu izleyin:

4.2 Datasets

Veri kümleri (datasets), makine öğrenmesinin omurgasını oluşturur. Vertex AI, verileri organize etme, etiketleme ve model eğitimine hazırlama sürecini kolaylaştıran yönetimli bir veri kümesi servisi sunar.

• Merkezi Yönetim: Tüm veri kümeleri tek bir yerde tutulur, bu da veri silolarını azaltır ve işbirliğini kolaylaştırır. Etiketler, açıklamalar ve veri kökeni doğal olarak takip edilir.
• Çoklu Veri Türü Desteği: Vertex AI veri kümeleri, görsel, video, tablo ve zaman serisi verileri gibi kurumsal kullanım senaryolarının çoğunu kapsar. Bu esneklik, aynı platformda hem bir talep tahmin modeli hem de bilgisayarlı görü sistemi eğitmenizi sağlar.
• İnsan Destekli Etiketleme: Vertex AI, tıbbi görüntüleme gibi, kaliteli eğitim verisi için uzman girdisi gerektiren durumlarda insan etiketleme hizmetlerini entegre eder.

💡 Bu yapılandırılmış veri kümesi yaklaşımı maliyetleri azaltır, denemeleri hızlandırır ve ekiplerin içgörüye daha fazla odaklanmasını sağlar.

🌟 Vertex AI Datasets hakkında daha fazla bilgi edinmek için aşağıdaki videoyu izleyin:

4.3 Training

Eğitim (training), fikirlerin hesaplama gücüyle buluştuğu yerdir. Vertex AI hem yeni başlayanlara hem de deneyimli makine öğrenmesi mühendislerine hitap eder.

• AutoML ile Hızlı İnovasyon: Makine öğrenmesi bilgisi sınırlı olan ekipler için idealdir. AutoML, modelin eğitimini, ayarlarını ve dağıtımını otomatikleştirir. Müşteri kaybı tahmini veya müşteri segmentasyonu gibi hızlı dönüş gerektiren iş senaryolarında oldukça güçlüdür.
• Özel Eğitim: Vertex AI, daha fazla kontrol isteyen veri bilimi ekipleri için, Docker konteynerleriyle paketlenmiş her türlü makine öğrenmesi çerçevesinde eğitime olanak tanır.
  
  • Esnek Hesaplama: CPU, GPU ve TPU yapılandırmalarını otomatik ölçekleme seçenekleriyle ayarlayabilirsiniz.
  • İş Türleri: Özel işler çalıştırabilir, hiperparametre ayarlama süreçlerini otomatikleştirebilir veya modelleri Model Registry’ye çıktılar halinde entegre eden bir eğitim işlem hattı kurabilirsiniz.
• İşlem Hattı Entegrasyonu: Eğitim işleri, makine öğrenmesinden yeniden üretilebilirlik ve CI/CD için doğrudan Vertex AI Pipelines’a bağlanır.

💡 Bu çift yönlü eğitim yaklaşımı hız ve esneklik dengesi sağlar. Böylece kurumlar çeşitli makine öğrenmesi ihtiyaçlarını verimlilikten ödün vermeden karşılayabilir.

🌟 Vertex AI Training hakkında daha fazla bilgi edinmek için aşağıdaki videoyu izleyin:

4.4 Experiments

Deneyler (experiments), yinelemeli model geliştirme için yapı sağlayarak veri bilimcilerin yaklaşımları karşılaştırmasına ve en iyi performans gösteren modeli güvenle seçmesine olanak tanır.

• Çalışma Takibi: AutoML veya özel eğitim fark etmeksizin, her eğitim denemesi veri kümeleri, hiperparametreler ve metriklerle birlikte kaydedilir.
• Merkezi Karşılaştırma: Sonuçlar Vertex ML Metadata içinde saklanır ve Vertex AI TensorBoard üzerinden görselleştirilir. Böylece denemeler yan yana kolayca karşılaştırılabilir.
• Tekrarlanabilirlik: Deneyler, kararların veri ve yapılandırmalara kadar izlenebilmesini sağlayan bağlamsal gruplamalar olarak hizmet eder.

💡 Vertex AI, deneyleri birinci sınıf varlıklar olarak ele alarak makine öğrenmesini sadece deneme-yanılma değil, yapılandırılmış bir süreç haline getirir.

🌟 Vertex AI Experiments hakkında daha fazla bilgi edinmek için aşağıdaki videoyu izleyin:

4.5 Metadata

Kurumsal ölçekte metadata takibi sadece faydalı değil, aynı zamanda uyumluluk, tekrarlanabilirlik ve yönetişim için gereklidir.

• Kapsamlı Grafik Modeli: Artifacts (veri kümeleri, modeller), Executions (iş akışı adımları) ve Contexts (deneyler, işlem hatları) karmaşık sorgulara ve derin içgörülere izin veren zengin bir metadata grafiği oluşturur.
• Köken ve Denetlenebilirlik: Ekipler şu sorulara yanıt verebilir:
  
  • Bu modeli hangi veri kümesi üretti?
  • En iyi sonuçları hangi eğitim işi verdi?
  • Model performansı farklı hiperparametrelerle nasıl değişti?
• Hata Ayıklama ve Analiz: Metadata, bir modelin neden başarılı veya başarısız olduğunu göstererek ekiplerin daha etkili yineleme yapmasını sağlar.

💡 Bu metadata odaklı yaklaşım, makine öğrenmesini deneysel bir süreçten kontrollü bir mühendislik disiplinine dönüştürür ve kurumsal BT ve yasal standartlarla uyumlu hale getirir.

4.6 Ray on Vertex AI

Ray on Vertex AI (RoV), açık kaynak Ray’in esnekliğini Google Cloud’un ölçeklenebilirliğiyle birleştirerek dağıtılmış yapay zeka iş yüklerini bir sonraki seviyeye taşır.

• Yerel Ray Entegrasyonu: Zaten Ray kullanan geliştiriciler, kodlarını Vertex AI üzerinde minimum değişiklikle çalıştırabilir.
• Yönetimli Kümeler: Kalıcı Ray kümeleri, dağıtılmış kaynak yönetimindeki zorlukları azaltır ve geniş ölçekli paralel eğitim veya pekiştirmeli öğrenme süreçlerini kolaylaştırır.
• Otomatik Ölçekleme: Ray worker pool’ları, iş yüküne göre genişler veya daralır, bu da verimliliği artırır.
• Entegre Geliştirme: Kümelere Colab Enterprise veya Vertex AI Workbench üzerinden erişilebilir ve Ray SDK’sı tam destek sağlar.
• BigQuery Entegrasyonu: RoV, BigQuery’ye yerel olarak bağlanır, böylece ekipler ek ETL işlem hatlarına ihtiyaç duymadan büyük ölçekli tablo verilerini işleyebilir.

💡 Bu, Vertex AI’yi yalnızca geleneksel makine öğrenmesi ve derin öğrenme için değil, aynı zamanda simülasyon, pekiştirmeli öğrenme ve dağıtılmış eğitim gibi yeni nesil iş yükleri için de bir merkez haline getirir.

🌟 Ray on Vertex AI hakkında daha fazla bilgi edinmek için aşağıdaki videoyu izleyin:

5. Dağıtım ve Kullanım

Bir makine öğrenmesi modelini eğitmek işin yalnızca yarısıdır. Asıl iş etkisi, modeller canlı ortama geçtiğinde ortaya çıkar. Bu da modellerin uygulamalara ve kullanıcılara ölçekli bir şekilde erişilebilir olmasını, aynı zamanda kalite açısından sürekli izlenmesini ve korunmasını gerektirir. Vertex AI, bu son aşamayı kapsayan kapsamlı bir araç seti sunar: kayıt, dağıtım, çıkarım ve izleme.

5.1 Model Registry

Vertex AI Model Registry, bir kurum içindeki tüm modeller için tek doğruluk kaynağı (SSOT) görevi görür. Modeller ister AutoML, ister özel eğitim, ister BigQuery ML ile geliştirilmiş olsun, kayıt sistemi bunların nasıl saklandığını, versiyonlandığını ve dağıtıldığını standartlaştırır.

• Merkezi Yönetim: Birleşik bir repo, tüm projeler arasında görünürlük sağlar. Böylece ekipler hangi modellerin canlıda, hangilerinin testte olduğunu veya artık kullanılmadığını hızlıca görebilir.
• Versiyonlama: Her modelin birden fazla versiyonu olabilir. Bu da denemelerin gelişimini takip etmeyi, önceki sürümlere dönmeyi veya performans karşılaştırmaları yapmayı kolaylaştırır.
• Doğrudan Entegrasyon: Takımlar modelleri değerlendirebilir, toplu tahmin çalıştırabilir veya çevrimiçi çıkarım için endpoint’lere dağıtabilir. BigQuery ML modelleri de ek işlem gerektirmeden doğrudan kayıt edilir.
• Etiket ve Alias Desteği: Modeller production veya staging gibi takma adlarla ve etiketlerle yönetilebilir, bu da yönetişim politikalarıyla uyum sağlar.

💡 Modellerin bu şekilde merkezileştirilmesi ve yönetişimi, yalnızca doğrulanmış ve onaylanmış modellerin canlıya ulaşmasını garanti eder, riski azaltır ve dağıtım hızını artırır.

5.2 Online Inference (Çevrimiçi Çıkarım)

Çevrimiçi çıkarım; dolandırıcılık tespit sistemleri, öneri motorları ve sohbet tabanlı yapay zeka gibi müşteri odaklı uygulamaları yönlendiren gerçek zamanlı tahminleri destekler.

• Ağ Geçidi Olarak Uç Noktalar (Endpoints as Gateways): Gerçek zamanlı tahminleri etkinleştirmek için modeller bir uç noktaya (endpoint) dağıtılır. Bu uç nokta, uygulamaların tahmin isteklerini gönderebileceği bir URL sağlar.
  
  • Bir uç noktaya birden fazla model dağıtılabilir. Bu trafik bölme yoluyla kademeli geçişe olanak tanır. (ör. performansı izlerken trafiğin %10’unu yeni sürüme yönlendirmek).
  • Uç noktalar genel veya özel olabilir; güvenlik açısından hassas iş yükleri için Private Service Connect kullanarak ayrı uç noktalar oluşturmak en iyi uygulamadır.
• Ölçeklenebilirlik ve Verimlilik: Uç noktalar talebe göre otomatik olarak ölçeklenir ve kaynak kullanım eşikleri kullanıcı tarafından yapılandırılabilir. Daha da önemlisi, ölçeklendirme yapılandırmaları yeniden dağıtıma gerek kalmadan değiştirilebilir ve bu da operasyonel çevikliği garanti eder.
• Esnek İstek Türleri:
  
  • Standart çıkarım için predict
  • Yorumlanabilirlik için explain, modelin tahminini neden yaptığını açıklayan özellik atamalarını gösterir.
  • Daha düşük gecikme ve özel yük gerektiren gelişmiş özel konteynerler için rawPredict

💡 Bu özellikler, çevrimiçi çıkarımı, düşük gecikmeli işlem sistemlerinden yorumlanabilirliğe dayalı kurumsal kullanım senaryolarına kadar her şeyi destekleyen oldukça esnek bir dağıtım seçeneği haline getirir.

5.3 Batch Inference (Toplu Çıkarım)

Tüm iş yükleri anlık yanıt gerektirmez. Toplu çıkarım, kurumların milyonlarca kaydı tek seferde işleyen büyük ölçekli, asenkron tahmin işlerini yürütmesine olanak tanır.

• Girdi ve Çıktı Esnekliği:
  
  • Girdiler, model türüne bağlı olarak BigQuery tabloları, Cloud Storage CSV/JSONL dosyaları veya TFRecords olabilir.
  • Çıktılar, analiz için hazır depolama amacıyla BigQuery’ye veya CSV/JSONL formatında Cloud Storage’a yazılabilir.
• Optimize Edilmiş Kaynak Tahsisi: Çevrimiçi çıkarımın aksine, toplu işler otomatik ölçeklenmez. Bunun yerine, öngörülebilir maliyet ve çalışma süresi için replika sayılarını önceden yapılandırırsınız. En iyi uygulamalar, uzun süreli işlerde verimliliği sağlamak için makinelerin doğru boyutlandırılmasını önerir.

💡 Toplu çıkarım; veri gölü puanlama işlem hatları, müşteri segmentasyonu analizleri veya periyodik uyumluluk raporlamaları gibi, gecikmeden (latency) ziyade kapasitenin (throughput) önemli olduğu senaryolar için uygundur.

🌟 Vertex AI’de Model Registry, Çevrimiçi ve Toplu Çıkarım hakkında daha fazla bilgi için aşağıdaki videoyu izleyin:

5.4 Monitoring (İzleme)

Bir modeli dağıtmak bitiş çizgisi değildir; sürekli performans yönetiminin başlangıcıdır. Vertex AI, modellerin sağlıklı, doğru ve hesap verebilir kalmasını sağlayan izleme çözümleri sunar.

• Model İzleme v1:
  
  • Uç nokta seviyesinde yapılandırılır.
  • Skew (eğitim verisi ve sunulan veri arasındaki fark) ve drift (zaman içerisinde canlı veri dağılımlarındaki değişiklikler) tespit eder.
  • Kategorik ve sayısal özellikler için çalışır, Jensen-Shannon mesafesi gibi mesafe ölçümleri kullanır.
• MaaS Modelleri için Gözlemlenebilirlik Panosu: Vertex AI, Gemini veya iş ortaklarının büyük dil modelleri (LLM) gibi yönetimli modeller için gecikme, kapasite ve hata oranları hakkında özelleştirilmiş bir pano ile içgörüler sunar. Bu, büyük ölçekli üretken yapay zeka uygulamaları için kritik öneme sahiptir.
• Cloud Monitoring Entegrasyonu: Kurumlar, Metrics Explorer içinde tahmin sayıları, gecikme ve hatalar gibi metrikleri görüntüleyebilir, özel panolar oluşturabilir ve uyarıları olay müdahale iş akışlarına doğrudan entegre edebilir.

💡 Vertex AI, izlemeyi yaşam döngüsüne entegre ederek, kurumların sadece modelleri dağıtmasını değil, aynı zamanda performanslarını zaman içinde sürdürmesini sağlar ve sorunları iş sonuçlarını etkilemeden önce yakalar.

⭐⭐⭐

Kurumsal ölçekte makine öğrenmesi modelleri oluşturmak, eğitmek ve dağıtmak sağlam altyapı ve optimize edilmiş iş akışları gerektirir. Vertex AI tam olarak bunu sunar. Veri hazırlamayı basitleştiren Feature Store ve yönetimli veri setlerinden, model geliştirmeyi hızlandıran eğitim işlem hatları ve deneylere kadar Vertex AI, veri bilimcilerin ve makine öğrenmesi mühendislerinin altyapı sorunlarıyla boğuşmadan yüksek kaliteli modeller yaratmaya odaklanmasını sağlar.

Platform ayrıca kapsamlı MLOps yetenekleri sunar. Model Registry ile kurumlar modelleri yönetebilir, sürümleri takip edebilir ve uyumluluğu sürdürebilir. Çevrimiçi ve toplu çıkarım seçenekleri tahminleri gerçek zamanlı veya büyük ölçekli sunmayı kolaylaştırırken, izleme araçları model sağlığını takip eder, canlı veri dağılımlarında zaman içerisindeki değişiklikleri tespit eder ve performansı zaman içinde sürdürür. Ray on Vertex AI gibi servisler, dağıtık ve paralel iş yükleri için ek esneklik sağlar, karmaşık yapay zeka projelerinin verimli çalışmasını garanti eder.

Vertex AI; özellik yönetimi, ölçeklenebilir eğitim, deney takibi, dağıtım ve izlemeyi birleştirerek, makine öğrenmesini izole deneylerden canlıya çıkacak kalitede, kurumsal kullanıma hazır sistemlere dönüştürür.

Yapay zeka yolculuğunuzda bir sonraki adımı atın. Bizimle iletişime geçin, Vertex AI ile gerçek iş etkisi yaratan modeller oluşturmanıza, dağıtmanıza ve yönetmenize destek olalım.