BAŞARI HIKAYELERI
Hopi – Google Cloud Veri Analitiği Başarı Hikayesi
Hopi, Google Cloud Data Analytics servisleriyle veri analizi kabiliyetlerini ölçeklendirir ve kullanıcılarına kişiselleştirilmiş fırsatlar sunar.
Sonuçlar - Google Cloud tarafından yönetilen servisleri kullanarak performansı arttı. - BigQuery, Dataflow ve Google Kubernetes Engine ile hızla ölçeklenme sağlayan gerçek zamanlı veri analizi mümkün hale geldi. - Operasyonel personel maliyetleri azaldı. - BigQuery slotlarını önceden satın alarak maliyetlerini %40 azalttı. - Veri işleme hızı arttı.
Hopi, Google Cloud ile veri analizini ölçeklenebilirlik ve performans açısından önemli ölçüde geliştirdi ve uçtan uca görünürlük kazandırdı.
Hopi şu anda mikroservis tabanlı olan altyapısını Google Kubernetes Engine, Compute Engine ve Cloud SQL kullanarak çalıştırıyor ve uygulama “event” lerini yönetmek için Pub/Sub kullanıyor. Hopi uygulaması, uygulama içindeki kullanıcı hareketleri ve konumlarına göre kişiselleştirilmiş teklifler sunduğundan, her gün 15 milyon “event” işlemektedir. Kullanıcı veya işlem sayısının çok yoğun şekilde arttığı anlarda bile, sistemlerinin herhangi bir tıkanıklık olmadan çalışmaya devam ettiğini belirtiyorlar.
Hopi, çok sayıda farklı senaryo için Google Cloud tarafından yönetilen servisleri kullandığı için iş yükleri azaldı. Geliştirme sırasında yapılan değişiklikler, Cloud Build kullanılarak bir CI/CD hattı aracılığıyla otomatik olarak - değişikliklerle tetiklenerek - canlı ortama gönderdikleri bir yapıya ulaştılar. Pub/Sub'daki “event” lerin, Hopi'de iş yükü oluşturmadan doğrudan BigQuery'ye aktarılması Hopi'nin operasyonel çalışmasını çok daha kolay hale getirdi. Böylelikle, Hopi veri ekibi, operasyonel işleri azaldığı için daha kritik görevlere odaklanabilir hale geldi. Ekip, BigQuery performansından çok memnun olduklarını belirtiyor.
Hopi'nin topladığı veriler, Veri Bilimi ekibinin altyapısını oluşturur. Hopi veri bilimi ekibi, toplanan verilere göre segmentasyon oluşturur ve reklam faaliyetleri için pazarlama ekibinin kullanımına sunar. Hopi ayrıca Dataproc'taki işleri için izleme ve alarm özelliklerini kullanarak projelerindeki her kullanıcı yetkisi değişikliğinde bildirim alınacağı bir sistem kurmuştur. Buna ek olarak, maliyet optimizasyonu için Dataproc “cluster” sürekli değil, belirli saatlerde çalışacak şekilde otomatikleştirilmiştir.
Kartaca olarak BigQuery'de slot rezervasyonu ile maliyet optimizasyonunu sürdürdük, gece çalışan işlerin maliyetlerini azaltmak için önden slot satın alımı yaptık. BigQuery’de yıllık slot rezervasyonu yaparak ve taahhüt vererek, performanstan ödün vermeden, %40 maliyet düşüşü sağladık.
GKE sürümünü güncelledik ve “instance” türlerini fiyat ve performans açısından optimize ederek dağıtımlarda kaynak kullanımını azalttık ve daha küçük kaynaklara (CPU, bellek) sahip “instance” lara geçiş yaptık.