Veri Hattı (Data Pipeline) Oluşturma: Airflow ve Luigi

Veri biliminde "modelleme" aşaması buzdağının sadece görünen kısmıdır. Bu buzdağının altında, verinin ham kaynaktan alınıp işlendiği, temizlendiği ve analiz edilebilir hale getirildiği karmaşık bir süreç yatar. Bu süreci otomatize eden yapıya Veri Hattı (Data Pipeline) denir.
Büyük ölçekli projelerde bu adımları manuel olarak yönetmek imkansızdır. Bir adım hata verdiğinde ne olacağını, hangi adımın hangisine bağlı olduğunu (dependency) ve işlemlerin zamanlamasını yönetmek için Workflow Orchestration (İş Akışı Orkestrasyonu) araçlarına ihtiyaç duyarız. Bu alandaki iki dev isim ise Apache Airflow ve Luigi'dir.

---

Veri Hattı Bileşenleri: ETL Süreci​

Bir veri hattı temel olarak üç aşamadan oluşur:

1. Extract (Çıkar): Veriyi farklı kaynaklardan (API, SQL, NoSQL, Log dosyaları) çekme.
2. Transform (Dönüştür): Veriyi temizleme, formatlama ve analiz için hazırlama.
3. Load (Yükle): Hazır olan veriyi bir veri ambarına veya analiz sistemine yükleme.

---

Apache Airflow: Dinamik ve Güçlü Orkestratör​

Airbnb tarafından geliştirilen ve daha sonra Apache Vakfı'na devredilen Airflow, günümüzde endüstri standardı haline gelmiştir. Airflow'un temelinde DAG (Directed Acyclic Graph) kavramı yatar.

DAG Nedir?​

DAG, iş akışınızın görsel bir haritasıdır. "Acyclic" (döngüsüz) olması, bir adımın asla geriye dönüp bir sonsuz döngü oluşturmayacağı anlamına gelir. Her düğüm (node) bir görevi, her ok ise bir bağımlılığı temsil eder.

Airflow’un Avantajları​

• Python ile Tanımlama: Tüm iş akışları saf Python kodlarıyla yazılır. Bu sayede dinamik görevler oluşturulabilir.
• Zengin Kullanıcı Arayüzü: Hangi görevlerin başarılı olduğunu, hangilerinin hata verdiğini şık bir web arayüzünden izleyebilirsiniz.
• Geniş Operatör Desteği: AWS, Google Cloud, PostgreSQL veya Slack gibi yüzlerce farklı sistemle entegre çalışabilir.

---

Luigi: Basit ve Veri Odaklı​

Spotify tarafından geliştirilen Luigi, Airflow'a göre daha sade ve daha spesifik bir yaklaşıma sahiptir. Luigi, özellikle uzun süreli toplu (batch) işlemler için tasarlanmıştır.

Luigi’nin Çalışma Mantığı​

Luigi'nin odağında "Dosyalar" ve "Görevler" vardır. Bir görev, bir çıktı dosyası üretir. Bir sonraki görev, bu çıktı dosyasının var olup olmadığını kontrol eder. Eğer dosya varsa, görevi "tamamlanmış" kabul eder.

Luigi’nin Avantajları​

• Sadelik: Airflow'un karmaşık altyapısına ihtiyaç duymayan daha küçük ölçekli projeler için idealdir.
• Dosya Bağımlılığı Yönetimi: Çıktı tabanlı kontrol sistemi sayesinde veri tutarlılığını sağlamak daha kolaydır.
• Merkezi Zamanlayıcı: Görevlerin çakışmasını önleyen basit bir merkezi kontrol mekanizmasına sahiptir.

---

Airflow vs. Luigi: Hangisini Seçmeli?​

Bu iki araç arasındaki farkları bir tablo üzerinden inceleyelim:

Veri Hattı Yönetiminde "Altın Kurallar"​

Hangi aracı seçerseniz seçin, sağlam bir veri hattı oluşturmak için şu ilkelere sadık kalmalısınız:

1. Idempotency (Aynı Çıktı İlkesi): Bir görev aynı girdiyle 100 kere de çalışsa, her zaman aynı çıktıyı üretmelidir.
2. Hata Yönetimi (Retry Mechanisms): Bir API geçici olarak yanıt vermediğinde, sistem otomatik olarak belirli aralıklarla tekrar deneme yapabilmelidir.
3. İzleme ve Uyarı: Bir görev hata aldığında ekibe anında (E-posta, Slack vb.) bildirim gitmelidir.
4. Parçalara Ayır (Modularity): Dev bir ETL kodunu tek bir görevde çalıştırmak yerine, küçük ve takip edilebilir alt görevlere bölün.

---

Sonuç​

Veri miktarı arttıkça, bu veriyi yöneten boru hatlarının sağlamlığı da kritikleşir. Eğer çok sayıda veri kaynağınız varsa ve karmaşık bağımlılıkları yönetmeniz gerekiyorsa Airflow sizin için en iyi tercihtir. Ancak daha odaklanmış, dosya tabanlı ve kurulumu hızlı bir yapı istiyorsanız Luigi harika bir başlangıç noktasıdır.