4.2. Akış İşleme

Stream işleme, hiç bitmeyen veri üzerinde hesaplama yapar; bu da batch’in tüm girdiyi bekleyebileceğiniz varsayımını kırar. Temel zorluk zamanın kendisidir: olaylar sırasız ve geç gelir, bu yüzden sistem bir şeyin ne zaman gerçekleştiğini (olay zamanı) ne zaman görüldüğünden (işleme zamanı) ayırt etmeli ve — filigranlar ve pencereler aracılığıyla — bir sonuç yaymadan önce yavaş kalanları ne kadar bekleyeceğine karar vermelidir. Bu bölüm, bu soruları yanıtlanabilir kılan Dataflow modelini kurar ve onu Apache Flink’in durumlu motorunda temellendirir.

İncelenen Konular

• 4.2.1. Sınırlı ve Sınırsız Veri: Sonlu sınırlı veri kümelerini sonsuz sınırsız akışlardan ve ikincisinin batch varsayımlarını neden kırdığını ayırır.
• 4.2.2. Olay Zamanı ve İşleme Zamanı: Kritik Ayrım: Bir olayın ne zaman gerçekleştiği ile sistemin onu ne zaman gözlemlediği arasındaki kritik ayrımı kurar.
• 4.2.3. Pencereleme: Tumbling, Sliding ve Session Pencereleri: Sınırsız bir akış üzerinde hesaplamayı sınırlamak için tumbling, sliding ve session pencerelerini kapsar.
• 4.2.4. Filigranlar: Geç Gelen Veriyi Yönetme Sanatı: Bir sonuç yaymadan önce geç veriyi ne kadar bekleyeceğine karar veren mekanizma olan filigranları açıklar.
• 4.2.5. Tetikleyiciler ve Birikim Modları: Sonuçların ne zaman tetiklendiğini denetleyen tetikleyicileri ve nasıl güncellendiğini denetleyen birikim modlarını kapsar.
• 4.2.6. Apache Flink: Durumlu Akış İşlemenin Derinliği: Akış modelini Flink’in durumlu motorunda, checkpointing’inde ve tam olarak bir kez işlemesinde temellendirir.