Feng Wang, Head of Open Data Platform at Alibaba Cloud Intelligence/ Foto: Alibaba Cloud
Peningkatan pemrosesan data di era Gen AI menjadi penting. Merespon kebutuhan tersebut, Alibaba Cloud memperkenalkan Apache Flink 2.0, sebuah framework open-source yang dirancang untuk memadukan stream-processing dan batch-processing oleh Apache Software Foundation.
Alibaba Cloud merupakan pendukung utama jangka panjang dalam mengembangkan komunitas Apache Flink, khususnya di Asia. Melalui konferensi Flink Forward Asia yang digelar di Jakarta beberapa waktu lalu, Feng Wang, Head of Open Data Platform at Alibaba Cloud Intelligence mengatakan bahwa peluncuran Flink 2.0 adalah sebuah perkembangan besar.
Feng Wang mengungkap bahwa sejak teknologi ini pertama kali diperkenalkan pada 2026 (Flink 1.0), Flink 2.0 telah mengalami perkembangan yang pesat, sekaligus menandai sepuluh tahun keberhasilannya sebagai layanan unggulan Apache.
"Dengan semakin besarnya kebutuhan akan data, penting bagi kita untuk memiliki pemrosesan data yang efisien, scalable, dan terintegrasi. Kami berkomitmen untuk terus mendukung komunitas Apache Flink dan akan mengeksplorasi integrasi kemampuan canggih Flink 2.0 ke dalam solusi cloud kami untuk pelanggan global dalam waktu dekat,” tambah Feng Wang.
Apache Flink 2.0 yang dijadwalkan rilis pada awal 2025 menekankan pada kemajuan signifikan menuju arsitektur terpadu untuk pemrosesan batch dan stream. Pendekatan ini menyederhanakan komputasi di era cloud-native, sekaligus menjadi landasan untuk menangani beban kerja hybrid yang penting di era GenAI, di mana kemampuan pemrosesan data yang canggih sangat diperlukan untuk aplikasi AI baru.
Kontribusi utama Alibaba Cloud dalam Apache Flink 2.0 mencakup:
- Disaggregated State Storage and Management: Memungkinkan penggunaan penyimpanan jarak jauh sebagai pengganti disk lokal, sehingga pengguna dapat mengelola data berukuran besar dengan lebih mudah.
- Materialized Table: Fitur ini dirancang untuk lebih menyederhanakan pemrosesan data batch dan streaming sekaligus memberikan pengalaman pengembangan yang terintegrasi.
- Adaptive Batch Execution: Dengan mengoptimalkan rencana pengolahan data secara dinamis disesuaikan dengan logis dan fisik berdasarkan insight dari eksekusi, Flink 2.0 meningkatkan efisiensi dan kinerja pemrosesan batch dan analisis data secara real-time Online Analytical Processing (OLAP).
- Arsitektur Streaming Lakehouse: Dengan pemrosesan stream-batch yang terpadu, arsitektur ini mendukung analitik data real-time dengan lebih baik melalui pemanfaatan penyimpanan data yang terintegrasi, open format, dan efisiensi biaya dalam paradigma Lakehouse.
Saat ini, Mekari, perusahaan penyedia software-as-a-service (SaaS) di Indonesia, memanfaatkan kemampuan pemrosesan stream dari Flink 1.0 untuk mengatasi tantangan dalam pengolahan dan integrasi data secara real-time.
Dengan Flink, Mekari berhasil menangkap data secara real-time dari berbagai sumber dan mengintegrasikannya dengan mulus ke dalam MaxCompute, platform pemrosesan data skala besar milik Alibaba.
Integrasi ini tidak hanya mengurangi waktu pemrosesan, tetapi juga meningkatkan kecepatan dan kualitas pengambilan keputusan melalui proses streaming data yang andal, sehingga mendorong efisiensi operasional dan memberikan wawasan yang tepat waktu dan akurat kepada para pemangku kepentingan.
"Apache Flink 2.0 menghadirkan masa depan pemrosesan data dan potensi dampaknya pada industri cloud+AI. Dengan memodernisasi komponennya, mengadopsi lebih banyak inovasi AI, dan meningkatkan integrasi dengan proyek-proyek Apache lainnya, Apache Flink telah menetapkan standar baru untuk industri,” tutup Feng Wang.
