Alibaba Cloud perkenalkan Apache Flink 2.0

JAKARTA (IndoTelko) - Alibaba Cloud baru-baru ini memperkenalkan fitur-fitur inovatif Apache Flink 2.0 dalam acara Flink Forward Asia. Acara ini menjadi konferensi pertama di Asia Tenggara yang membahas Apache Flink, sebuah framework open-source yang dirancang untuk memadukan stream-processing dan batch-processing oleh Apache Software Foundation. Sebagai pendukung utama jangka panjang, Alibaba Cloud telah berperan penting dalam mengembangkan komunitas Apache Flink, khususnya di Asia.

Menurut Head of Open Data Platform at Alibaba Cloud Intelligence, Feng Wang, dengan semakin besarnya kebutuhan akan data, penting bagi kita untuk memiliki pemrosesan data yang efisien, scalable, dan terintegrasi. Peluncuran Flink 2.0 yang akan datang adalah perkembangan besar sejak teknologi ini diperkenalkan pada 2016, sekaligus menandai sepuluh tahun keberhasilannya sebagai layanan unggulan Apache. "Kami berkomitmen untuk terus mendukung komunitas Apache Flink dan akan mengeksplorasi integrasi kemampuan canggih Flink 2.0 ke dalam solusi cloud kami untuk pelanggan global dalam waktu dekat," katanya.

Dijadwalkan rilis pada awal 2025, Apache Flink 2.0 menandai evolusi besar dalam teknologi pemrosesan data, dengan penekanan pada kemajuan signifikan menuju arsitektur terpaduuntuk pemrosesan batch dan stream. Pendekatan ini menyederhanakan komputasi di era cloud-native, sekaligusmenjadi landasan untuk menangani beban kerja hybrid yang penting di era GenAI, di mana kemampuan pemrosesan data yang canggih sangat diperlukan untuk aplikasi AI baru.

Berikut kontribusi utama Alibaba Cloud dalam Apache Flink 2.0 :

•
Disaggregated State Storage and Management

Untuk mendukung teknologi cloud modern Flink, Alibaba Cloud memperkenalkan fitur baru di Flin 2.0 yang disebut Disaggregated State Storage and Management. Fitur ini memungkinkan penggunaan penyimpanan jarak jauh sebagai pengganti disk lokal, sehingga pengguna dapat mengelola data berukuran besar dengan lebih mudah. Arsitektur baru ini memungkinkan pengguna menanganikumpulan data besar tanpa terkendala kapasitas disk lokal, rescale pekerjaan dengan lebih cepat dan lebih efisien, mengurangi lonjakan sumber daya, serta mencapaicheckpoint yang ringan dan cepat secara native.

•
Materialized Table

Fitur ini dirancang untuk lebih menyederhanakan pemrosesan data batch dan streamingsekaligus memberikan pengalaman pengembangan yang terintegrasi. Dalam rilis Flink 2.0 mendatang, Alibaba Cloud meningkatkan dukungan operasional untuk Materialized Tables, termasuk integrasi konektor dengan format lake terkini dan scheduler yang siap guna.

•
Adaptive Batch Execution

Dengan mengoptimalkanrencana pengolahan data secara dinamis disesuaikan dengan logis dan fisik berdasarkan insight dari eksekusi, Flink 2.0 meningkatkan efisiensi dan kinerja pemrosesanbatch dan analisis data secara real-time Online Analytical Processing (OLAP).

•
Arsitektur Streaming Lakehouse

Dengan pemrosesanstream-batch yang terpadu, arsitektur ini mendukunganalitik data real-time dengan lebih baik melaluipemanfaatan penyimpanan data yang terintegrasi, open format, dan efisiensi biaya dalam paradigma Lakehouse. Dengan demikian, pengguna dapat menangani pembaruandata yang dinamis dan kueri dengan tingkat ketepatan data yang bervariasi, sehinga memenuhi berbagaikebutuhananalitik.

Perusahaan penyedia software-as-a-service (SaaS) terkemuka di Indonesia, Mekari, memanfaatkan kemampuan pemrosesanstream Flink 1.0 untuk mengatasi tantangan dalam pengolahandan integrasi data secara real-time. Dengan Flink, Mekari berhasil menangkap data secara real-time dari berbagai sumber dan mengintegrasikannya dengan mulus ke dalam MaxCompute, platform pemrosesan data skala besar milik Alibaba.

Integrasi ini tidak hanya mengurangi waktu pemrosesan, tetapi juga meningkatkan kecepatan dan kualitas pengambilan keputusanmelalui proses streaming data yang andal, sehingga mendorong efisiensi operasional dan memberikan wawasan yang tepat waktu dan akurat kepada para pemangku kepentingan.

Ditambahkannya, Apache Flink 2.0 menghadirkan masa depan pemrosesan data dan potensi dampaknya pada industri cloud+AI. Dengan memodernisasi komponennya, mengadopsilebih banyak inovasi AI, dan meningkatkan integrasi dengan proyek-proyek Apache lainnya, Apache Flink telah menetapkan standar baru untuk industri. "Kami berharap dapat terus terlibatdengan komunitas Apache Flink untuk memaksimalkan potensiteknologi revolusioner ini," katanya.

Dalam acara tersebut, Alibaba Cloud juga mengumumkan telah membuka akses open-source untuk Fluss (Flink Unified Streaming Storage) di GitHub, sebuah solusi penyimpanan streaming yang dirancang untuk analitik real-time dan berfungsisebagai lapisan data real-time pada arsitektur Lakehouse. Fluss menjembatani kesenjangan antara data streaming dan data Lakehouse, memfasilitasi pengumpulan dan pemrosesan data dengan latensi rendah dan throughput tinggi. Solusi ini terintegrasi secara mulus dengan mesin komputasi terkemuka, termasuk Apache Flink, untuk meningkatkan utilitas dan efisiensinya dalam pengelolaan data.

Alibaba Cloud terus berkontribusi pada pengembangan komunitas open-source Apache Flink, mengoptimalkan lapisanSQL dan Runtime Flink, serta mengintegrasikan Flink dengan proyek ekosistem lainnya. (mas)