Apa itu Apache Flink?

Apache Flink digunakan untuk membangun berbagai jenis aplikasi streaming dan batch, karena memiliki banyak sekali fitur.
Beberapa jenis aplikasi umum yang didukung oleh Apache Flink adalah:

• Aplikasi berbasis peristiwa, menyerap peristiwa dari satu atau lebih aliran peristiwa dan menjalankan komputasi, pembaruan status, atau tindakan eksternal. Pemrosesan stateful memungkinkan penerapan logika di luar Transformasi Pesan Tunggal, yang hasilnya tergantung pada riwayat peristiwa yang diserap.
• Aplikasi Analitik Data, mengekstrak informasi dan wawasan dari data. Dieksekusi secara tradisional dengan mengueri kumpulan data terbatas, dan menjalankan kembali kueri atau mengubah hasil untuk memasukkan data baru. Dengan Apache Flink, analisis dapat dijalankan dengan cara terus memperbarui, streaming kueri atau memproses peristiwa yang diserap dalam waktu nyata, terus mengeluarkan dan memperbarui hasil.
• Aplikasi pipeline data, mengubah dan memperkaya data untuk dipindahkan dari satu penyimpanan data ke penyimpanan data lainnya. Secara tradisional, extract-transform-load (ETL) dijalankan secara berkala, dalam batch. Dengan Apache Flink, prosesnya dapat beroperasi secara terus-menerus, sehingga dapat memindahkan data dengan latensi rendah ke tujuannya.

Proses set data tidak terbatas (stream) dan terbatas (batch)

Apache Flink dapat memproses set data tidak terbatas dan terbatas, yaitu data stream dan batch. Aliran yang tidak terbatas memiliki awal, tetapi hampir tidak terbatas dan tidak pernah berakhir. Pemrosesan secara teoretis tidak akan pernah berhenti.

Data terbatas, seperti tabel, bersifat terbatas dan dapat diproses dari awal hingga akhir dalam waktu yang terbatas.
Apache Flink menyediakan algoritma dan struktur data untuk mendukung pemrosesan terbatas dan tidak terbatas melalui antarmuka pemrograman yang sama. Aplikasi yang memproses data tidak terbatas berjalan secara terus-menerus. Aplikasi yang memproses data terbatas akan mengakhiri operasinya ketika mencapai akhir set data input.

Jalankan aplikasi dalam skala besar

Apache Flink didesain untuk menjalankan aplikasi stateful pada hampir semua skala. Pemrosesan diparalelkan ke ribuan tugas, didistribusikan ke banyak mesin, secara bersamaan.

Status juga dipartisi dan didistribusikan secara horizontal, sehingga memungkinkan untuk mempertahankan beberapa terabita di banyak mesin. Status diperiksa ke penyimpanan persisten secara bertahap.

Performa dalam memori

Data yang mengalir melalui aplikasi dan status dipartisi di banyak mesin. Oleh karena itu, komputasi dapat diselesaikan dengan mengakses data lokal, biasanya dalam memori.

Konsistensi status tepat satu kali

Aplikasi di luar transformasi pesan tunggal bersifat stateful. Logika bisnis harus mengingat peristiwa atau hasil menengah. Apache Flink menjamin konsistensi keadaan internal, bahkan jika terjadi kegagalan serta saat aplikasi berhenti dan dimulai ulang. Efek dari setiap pesan pada status internal selalu diterapkan tepat satu kali, terlepas dari kemungkinan aplikasi menerima duplikat dari sumber data saat pemulihan atau saat dimulai ulang.

Berbagai macam konektor

Apache Flink memiliki sejumlah konektor yang telah terbukti ke sistem perpesanan dan streaming yang populer, penyimpanan data, mesin pencari, serta sistem file. Beberapa contohnya adalah Apache Kafka, Amazon Kinesis Data Streams, Amazon SQS, Active MQ, Rabbit MQ, NiFi, OpenSearch dan ElasticSearch, DynamoDB, HBase, dan basis data apa pun yang menyediakan klien JDBC.

Berbagai tingkat abstraksi

Apache Flink menawarkan berbagai tingkat abstraksi untuk antarmuka pemrograman. Dari streaming SQL dan API Tabel tingkat yang lebih tinggi, menggunakan abstraksi yang sudah dikenal seperti tabel, penggabungan, dan pengelompokan. API DataStream menawarkan tingkat abstraksi yang lebih rendah tetapi juga kontrol yang lebih besar, dengan semantik stream, windowing, dan pemetaan. Terakhir, API ProcessFunction menawarkan kontrol yang baik pada pemrosesan setiap pesan dan kontrol langsung terhadap status. Semua antarmuka pemrograman bekerja dengan lancar menggunakan set data tidak terbatas (stream) dan terbatas (tabel). Tingkat abstraksi yang berbeda dapat digunakan dalam aplikasi yang sama, sebagai alat yang tepat untuk menyelesaikan setiap masalah.

Berbagai bahasa pemrograman

Apache Flink dapat diprogram dengan berbagai bahasa, dari SQL streaming tingkat tinggi hingga Python, Scala, Java, tetapi juga bahasa JVM lainnya seperti Kotlin.

NortonLifeLock

NortonLifeLock adalah perusahaan keamanan siber global dan privasi internet yang menawarkan layanan kepada jutaan pelanggan untuk keamanan perangkat, serta identitas dan privasi online untuk rumah dan keluarga.

NortonLifeLock menawarkan produk VPN sebagai layanan freemium kepada pengguna. Oleh karena itu, mereka perlu menerapkan batas penggunaan dalam waktu nyata untuk menghentikan pengguna freemium menggunakan layanan ketika penggunaan mereka melebihi batas. Melakukan tindakan ini dengan cara yang andal dan terjangkau merupakan suatu tantangan bagi NortonLifeLock.

NortonLifeLock menyederhanakan implementasi agregasi tingkat pengguna dan perangkat yang mengadopsi Apache Flink.

Samsung SmartThings

Sebagai anak perusahaan independen Samsung, SmartThings adalah salah satu ekosistem IoT terkemuka di dunia, yang menciptakan cara paling mudah bagi siapa pun untuk membuat rumah cerdas.

Samsung SmartThings mengalami masalah seperti adanya sumber daya yang dialokasikan khusus untuk aplikasi individual. Hal ini menyebabkan penundaan dan penurunan performa saat memproses data. Masalah ini akhirnya menyebabkan tingginya biaya overhead ketika mempertahankan beban kerja dalam operasi. Mereka harus merancang ulang platform data.

Mereka beralih dari Apache Spark ke Apache Flink.

BT Group

BT Group adalah penyedia telekomunikasi dan jaringan terkemuka di Inggris Raya serta penyedia layanan dan solusi komunikasi global terkemuka, yang melayani pelanggan di 180 negara. Kegiatan utamanya di Inggris Raya meliputi penyediaan telepon kabel, seluler, broadband, dan TV (termasuk Olahraga), serta berbagai produk dan layanan melalui jaringan tetap dan seluler yang terkonvergensi untuk konsumen, bisnis, dan pelanggan sektor publik.

BT membutuhkan aplikasi pemantauan layanan untuk mendukung peluncuran Digital Voice, produk konsumen barunya yang memungkinkan panggilan suara definisi tinggi melalui jaringan broadband-nya di Inggris.

BT membangun layanan analitik berbasis peristiwa menggunakan Apache Flink untuk menyerap, memproses, dan memvisualisasikan data layanan.

Autodesk

Autodesk, penyedia perangkat lunak desain dan rekayasa 3D terkemuka, yang ingin melakukan lebih dari sekadar membuat dan menghadirkan perangkat lunak. Autodesk juga ingin memastikan agar jutaan pengguna globalnya memiliki pengalaman terbaik dalam menjalankan perangkat lunak tersebut.

Autodesk membuat perangkat lunak untuk orang-orang yang menciptakan sesuatu. Mereka melayani 200+ juta pelanggan. Mereka perlu menghilangkan silo untuk menemukan dan memperbaiki masalah pelanggan dengan lebih cepat. Mereka menginginkan cara yang konsisten untuk mengumpulkan dan mengukur metrik dengan tim operasi kecil tanpa meningkatkan biaya atau membuat penguncian data.

NHL

National Hockey League adalah liga tertua kedua dari empat liga olahraga tim profesional utama di Amerika Utara. Saat ini, NHL terdiri dari 32 Klub Anggota, yang masing-masing mencerminkan komposisi internasional Liga, dengan pemain dari lebih dari 20 negara diwakili dalam daftar nama tim.

NHL menghadapi beberapa tantangan teknis seperti menentukan fitur yang diperlukan dan metode pemodelan untuk memprediksi peristiwa yang memiliki banyak ketidakpastian, serta menentukan cara menggunakan data sensor PPT streaming untuk mengidentifikasi tempat pertandingan diselenggarakan, pemain yang terlibat, dan kemungkinan setiap pemain dalam memenangkan pertandingan, semuanya terjadi dalam ratusan milidetik.

Dengan memanfaatkan Apache Flink, NHL tidak hanya mampu memprediksi pemenang pertandingan, tetapi juga membangun fondasi untuk memecahkan beberapa masalah serupa dalam waktu nyata dan hemat biaya.

Poshmark

Poshmark adalah pasar sosial terkemuka untuk gaya baru maupun bekas bagi wanita, pria, anak-anak, hewan peliharaan, rumah, dan banyak lagi. Komunitas mereka yang beranggotakan lebih dari 80 juta orang di seluruh AS, Kanada, Australia, dan India membentuk masa depan belanja agar menjadi sederhana, terbuka, dan berkelanjutan.

Poshmark telah berfokus pada pencapaian pertumbuhan tingkat atas melalui personalisasi dan peningkatan pengalaman pengguna. Pendekatan awal yang menggunakan pemrosesan batch untuk personalisasi dan keamanan tidak dapat memenuhi harapan untuk peningkatan pengalaman pelanggan.

Poshmark mendesain personalisasi waktu nyata menggunakan pengayaan data waktu nyata dengan Apache Flink.