Cloudera luncurkan inferensi AI didukung NVIDIA NIM Microservices

Ilustrasi (dok)

JAKARTA (IndoTelko) - Satu-satunya platform true hybrid untuk data, analitik dan AI, Cloudera baru-baru ini meluncurkan Cloudera AI Inference yang didukung oleh NVIDIA NIM microservices, bagian dari platform NVIDIA AI Enterprise. Sebagai salah satu layanan AI inference pertama di industri yang menyediakan kemampuan NIM microservices yang embedded, Cloudera AI Inference secara unik menyederhanakan penggunaan dan pengelolaan model AI dalam skala besar, memungkinkan enterprise untuk memanfaatkan potensi sesungguhnya dari data mereka untuk mempercepat GenAI dari tahap uji coba hingga ke production.

Data terbaru dari Deloitte mengungkapkan bahwa bagi enterprise, hambatan terbesar dalam pengadopsian GenAI adalah kekhawatiran terkait risiko kepatuhan dan tata kelola, namun penerapan GenAI sedang meningkat pesat, dengan lebih dari dua pertiga perusahaan menambah anggaran GenAI mereka di Kuartal 3 tahun ini. Untuk mengatasi kekhawatiran ini, perusahaan harus menjalankan model AI dan aplikasi secara privat baik on premises (lokal) maupun di public cloud. Peralihan ini membutuhkan solusi yang aman dan terarah untuk menghindari pendekatan yang kompleks apabila dilakukan secara mandiri.

Cloudera AI Inference mencegah data sensitif bocor ke layanan model AI non-privat yang di-hosting vendor dengan menyediakan pengembangan dan penerapan yang aman dalam kontrol enterprise. Didukung oleh teknologi NVIDIA, layanan ini membantu membangun data tepercaya untuk AI tepercaya dengan kecepatan performa yang tinggi, memungkinkan pengembangan chatbot,asisten virtual, dan aplikasi agen berbasis AI secara efisien yang memberikan dampak terhadap produktivitas dan pertumbuhan bisnis baru.

Peluncuran Cloudera AI Inference menyusul kolaborasi Cloudera dengan NVIDIA, menegaskan komitmen Cloudera dalam mendorong inovasi enterprise AI pada momen-momen penting saat industri menjalani kompleksitas transformasi digital dan integrasi AI.

Pengembang bisa membangun, mengubah, dan menjalankan LLM kelas enterprise dengan performa 36x lebih cepat menggunakan GPU NVIDIA Tensor Core dan hampir 4x throughput dibandingkan dengan CPU. Pengalaman pengguna mengintegrasikan UI dan API langsung dengan container microservices NVIDIA NIM ini menghilangkan kebutuhan akan command-line interfaces (CLI) dan sistem pengawasan terpisah.

Integrasi layanan dengan AI Model Registry Cloudera juga meningkatkan keamanan dan tata kelola dengan mengelola access control baik untuk model endpoint dan operasional. Pengguna akan mendapatkan manfaat dari platform yang terpadu di mana semua model baik LLM atau model tradisional dikelola dari satu layanan secara lancar.

Berikut fitur-fitur kunci tambahan Cloudera AI Inference :

1. Kemampuan AI Mutakhir

Memanfaatkan NVIDIA NIM microservices untuk mengoptimalkan LLM open source, termasuk Llama dan Mistral, untuk kemajuan yang luar biasa dalam natural language processing (NLP), computer vision, dan domain AI lainnya.

2. Hybrid Cloud & Privasi

Menjalankan beban kerja di on prem atau di cloud dengan menjalankan VPC untuk keamanan dan kepatuhan regulasi yang lebih baik.

3. Skalabilitas & Pengawasan

Mengandalkan auto-scaling, ketersediaan tinggi (high availability /HA) dan pelacakan performa secara real time untuk mendeteksi dan menanggulangi masalah, serta menyediakan pengelolaan sumber daya yang efisien.

4. Integrasi API & CI/CD Terbuka

Akses API yang sudah sesuai standar untuk penerapan, pengelolaan, dan pengawasan model untuk integrasi tanpa hambatan dengan CI/CD pipelinedan alur kerja MLOps.

5. Keamanan Perusahaan

Menerapkan akses model dengan fitur Service Accounts, Access Control, Lineage, dan Auditing.

6. Penerapan dengan Risiko yang Terkelola

Melakukan pengujian A/B dan peluncuran model update yang lebih terkontrol.

Dikatakan analis industri, Sanjeev Mohan, perusahaan sangat antusias untuk berinvestasi di GenAI, namun ini membutuhkan tidak hanya data yang terarah, namun juga data yang aman, patuh dan memiliki tata kelola yang baik.

“Memproduksi AI di skala besar secara privat menimbulkan kompleksitas yang sulit diatasi oleh pendekatan DIY. Cloudera AI Inference menjembatani kesenjangan ini dengan mengintegrasikan manajemen data mutakhir dengan keahlian AI NVIDIA, membuka potensi data sekaligus menjaganya. Dengan fitur-fitur keamanan kelas enterprise seperti service accounts,access control, dan audit, perusahaan bisa dengan percaya diri melindungi data mereka dan menjalankan beban kerja di on prem atau di cloud, menjalankan model AI secara efisien dengan fleksibilitas dan tata kelola yang dibutuhkan,” jelasnya.

Sementara, Chief Product Officer Cloudera, Dipto Chakravarty mengungkapkan, pihaknya bersemangat untuk berkolaborasi dengan NVIDIA untuk memasarkan Cloudera AI Inference, menyediakan satu platform AI/ML yang mendukung hampir semua model dan penggunaan sehingga enterprise bisa menciptakan aplikasi yang kuat dengan softwarenya dan menjalankan aplikasi AI ini di Cloudera.

“Dengan integrasi NVIDIA AI, yang memfasilitasi pengambilan keputusan yang lebih cerdas melalui performa yang mutakhir, Cloudera berinovasi atas nama pelanggannya dengan mengembangkan aplikasi AI tepercaya dengan data tepercaya dalam skala besar," ujarnya.

Sedangkan, Vice President, Software, Model dan Layanan AI NVIDIA, Kari Briski menambahkan, perusahaan saat ini butuh mengintegrasikan AI generatif dengan infrastruktur data mereka secara lancar untuk mendorong outcome bisnis.

“Dengan menggabungkan NVIDIA NIM microservices ke dalam platform Cloudera AI Inference, kami memberdayakan pengembang untuk dengan mudah menciptakan aplikasi AI generatif tepercaya sekaligus menjaga keseimbangan data AI mandiri,” katanya.

Di kesempatan yang sama, Country Manager Indonesia Cloudera, Sherlie Karnidta menjelaskan, survei terbaru dari PWC menunjukkan bahwa dalam beberapa tahun ke depan, GenAI diharapkan dapat meningkatkan kemampuan perusahaan di Indonesia untuk membangun kepercayaan stakeholder dan meningkatkan kualitas produk atau layanan.

“Faktanya, diyakini bahwa dalam tiga tahun ke depan, GenAI akan meningkatkan daya saing dan mendorong perubahan pada model bisnis mereka. Peluncuran Cloudera AI Inference yang didujkung oleh NVIDIA NIM microservices datang pada momen yang tepat. Perusahaan-perusahaan Indonesia yang ingin mengadopsi GenAI dan mulai memanfaatkan potensi data mereka kini memiliki solusi yang aman dan terarah untuk membangun use case-use case AI yang relevan dengan kebutuhan bisnis mereka," jelasnya.

Kemampuan-kemampuan terbaru ini akan dirilis di konferensi AI dan data perdana dari Cloudera, yaitu Cloudera EVOLVE NY, yang akan diselenggarakan tanggal 10 Oktober. (mas)