Red Hat umumkan peningkatan pada Red Hat OpenShift AI

Foto : Ilustrasi

JAKARTA (IndoTelko) - Penyedia solusi open source dunia, Red Hat, Inc mengumumkan peningkatan pada Red Hat OpenShift AI, platform open hybrid artificial intelligence (AI) dan machine learning (ML) yang dikembangkan di Red Hat OpenShift, supaya enterprise dapat merancang dan menghadirkan pengembangan aplikasi AI di seluruh hybrid cloud.

Pembaruan ini menyoroti visi Red Hat untuk AI, membawa komitmen Red Hat untuk pilihan pelanggan ke dunia beban kerja cerdas, dari hardware mendasar hingga ke layanan dan tools, seperti Jupyter dan PyTorch yang digunakan untuk mengembangkan platform tersebut. Peningkatkan ini akan memungkinkan inovasi yang lebih cepat, meningkatkan produktivitas dan kapasitas untuk menyertakan AI ke dalam operasional bisnis sehari-hari melalui platform yang lebih fleksibel, skalabel dan bisa beradaptasi, yang mendukung model prediktif maupun generatif, dengan atau tanpa menggunakan lingkungan cloud.

Banyaknya tantangan yang dihadapi pelanggan saat memindahkan model AI dari fase eksperimen ke fase produksi, di antaranya adalah adanya peningkatan biaya hardware, kekhawatiran mengenai privasi data, dan kekurangpercayaan untuk berbagi data dengan model berbasis SaaS. AI generatif (GenAI) berubah dengan cepat, dan banyak perusahaan kesulitan untuk membangun core AI platform yang bisa diandalkan dan bisa berjalan di on-premise atau di cloud.

Menurut IDC1, agar berhasil memanfaatkan AI, enterprise harus memodernisasi banyak aplikasi yang sudah ada dan lingkungan data mereka, menghilangkan penghalang antara sistem yang sudah ada dan platform penyimpanan, meningkatkan keberlanjutan infrastruktur dan berhati-hati dalam memilih tempat menjalankan beban kerja yang berbeda di cloud, pusat data, dan edge. Bagi Red Hat, ini menunjukkan bahwa platform AI harus fleksibel untuk mendukung enterprise saat mereka bergerak maju dalam pengadopsian AI, kebutuhan, dan adaptasi sumber daya mereka.

Menurut Chief Product Officer and Senior Vice President Red Hat, Ashesh Badani, membawa AI ke dalam enterprise bukan lagi ‘jika,’ ini adalah persoalan ‘kapan.’ Enterprise butuh platform AI yang lebih unggul, konsisten dan fleksibel untuk meningkatkan produktivitas, meningkatkan pendapatan, dan mendukung diferensiasi pasar.

"Jawaban Red Hat terhadap permintaan enterprise AI dalam skala besar adalah Red Hat OpenShift AI, yang memungkinkan pemimpin IT menjalankan aplikasi cerdas di manapun di seluruh hybrid cloud sekaligus menumbuhkan dan menyempurnakan operasional dan model yang dibutuhkan untuk mendukung terwujudnya aplikasi produksi dan layanan," katanya.

Strategi AI Red Hat memungkinkan fleksibilitas di seluruh hybrid cloud, menyediakan kemampuan untuk meningkatkan foundation model yang pre-trained atau sudah dikurasi dengan data pelanggan mereka dan kebebasan untuk mendukung berbagai akselerator hardware maupun software. Fitur-fitur Red Hat OpenShift AI yang baru dan sudah ditingkatkan itu dapat memenuhi kebutuhan-kebutuhan tadi berkat adanya akses ke inovasi AI/ML terbaru dan dukungan dari ekosistem mitra yang ekspansif dan AI sentris.

Berikut yang disajikan Versi terbaru platform Red Hat OpenShift AI 2.9 :

1. Model serving di edge

Memperluas penerapan model AI ke lokasi terpencil menggunakan OpenShift node tunggal. Ia memberikan kemampuan inferensi di lingkungan yang sumber dayanya terbatas dengan akses air-gapped network. Fitur pratinjau teknologi ini memberikan perusahaan pengalaman operasional yang skalabel dan konsisten mulai dari corehingga ke cloud dan ke edge serta mencakup kemampuan observasi yang luar biasa.

2. Model serving yang ditingkatkan

Dengan kemampuan untuk menggunakan beberapa server model untuk mendukung AI prediktif dan GenAI, termasuk dukungan untuk KServe, sebuah definisi sumber daya khusus Kubernetes yang mengatur servinguntuk semua jenis model, vLLM dan text generation inference server (TGIS), mesin serving untuk LLM dan runtime Caikit-nlp-tgis, yang menangani natural language processing (NLP). Peningkatan pada model serving akan memungkinkan pengguna menjalankan AI prediktif dan GenAI pada satu platform untuk beberapa penggunaan, sehingga mengurangi biaya dan menyederhanakan pengoperasian. Hal ini memungkinkan model serving yang luar biasa untuk LLM dan menyederhanakan alur kerja pengguna di sekitarnya.

3. Mendistribusikan beban kerja dengan Ray

Menggunakan CodeFlare dan KubeRay, yang memanfaatkan beberapa cluster node untuk pemrosesan data dan pelatihan model yang lebih cepat dan efisien. Ray adalah kerangka kerja untuk mempercepat beban kerja AI, dan KubeRay membantu mengelola beban kerja ini di Kubernetes. CodeFlare merupakan pusat dari kemampuan beban kerja terdistribusi Red Hat OpenShift AI, yang menyediakan kerangka kerja yang mudah digunakan pengguna dan membantu memudahkan orkestrasi dan pemantauan tugas. Kemampuan antrean dan manajemen terpusat memungkinkan pemanfaatan nodesecara optimal, dan memungkinkan pengalokasian sumber daya, seperti GPU, untuk pengguna dan beban kerja yang tepat.

4. Pengembangan model yang lebih baik

Melalui ruang kerja proyek dan gambar workbench tambahan yang memberikan fleksibilitas kepada para data scientist untuk menggunakan IDE dan toolkit, termasuk VS Code dan RStudio, yang saat ini tersedia sebagai pratinjau teknologi, dan CUDA yang disempurnakan, untuk berbagai kasus penggunaan dan jenis model.

5. Visualisasi model monitoring

Untuk metrik kinerja dan operasional, meningkatkan kemampuan observasi terhadap kinerja model AI.

6. Profil akselerator terbaru

Memungkinkan administrator mengonfigurasi berbagai jenis akselerator hardware yang tersedia untuk pengembangan model dan alur kerja model-serving. Hal ini memberikan akses pengguna yang mandiri dan simpel ke jenis akselerator yang tepat untuk beban kerja tertentu.

Selain Red Hat OpenShift AI yang menjadi landasan watsonx.ai dari IBM, enterprise di berbagai industri juga dapat memperlengkapi diri mereka dengan Red Hat OpenShift AI untuk mendorong lebih banyak inovasi dan pertumbuhan AI, termasuk AGESIC dan Ortec Finance.

Teknologi open source selama 30 tahun telah menyandingkan inovasi yang pesat dengan biaya IT yang jauh lebih rendah dan mengurangi penghambat dalam inovasi. Red Hat sudah menjadi yang terdepan dalam upaya ini sejak lama, mulai dari menyediakan platform Linux open enterprisedengan RHEL pada awal tahun 2000an hingga mendorong container dan Kubernetes sebagai fondasi untuk open hybrid cloud dan komputasi cloud-native dengan Red Hat OpenShift.

Dorongan ini berlanjut dengan strategi Red Hat yang mendukung AI/ML di seluruh open hybrid cloud, memungkinkan beban kerja AI berjalan di mana data berada, baik di pusat data, beberapa public cloud atau di edge. Lebih dari sekadar beban kerja, visi Red Hat untuk AI membawa pelatihan model dan tuning down di jalur yang sama untuk mengatasi keterbatasan seputar kedaulatan data, kepatuhan dan integritas operasional dengan lebih baik. Konsistensi platform Red Hat di seluruh lingkungan ini, di manapun mereka berjalan, sangat penting dalam menjaga inovasi AI tetap mengalir.

Dikatakan CEO Phoenix Technologies, Thomas Taroni, Visi Red Hat untuk AI selaras sempurna dengan target perusahaannya untuk menyediakan solusi AI yang unggul dan berdaulat bagi perusahaan. Dengan Red Hat OpenShift AI, pelanggan kvant AI nya mendapatkan manfaat dari fleksibilitas, skalabilitas dan keamanan yang tak tertandingi.

"Dengan kombinasi kvant AI dan Red Hat OpenShift AI, perusahaan akan dilengkapi secara sempurna untuk mengintegrasikan model prediktif dan generatif, tanpa harus bersusah payah, sehingga memberdayakan siapa saja untuk membuat aplikasi AI dengan percaya diri dan kelincahan," ujarnya.

Sementara, Practice Manager AI & Data World Wide Technology Holding Co., Jeff Fonke, Sr. mengungkapkan, saat model IT lama bergelut dengan kerumitan AI, WWT berkomitmen untuk membantu kliennya membuat keputusan teknologi dengan lebih cepat saat ingin mengadopsi AI. "AI Proving Ground dari WWT adalah buktinya. Dengan Red Hat OpenShift AI sebagai platform dasar, AI Proving Ground memungkinkan klien untuk menguji, melatih, memvalidasi, dan menjalankan solusi AI yang aman serta memberikan value bisnis yang nyata," katanya.

Sedangkan Technologist Ortec Finance, Joris Cramwinckel bercerita, Red Hat telah membantunya dengan sukses menyajikan model pembelajaran mesin untuk penilaian perumahan residensial di Azure Red Hat OpenShift selama dua tahun terakhir dan pihaknya sangat senang dapat mengimplementasikan Red Hat OpenShift AI untuk menggantikan upaya pemeliharaan dan kode proprietary untuk model AI yang disajikan dalam aplikasinya.

"Dikombinasikan dengan kekuatan OpenShift AI dan Azure, Red Hat OpenShift akan memungkinkan tim riset dan pengembangan mempercepat transisi pelanggan ke solusi berbasis AI, sehingga membantu kami untuk mengelola risiko dan meningkatkan investasi dengan lebih efisien," jelasnya. (mas)