Alibaba Cloud dan MediaTek hadirkan AI Generatif di smartphone

Ilustrasi (dok)

JAKARTA (IndoTelko) - Alibaba Cloud bekerja sama dengan MediaTek, perusahaansemikonduktor fabless global, untuk mendorong penggunaanAI di perangkat terbaru, dimulai dengan ponsel pintar.

Saat ini, versi large language model Qwen dengan parameter 1.8 miliar dan 4 miliar dapat dijalankan pada chipset premium generasi ketiga dari MediaTek, Dimensity 9300 dan Dimensity 8300, yang memungkinkan ponsel pintar untuk menjalankan tugas AI seperti menjawab beragam pertanyaanbahkan saat tidak terhubung ke internet atau memilikikoneksi yang terbatas.

AI generatif, yang sebelumnya hanya dapat diakses melalui pusat data, kini bisa hadir langsung di ponsel pintar. Gartner memperkirakan bahwa hingga akhir 2024, akan ada 240 jutaponsel pintar dengan GenAI dan 54,5 juta PC dengan AI yang akan didistribusikan. Kehadiran gawai ini akanmencakup 22% dari ponsel pintar kelas biasa, menengah, dan premium, serta 22% dari semua PC di tahun 2024.

Dikatakan Head of Business Development di Qwen team, Xu Dong, pihaknya melihat minat yang meningkat dari banyak perusahaanuntuk menggunakan LLMs berukuran lebih kecil ke dalamgawai, untuk mendorong aplikasi AI generatif. "Melalui kemitraan dengan MediaTek, kami ingin memberikan lebih banyak kesempatan kepada para pengembang untuk bisa menciptakan aplikasi AI yang inovatif dan mudah digunakansupaya pengguna di seluruh dunia bisa merasakan manfaatdari AI generatif," ujarnya.

Peralihan dari cloud ke gawai didorong oleh munculnya LLMs yang lebih kecil yang biasanya berkisar dari beberapa jutahingga beberapa miliar. Dibandingkan model sebelumnyayang lebih besar, model-model ini lebih efisien secara komputasi, lebih ekonomis, dan dapat disesuaikan dengan kebutuhan pengguna perangkat terbaru.

Alibaba Cloud telah menyediakan versi open source dari LLM dengan parameter 1,8 miliar, Qwen-1.8B, awal tahun lalu. Karena memang dioptimalkan untuk perangkat yang lebih kecil, model ini membutuhkan daya komputasi yang lebih sedikit untuk dijalankan, sehingga memungkinkan aplikasiyang didukung oleh LLM berjalan di ponsel pintar dengan keterbatasan atau tanpa koneksi jaringan.

Untuk mengimplementasikan model AI di perangkatgenggam, kompatibilitas merupakan tantangan utama, terutama karena perbedaan dalam perangkat keras, perangkat lunak, dan protokol komunikasi.

Pihak Alibaba Cloud mengungkapkan bahwa mereka bekerja sama dengan MediaTek dalam beberapa area untuk mengatasitantangan integrasi ini, termasuk dalam optimasi ukuranmodel, optimasi inferensi, dan penyimpanan untuk mencapaikeseimbangan antara akurasi model, efektivitas biaya, dan efisiensi energi.

Dengan dukungan dari Dimensity 9300, versi model Qwen dengan parameter 1,8 miliar bisa mencapai kinerja terdepandi industri dan sanggup menggunakan kurang dari 30% CPU dan 2 GB RAM dalam proses inferensi AI sambil mencapailebih dari 20 token per detik. Konsumsi daya dalam proses inferensi kurang dari 3 watt, memberikan peningkatan kinerjadalam tugas AI tanpa mengorbankan efisiensi energi.

Untuk memastikan bahwa produsen ponsel pintarmengadopsi model AI di perangkat mereka, keduaperusahaan akan merilis paket pengembangan perangkatlunak bagi produsen dan pengembang ponsel pintar untuk mewujudkan inisiatif ini.

Solusi yang siap digunakan ini memungkinkan produsenponsel pintar menyematkan fitur-fitur AI generatif pada perangkat mereka, mulai dari kontrol suara hingga asistenvirtual. Para produsen juga dapat melatih dan menyempurnakan model untuk fitur AI yang lebih canggih.

Sebagai bagian dari inisiatif mereka untuk menciptakanekosistem yang diperlukan untuk masa depan AI, pusatmodel dan alat pengembangan MediaTek untuk pengembangakan mengintegrasikan seri Qwen yang bisa memudahkanpengembangan berbagai skenario berdasarkan Qwen yang menggunakan platform Dimensity.

Keduanya akan bekerja sama untuk mengeksplorasi pembangunan agen AI yang dapat menavigasi antarmuka yang kompleks dan menjalankantugas melintasi beberapa aplikasi, memanfaatkankemampuan LLM dari Alibaba Cloud dan daya komputasidari Dimensity 9300.

Dijelaskan Deputy General Manager di MediaTek Wireless Communications Business Unit, Dr. Yenchi Lee, memfasilitasi implementasi AI generatif secara menyeluruh, serta pengembangan cepat dari aplikasi AI dan ekosistemagen AI, akan memberikan pengalaman produk yang lebih menarik bagi para pengguna. (mas)