MALUKU — AI multimodal adalah sistem kecerdasan buatan yang mampu memproses beberapa jenis data sekaligus, mulai dari teks, gambar, audio, hingga video. Kemampuan ini membuat pengguna bisa mengunggah foto lalu mengajukan pertanyaan teks, dan AI menjawab berdasarkan keduanya. Layanan seperti ChatGPT dan Google Gemini sudah mengadopsi kemampuan ini, meski cakupan fiturnya berbeda tergantung model dan paket.
Memahami AI multimodal berarti memahami cara mesin mengolah informasi yang datang dalam bentuk berbeda-beda. Setiap modalitas punya karakteristik sendiri, dan model harus bisa menyatukan semuanya sebelum memberi respons.
AI multimodal merujuk pada sistem kecerdasan buatan yang bisa memproses atau menggabungkan lebih dari satu jenis data atau modalitas. Modalitas di sini mencakup teks, gambar, audio, video, dan bentuk data lain.
Bedanya dengan model AI konvensional yang hanya fokus pada satu tipe data, sistem multimodal mampu memahami beberapa jenis input sekaligus. Contoh sederhananya, pengguna mengunggah foto dan menulis pertanyaan, lalu AI menjawab berdasarkan kombinasi keduanya.
Perlu dicatat, tidak semua AI multimodal mendukung seluruh jenis data. Ada model yang sanggup memproses teks, gambar, audio, dan video sekaligus. Ada pula yang hanya mendukung teks dan gambar.
Proses kerja sistem ini berjalan dalam tiga tahap utama yang saling berkaitan.
Teks diproses sebagai token, sementara gambar, audio, dan video memerlukan representasi yang sesuai dengan karakteristiknya masing-masing. Semua jenis data itu kemudian diubah menjadi format yang bisa dibaca model AI.
Ketika pengguna mengunggah foto dan mengajukan pertanyaan, AI harus memproses informasi visual dari foto sekaligus teks pertanyaannya.
Setelah data diproses, AI perlu menghubungkan informasi dari berbagai modalitas agar jawaban yang dihasilkan sesuai konteks. Bukan hanya bertumpu pada satu jenis data saja.
Misalnya, pengguna mengunggah foto kucing tidur di sofa lalu bertanya, "Apa yang sedang dilakukan hewan ini?" AI mengenali objek dalam foto dan mengaitkannya dengan pertanyaan, lalu menjawab bahwa kucing itu sedang tidur di sofa.
Kemampuan serupa berlaku untuk audio dan video, tergantung model yang dipakai. AI bisa memproses rekaman percakapan untuk membuat transkrip atau merangkum isi video.
Tahap akhir adalah menghasilkan respons sesuai permintaan pengguna. Bentuknya bisa teks, suara, gambar, atau output lain, tergantung kemampuan sistem.
AI bisa menjelaskan isi foto dalam bentuk teks atau menjawab pertanyaan lewat suara. Namun, sistem yang mampu menerima berbagai jenis input belum tentu bisa menghasilkan semua jenis output.
Penerapan teknologi ini sudah cukup luas dan mudah ditemukan dalam aktivitas sehari-hari.
ChatGPT dan Google Gemini termasuk layanan yang punya kemampuan multimodal. Fitur yang tersedia bisa berbeda tergantung model, mode, dan paket yang digunakan.
Kedua istilah ini sering dianggap sama, padahal merujuk pada hal berbeda. AI multimodal menekankan kemampuan memproses atau menggabungkan berbagai jenis data. AI generatif menekankan kemampuan menghasilkan konten baru, seperti tulisan, gambar, musik, atau video.
Keduanya bisa berada dalam satu sistem. Ketika AI menerima foto dan pertanyaan teks lalu menghasilkan jawaban, sistem itu bersifat multimodal sekaligus generatif. Namun, tidak semua AI multimodal harus bisa menghasilkan konten baru, dan tidak semua AI generatif mendukung berbagai jenis input.
Pemahaman soal AI multimodal membantu pengguna menilai kemampuan sebuah layanan AI secara lebih realistis. Sebab, kemampuan memproses banyak jenis data tidak otomatis berarti kemampuan menghasilkan semua jenis output. Cek selalu dokumentasi model dan paket yang dipakai sebelum mengandalkan fitur tertentu.