Bayangkan Anda sedang melakukan video call dengan seseorang yang benar-benar memperhatikan sekitar Anda, bukan hanya menunggu giliran bicara. Ia melihat ekspresi wajah Anda, menyadari ketika sesuatu jatuh di belakang Anda, atau bahkan memberi tahu bahwa ada produk menarik yang baru saja melintas di layar livestream yang sedang Anda tonton. Inilah visi yang coba diwujudkan oleh JoyAI-VL-Interaction, sebuah model kecerdasan buatan yang tidak lagi menunggu diperintah, melainkan hadir dan proaktif seperti manusia.
Selama ini, sebagian besar model AI besar seperti GPT-4 atau Gemini bekerja secara turn-based: mereka hanya merespons setelah pengguna memberikan perintah. Bahkan aplikasi video call AI yang terlihat interaktif pun sebenarnya hanya melakukan polling berkala, mengambil gambar setiap beberapa detik, lalu menjawab jika ditanya. Mereka tidak benar-benar “hadir” di momen yang sedang berlangsung.
Tim peneliti dari JD.com memperkenalkan JoyAI-VL-Interaction, sebuah model vision-language interaction berskala 8 miliar parameter yang dirancang untuk menjadi proaktif. Model ini secara terus-menerus menonton apa yang terjadi, memutuskan sendiri kapan harus berbicara atau diam, berinteraksi secara real-time, dan mendelegasikan tugas berat ke model latar belakang ketika diperlukan. Yang paling penting: seluruh sistem model, data pelatihan, resep training, dan kode dirilis secara open-source.
Arsitektur
JoyAI-VL-Interaction dibangun di atas model dasar JoyAI-VL 1.0, sebuah vision-language model (VLM) yang telah dilatih untuk memahami hubungan antara gambar dan teks. Inovasi utamanya terletak pada cara model ini mengambil keputusan: alih-alih menunggu input pengguna, model membuat keputusan setiap detik untuk memilih satu dari tiga aksi, diam (stay silent), merespons (speak), atau mendelegasikan (delegate) ke model latar belakang yang lebih besar.
Untuk menjaga efisiensi pada streaming video tanpa batas, JoyAI-VL-Interaction menggunakan AdaCodec, sebuah native streaming video codec yang secara cerdas mengalokasikan lebih sedikit token pada frame yang dapat diprediksi dan lebih banyak pada momen-momen penting. Ini membuat konsumsi token tumbuh jauh lebih lambat seiring berjalannya waktu, sehingga model tetap dapat beroperasi dalam latensi di bawah satu detik bahkan setelah berjam-jam menonton video.
Sistem ini menjalankan dua loop secara bersamaan: real-time loop yang berinteraksi langsung dengan pengguna, dan asynchronous loop tempat model mendelegasikan masalah kompleks ke background brain, yang dapat terhubung ke API, model lain, atau agen AI eksternal, tanpa mengganggu kehadiran real-time-nya.
Data
Salah satu kontribusi terbesar dari riset ini adalah konstruksi data pelatihan yang selaras waktu (time-aligned). Tim peneliti tidak hanya mengumpulkan pasangan video dan teks biasa, melainkan membuat data di mana setiap detik dari stream visual dipasangkan dengan aksi yang tepat: kapan model harus berbicara, kapan harus diam, dan kapan harus mendelegasikan.
Data ini mencakup berbagai skenario dunia nyata seperti pemantauan keamanan, video call, livestream belanja, penerjemahan real-time, dan penghitungan objek dalam video. Yang menarik, proses konstruksi data ini dirancang agar dapat ditransfer (transferable recipe), peneliti lain dapat menggunakannya untuk melatih model interaksi mereka sendiri dengan data domain yang berbeda.
Training
Proses pelatihan JoyAI-VL-Interaction dilakukan dalam beberapa tahap. Dimulai dari model dasar JoyAI-VL 1.0, model kemudian menjalani continue training dengan data time-aligned yang telah dikonstruksi. Tujuan pelatihannya sederhana namun kuat: model belajar bahwa diam adalah aksi yang valid, sama validnya dengan berbicara atau mendelegasikan.
Untuk lebih menyempurnakan kemampuannya, tim peneliti juga menerapkan Reinforcement Learning (RL) guna mengoptimalkan kualitas dan ketepatan waktu respons. Infrastruktur pelatihan dijalankan di atas vLLM, memungkinkan serving dan inference yang efisien untuk mendukung sesi stateful selama berjam-jam.
Yang paling mengejutkan adalah munculnya kemampuan emergen (emergent capabilities), kemampuan yang tidak pernah dilatih secara eksplisit namun muncul dengan sendirinya. Contohnya, model mampu memandu pengguna berbelanja melewati layar aplikasi yang berubah-ubah, atau bahkan berimprovisasi memberikan kuliah dari setumpuk slide presentasi.
Hasil dan Performa
Dalam evaluasi manusia (human evaluation) di enam skenario streaming dunia nyata, JoyAI-VL-Interaction mengungguli asisten video call dalam aplikasi Doubao dan Gemini dengan selisih yang signifikan. Model ini menang 77,6% melawan Doubao dan 87,9% melawan Gemini dalam hal kualitas dan ketepatan waktu respons.
Keunggulan terbesarnya terlihat pada tugas-tugas yang paling sensitif terhadap waktu: model ini memenangkan setiap perbandingan dalam skenario pemantauan dan peringatan (monitoring & alerting) melawan kedua sistem, serta tidak pernah kalah dalam tugas penerjemahan real-time dan penghitungan. Ini persis jenis tugas event-driven yang secara struktural tidak dapat ditangani oleh sistem turn-based.
Ekosistem Open-Source
JoyAI-VL-Interaction tidak hanya merilis model, tetapi juga seluruh sistem yang siap digunakan. Siapa pun dapat menghubungkan webcam atau livestream dan model akan langsung melihat serta berinteraksi secara real-time. Sistem ini dilengkapi dengan komponen pluggable: modul ASR (pengenalan suara) dan TTS (sintesis suara), memori jangka panjang, UI visualisasi, dan background bridge yang dapat terhubung ke API atau agen AI apa pun.
Dengan merilis seluruh stack secara terbuka, bobot model, resep pelatihan, data interaksi, dan kode sistem lengkap melalui GitHub, tim JD.com berharap dapat mendorong pergeseran paradigma dari AI yang menunggu perintah menjadi AI yang benar-benar hadir di dunia nyata.
Kemampuan ini membuka pintu bagi berbagai aplikasi yang telah lama dinantikan: asisten yang benar-benar hadir mendampingi lansia, kacamata AI yang menerjemahkan atau memberi keterangan pada apa yang Anda lihat, hingga pemantau keamanan yang bereaksi sebelum terlambat. Dunia nyata tidak bisa di-pause dan kini AI pun belajar untuk tidak menunggu.
Referensi:
- Yao et al., “JoyAI-VL-Interaction: Real-Time Vision-Language Interaction Intelligence,” arXiv:2606.14777, 2026. [arXiv] [GitHub]
- StreamingVLM, “Real-Time Understanding for Infinite Video Streams,” arXiv:2510.09608, 2025. [arXiv]
- “Speak While Watching: Unleashing TRUE Real-Time Video Understanding Capability of Multimodal Large Language Models,” arXiv:2601.06843, 2026. [arXiv]
- “Video Streaming Thinking: VideoLLMs Can Watch and Think Simultaneously,” arXiv:2603.12262, 2026. [arXiv]
