Bayangkan sebuah kamera pengawas yang harus terus-menerus menganalisis setiap piksel video yang masuk, 24 jam sehari, 7 hari seminggu. Sebagian besar waktunya, tidak ada yang berubah: dinding tetap diam, lantai tetap kosong. Namun model vision-language (VLM) konvensional tetap memproses semua frame secara seragam, membuang-buang komputasi pada latar belakang statis yang tidak mengandung informasi baru. I
nilah yang oleh Hans Moravec sebut sebagai paradoks: AI bisa memecahkan soal kalkulus rumit, tapi kewalahan untuk tugas persepsi sederhana yang berjalan terus-menerus.
Microsoft Mage Team menjawab masalah ini dengan Mage-VL, sebuah model foundation multimodal 4B parameter yang dirancang dari awal untuk pemrosesan video streaming secara efisien. Alih-alih mengambil sampel frame secara seragam seperti VLM pada umumnya, Mage-VL membaca video seperti cara codec video modern bekerja: ia memisahkan stream menjadi anchor frame (I-frame) yang diproses penuh, dan predicted frame (P-frame) yang hanya mempertahankan area-area di mana terjadi gerakan atau perubahan.
Hasilnya? Pengurangan token visual hingga lebih dari 75%, akselerasi inferensi hingga 3.5 kali lipat, dan kemampuan pemahaman video yang justru lebih baik dari model yang jauh lebih besar.
Arsitektur
Mage-VL dibangun di atas dua komponen utama. Pertama, Mage-ViT: sebuah visual encoder berbasis arsitektur OneVision yang dilatih sepenuhnya dari nol (tidak mewarisi encoder pra-latih dari model lain). Mage-ViT beroperasi pada grid patch 16×16 dengan 3D rotary positional encoding, dan memproses video melalui tiga mode patchification: spatial untuk gambar tunggal, chunk-wise untuk potongan video independen, dan codec-driven untuk seleksi patch berbasis motion vector dan residual energy dari codec H.265.
Kedua, Qwen3-4B-Instruct sebagai language decoder. Fitur visual dari Mage-ViT dipetakan ke ruang token bahasa melalui proyektor MLP dua lapis yang ringan. Yang menarik, arsitektur ini juga dilengkapi mekanisme streaming proaktif berbasis desain dual-system yang terinspirasi dari sistem saraf biologis: sebuah cognition gate ringan (System 1) yang terus memantau jendela video dan tetap diam pada konten rutin, hanya mengaktifkan model bahasa penuh (System 2) ketika ada peristiwa yang layak direspons. Tidak diperlukan pipeline multi-agent terpisah, semuanya dalam satu model.
Data
Salah satu temuan paling mengejutkan dari riset ini adalah efisiensi data Mage-ViT. Visual encoder ini dilatih hanya pada sekitar 560 juta gambar tanpa label dan 100 juta frame video tanpa label. Jumlah ini jauh lebih kecil dibandingkan encoder sekelasnya: sebagai perbandingan, SigLIP2 dilatih pada miliaran pasangan gambar-teks, dan Kimi-VL menginisialisasi encoder-nya dari MoonViT yang juga dilatih pada data berskala web. Meski begitu, Mage-ViT mampu menyamai atau bahkan mengungguli encoder-encoder tersebut di berbagai benchmark klasifikasi gambar (ImageNet, Food-101, SUN397) maupun pengenalan video (HMDB-51, Kinetics-400, Diving-48).
Untuk pelatihan VLM-nya, tim Microsoft membangun korpus yang sangat besar: sekitar 350 juta pasangan gambar-caption yang di-recaptioning melalui pipeline AI4AI (optimasi prompt berulang dengan evaluasi GPT-5 dan GitHub Copilot), 54 juta sampel instruksi gambar, 7.95 juta video dengan caption yang dikelompokkan berdasarkan durasi (dari video pendek 30 detik hingga video panjang 15 menit), dan 3.35 juta sampel streaming yang dikonversi dari data beranotasi timestamp seperti MatchTime, LiveCC, dan StreamingVLM.
Training
Pelatihan Mage-VL dilakukan melalui kurikulum progresif lima tahap. Tahap 1 fokus pada alignment multimodal melalui 350 juta caption gambar dan 4.2 juta caption video pendek. Selanjutnya memperkenalkan instruction tuning dengan 54 juta sampel instruksi gambar plus 3.4 juta video caption 30-180 detik, mengubah model dari pendeskripsi visual menjadi asisten multimodal umum. Tahap 3 memperluas horizon temporal dengan data video menengah dan panjang dari LLaVA-Video, TimeLens, dan VideoChat-Flash, mengajarkan model bagaimana keadaan visual berevolusi selama hitungan menit.
Tahap 4 adalah transisi kunci: setelah model memahami konteks temporal panjang, representasi video dikonversi ke format codec-native. Di sini, token video didistribusikan berdasarkan variasi spatio-temporal, bukan grid seragam per frame. Dengan representasi ini, model bisa melatih video 8 kali lebih panjang di bawah budget token yang sama. Tahap 5 adalah fine-tuning cognition gate: seluruh model dibekukan, hanya gate ringan yang dilatih pada 3.35 juta sampel streaming untuk belajar kapan harus diam dan kapan harus merespons.
Hasil dan Temuan Kunci
Di kelas 4B parameter, Mage-VL menyamai Qwen3-VL-4B pada tugas gambar statis, dan secara signifikan mengunggulinya pada pemahaman video: +11.0 poin di VSI-Bench (spatial reasoning), +22.5 di QVHighlight (temporal grounding), +17.1 di ActivityNet, dan +24.5 di VideoEval-Pro. Lebih impresif lagi, model 4B ini mengalahkan Phi-4-multimodal-instruct (5.6B) dan bahkan Phi-4-reasoning-vision (15B) di sebagian besar metrik yang dievaluasi.
Tim peneliti juga mendokumentasikan tujuh temuan empiris penting: (1) encoder visual tidak memerlukan data skala web, 560M gambar sudah cukup kompetitif; (2) pra-pelatihan variable-resolution memungkinkan scaling performa yang monoton seiring penambahan token; (3) tokenisasi codec-native menetapkan frontier akurasi-efisiensi yang superior; (4) fine-tuning VideoQA eksplisit pada data panjang ternyata redundan jika model sudah dilatih dengan caption temporal; (5) ada sinergi kuat antara pemahaman gerak dan penalaran spasial; (6) pipeline AI4AI secara konsisten meningkatkan kualitas data; dan (7) Zero-Vision SFT memungkinkan kemampuan agentic tanpa pelatihan visual tambahan.
Mage-VL adalah langkah signifikan menuju model multimodal yang benar-benar bisa beroperasi secara real-time dan efisien. Alih-alih membuang komputasi pada setiap piksel yang diam, model ini belajar fokus hanya pada apa yang berubah, sebuah prinsip sederhana yang telah digunakan codec video selama puluhan tahun, namun baru sekarang diterapkan secara native pada arsitektur foundation model. Kode, model, dan dataset tersedia secara terbuka di GitHub Microsoft dan Hugging Face dengan lisensi Apache 2.0.
