Bayangkan Anda sedang membuat podcast dengan dua pembicara yang berbeda, lalu cukup mengetikkan “[berbisik]” atau “[tertawa]” di tengah transkrip, dan AI langsung menghasilkan suara sesuai instruksi Anda. Tidak perlu rekaman berjam-jam, tidak perlu voice actor, dan semuanya berjalan secara real-time. Inilah visi yang diwujudkan oleh Fish Audio S2.
Fish Audio S2 adalah sistem text-to-speech (TTS) open-source generasi terbaru yang dikembangkan oleh tim Fish Audio. Sistem ini tidak hanya mampu mengkloning suara dengan kualitas tinggi, tetapi juga menghadirkan tiga terobosan utama: kontrol suara melalui instruksi bahasa alami, generasi percakapan multi-speaker dalam satu pass, dan sintesis audio panjang yang stabil. Semua ini berjalan di atas inference engine berbasis SGLang yang sanggup menghasilkan audio dengan Real-Time Factor (RTF) 0,195 dan time-to-first-audio di bawah 100 milidetik.
Dalam laporan teknis mereka yang dirilis Maret 2026, tim Fish Audio memperkenalkan arsitektur Dual-Autoregressive (Dual-AR), pipeline data tiga tahap yang terintegrasi dengan reinforcement learning (RL), serta evaluasi komprehensif yang mencakup benchmark objektif dan penilaian berbasis LLM. Mari kita telusuri lebih dalam bagaimana Fish Audio S2 dibangun.
Arsitektur Dual-AR: Memisahkan Semantik dari Akustik
Arsitektur Fish Audio S2 dibangun di atas dua komponen utama: audio tokenizer berbasis DAC (Descript Audio Codec) yang telah dimodifikasi, dan arsitektur Dual-AR yang memisahkan pemodelan semantik temporal dari generasi akustik.
Audio Tokenizer. Tokenizer menggunakan Residual Vector Quantization (RVQ) dengan 10 codebook, di mana codebook pertama berfungsi sebagai semantic codebook dan 9 sisanya menangkap detail akustik yang semakin halus. Modifikasi kunci meliputi: konvolusi kausal untuk streaming latensi rendah, sliding-window Transformer untuk pemodelan jarak jauh, downsampling 2048x dengan ConvNeXt V2, dan dekoder EVA-GAN yang lebih efisien. Selain itu, teknik semantic distillation memastikan codebook pertama kaya akan informasi linguistik dengan bantuan model w2v-BERT 2.0.
Dual-AR. Tantangan utama dalam TTS berbasis token adalah panjang sekuens: 10 lapis RVQ berarti 10x lipat panjang sekuens jika di-flatten. Arsitektur Dual-AR mengatasi ini dengan membagi tugas menjadi dua:
- Slow AR: Berbasis Qwen3-4B, berjalan secara autoregresif di sepanjang sumbu waktu, menghasilkan token semantik dari codebook pertama. Ia merencanakan konten linguistik dan struktur prosodi kasar, mirip seperti generasi teks biasa.
- Fast AR: Jaringan ringan 4-layer Transformer yang merekonstruksi 9 codebook akustik tersisa secara depth-wise autoregressive, dikondisikan pada hidden state dari Slow AR.
Dengan Multi-Codebook Fusion (MCF), seluruh token dari satu time step digabungkan menjadi satu vektor untuk menjadi input embedding Slow AR di langkah berikutnya. Desain asimetris ini (4B parameter di sumbu waktu, 4 layer di sumbu kedalaman) menghasilkan efisiensi inferensi yang luar biasa.
Pipeline Data Tiga Tahap
Tim Fish Audio merancang pipeline data tiga tahap yang cerdas: model yang sama digunakan sebagai filter dan anotator saat pre-training, lalu digunakan kembali sebagai reward model saat RL post-training. Pendekatan dual-purpose ini menghilangkan distribution shift antara data pre-training dan objektif post-training.
- Tahap 1: Separasi dan Segmentasi. Modul separasi vokal mengisolasi suara bersih dari latar belakang, diikuti oleh Voice Activity Detection (VAD) untuk memotong audio menjadi segmen-segmen ujaran.
- Tahap 2: Filter Kualitas. Model speech quality berbasis w2v-BERT 2.0 mengevaluasi setiap segmen berdasarkan SNR, konsistensi pembicara, kualitas rekaman, dan inteligibilitas. Sampel berkualitas rendah disingkirkan.
- Tahap 3: Transkripsi Kaya. Model ASR berbasis Qwen3-Omni-30B-A3B menghasilkan transkrip akurat sekaligus menganotasi fitur vokal seperti emosi, prosodi, dan giliran pembicara dalam bentuk instruksi bahasa alami. Contohnya: <|speaker:0|> [tertawa panjang] [marah].
Model ASR ini juga memprediksi speaker turns dan menyuntikkan instruksi vokal seperti [prolonged laugh], [inhale], [angry], dan [emphasis] langsung ke dalam aliran teks. Transkrip inilah yang menjadi data fine-grained instruction untuk melatih kemampuan kontrol zero-shot Fish Audio S2.
Training: Dari Pre-Training Masif ke RL Multi-Reward
Training Fish Audio S2 berlangsung dalam empat tahap. Dimulai dengan melatih audio tokenizer (446M parameter, 1 juta steps) menggunakan tiga diskriminator GAN: multi-period, multi-resolution, dan multi-scale STFT.
Pre-training dan SFT. Fase pre-training menyelaraskan token audio dengan foundation model Qwen3-4B melalui dua tahap progresif: pertama dengan konteks 8.192 token, lalu diperluas ke 16.384 token untuk mendukung audio panjang dan percakapan multi-speaker. Total data yang digunakan mencapai lebih dari 10 juta jam audio mentah dalam sekitar 80 bahasa dan dialek. Setelah itu, Supervised Fine-Tuning (SFT) dilakukan pada data berlabel internal berkualitas tinggi untuk meningkatkan ekspresivitas dan kontrol. Training menggunakan FSDP dengan strategi learning rate diferensial dan Warmup-Stable-Decay (WSD).
RL-Based Post-Training. Ini adalah inovasi paling menarik. Tim Fish Audio mengadopsi varian GRPO (Group Relative Policy Optimization) yang menghilangkan kebutuhan value network dengan mengestimasi advantage dari statistik intra-grup. Sistem reward multidimensi menggabungkan tiga sinyal:
- Semantic Accuracy (R_STT): Memanfaatkan model ASR dari pipeline data, memberikan penalti lebih berat pada kesalahan speaker ID dan instruksi vokal yang terlewat.
- Acoustic Preference (R_Pref): Dinilai oleh model speech quality dari pipeline data.
- Timbre Similarity (R_SIM): Menggunakan model voiceprint eksternal untuk menghitung cosine similarity.
Untuk efisiensi, sistem scoring dijadikan arsitektur asinkron terpisah, dan referensi model disimpan sebagai LoRA di CPU memory dengan mekanisme weight-swap. Teknik ini menggunakan rsLoRA (r=16) yang hanya meng-update layer MLP.
Hasil Benchmark: Memimpin di Berbagai Metrik
Fish Audio S2 dievaluasi secara komprehensif melalui dua jalur: metrik objektif dan penilaian LLM-sebagai-juri.
Evaluasi Objektif. Pada benchmark Seed-TTS-Eval, Fish Audio S2 mencapai WER 0,54% (Chinese) dan 0,99% (English) — memimpin di antara model open-source maupun closed-source. Pada CV3-Eval yang mencakup 9 bahasa, Fish Audio S2 meraih WER terbaik di seluruh bahasa yang dilaporkan, mengurangi rata-rata error dari 3,96 menjadi 3,01 (penurunan 23,9%) dibandingkan S1. Sementara pada MiniMax Multilingual Testset (24 bahasa), S2 mencatat WER terendah di 11 bahasa dan SIM tertinggi di 17 bahasa. Untuk audio panjang (Long-TTS-Eval), S2 juga unggul dengan WER 4,38% (English) dan CER 5,95% (Chinese).
LLM-as-a-Judge. Pada Audio Turing Test, Fish Audio S2 mencapai posterior mean 0,483, meningkat menjadi 0,515 dengan instruction rewriting — melampaui model-model sebelumnya hingga 30%. Pada EmergentTTS-Eval yang mengukur lima dimensi ekspresif, S2 meraih win rate 81,88% melawan baseline, dengan keunggulan dominan di paralinguistics (91,61%), questions (84,41%), dan syntactic complexity (83,39%). Sementara pada Fish Audio Instruction Benchmark — benchmark baru yang diperkenalkan tim untuk evaluasi tag-following — S2 mencapai Tag Activation Rate 93,3% dan skor kualitas 4,51/5,0 secara keseluruhan.
Inference Engine. Berkat SGLang dengan RadixAttention, sistem produksi di satu NVIDIA H200 mencapai RTF 0,195, TTFA di bawah 100 ms, dan throughput 3.000+ token akustik per detik dengan RTF tetap di bawah 0,5. Prefix-cache hit rate mencapai 86,4% rata-rata dan lebih dari 90% di puncak, membuat pemrosesan prompt nyaris tanpa overhead untuk suara yang digunakan berulang.
Fish Audio S2 merepresentasikan lompatan besar dalam TTS open-source. Dengan arsitektur Dual-AR yang efisien, pipeline data dual-purpose yang cerdas, dan RL post-training multi-reward, sistem ini tidak hanya menyaingi model closed-source tetapi juga membuka jalan bagi generasi suara yang benar-benar terkontrol dan ekspresif. Kode, bobot model, dan inference engine tersedia secara terbuka di GitHub dan Hugging Face. Anda juga dapat mencoba demo interaktifnya di fish.audio.
Baca laporan teknis lengkapnya di arXiv:2603.08823.
