SGLang-Omni: a high-performance serving framework for audio models (TTS, ASR) and unified multimodal models (1.5k stars)
What it does
All text below is quoted directly from the project README.
>SGLang-Omni is a multi-stage serving runtime for omni, speech, and TTS models. Its design target is multi-stage decoding: generation split across heterogeneous stages with different compute patterns, dependency structures, and resource needs.
About:
- Multi-stage runtime: SGLang-Omni models generation as coordinated stages: preprocessing, encoders, autoregressive engines, talkers, decoders, vocoders, and aggregators.
- Stage-specialized scheduling: Each stage runs behind a scheduler matched to its workload, from SGLang-backed autoregressive scheduling to lightweight preprocessing and streaming vocoder loops.
- Transport-aware execution: A control plane coordinates requests while the relay data plane moves tensor payloads across shared-memory, NCCL, NIXL, and Mooncake backends.
- API surface: OpenAI-compatible endpoints expose multimodal chat, speech generation, batch speech, streaming speech, uploaded voices, and transcription.
- Omni chat and speech: Qwen3-Omni, Ming-Omni, multimodal in, text/audio out.
- Speech generation: Higgs Audio v3, MOSS-TTS, MOSS-TTS Local, Fish Audio Drama 3, Fish Speech S2-Pro, Qwen3-TTS, Voxtral TTS, Ming-Omni-TTS, dots.tts, ZONOS2, /v1/audio/speech, batch, streaming, uploaded voices.
- Audio transcription and diarization: Qwen3-ASR, Fun-ASR, ARK-ASR, Nemotron 3.5 ASR, MOSS-Transcribe-Diarize via /v1/audio/transcriptions.
- SGLang-Omni Router: Multi-worker OpenAI-compatible front door, health, readiness, lifecycle, capability discovery.
>Install with uv pip install --prerelease=allow "sglang-omni==0.1.8".
Repository
sgl-project/sglang-omni
Repository stats
|Metric|Value|
|:-|:-|
|Stars|1,526|
|Forks|606|
|Last release|v0.1.8 (2026-10-12)|
|Languages|Python 66.7%, Swift 26.7%, Rust 3.2%|
|Contributors|177|
|AI contributor accounts (Claude / Codex / Cursor / Copilot)|claude: 17, Copilot: 2|
|AI co-authored commits|Claude: 31, Cursor: 8, Copilot: 12|
Main contributor
|Field|Value|
|:-|:-|
|Name|Chenyang Zhao|
|GitHub|@zhaochenyang20|
|Commits to this repo|231 (top contributor)|
|Company / Location|RadixArk, Inc. / Los Angeles|
|X / Twitter|@GenAI_is_real|
|Followers|3,000|
5 points
SGLang-Omni GitHub Overview: Local Qwen3-ASR Audio Transcription
sglang-omni by sgl-project: sgl-project/sglang-omni
SGLang-Omni is presented here as a local serving framework for audio and multimodal models, using Qwen3-ASR to turn a synthetic WAV into text through an OpenAI-compatible /v1/audio/transcriptions endpoint. The overview explains why local GPU execution can reduce cloud latency and recurring API costs, then covers the architecture and operating requirements: an NVIDIA GPU before RTX 50-series, Docker with NVIDIA Container Toolkit, 32G shared memory, host IPC and networking, Python 3.12, uv, local model weights, port 8000, and synchronous decoding. It also covers JSON versus verbose JSON responses, diarization metadata, NVML mismatch recovery, memory tuning, and consent boundaries. The commands are discussed and illustrated, while several operations remain conceptual rather than a complete hands-on installation demonstration.
TimeStamps:
0:00 Local processing versus cloud latency and cost
0:15 SGLang-Omni and the Qwen3-ASR target
0:28 GPU, Docker, and synthetic audio prerequisites
0:52 Docker environment and shared-memory flags
1:40 Python 3.12, uv, and framework dependencies
2:18 Downloading local Qwen3-ASR model weights
2:40 Serving on port 8000 with synchronous decoding
3:37 OpenAI-compatible audio transcription requests
4:10 JSON output and deployment verification
4:40 Verbose JSON, diarization, and speaker labels
5:04 Authorized and synthetic audio boundaries
5:19 Diarization output and the final consent reminder
🧠 Local GPU inference and the SGLang-Omni pipeline
🛠️ Docker, shared memory, uv, and Qwen3-ASR
🔌 OpenAI-compatible transcription with JSON output
🔒 Synthetic or consented audio only
For engineers weighing local ASR, the key tradeoff is control versus setup complexity: SGLang-Omni keeps Qwen3-ASR processing on local hardware, but the multi-stage runtime depends on compatible GPU, memory, container, and model configuration. Use the overview to evaluate fit, then verify current repository requirements before deploying with authorized audio.
#SGLangOmni #Qwen3ASR #LocalAI
[de-DE] SGLang-Omni GitHub-Übersicht: Lokale Qwen3-ASR-Audiotranskription
sglang-omni vom sgl-project: sgl-project/sglang-omni
SGLang-Omni wird hier als lokales Framework für Audio- und multimodale Modelle vorgestellt. Es verwendet Qwen3-ASR, um synthetische WAV-Dateien über einen OpenAI-kompatiblen Endpunkt `/v1/audio/transcriptions` in Text umzuwandeln. Die Übersicht erklärt, warum die lokale Ausführung auf der GPU die Cloud-Latenz und die wiederkehrenden API-Kosten reduzieren kann. Anschließend werden die Architektur und die Betriebsanforderungen erläutert: eine NVIDIA-GPU vor der RTX-50-Serie, Docker mit NVIDIA Container Toolkit, 32 GB gemeinsam genutzter Speicher, Host-IPC und Netzwerk, Python 3.12, uv, lokale Modellgewichte, Port 8000 und synchrone Dekodierung. Außerdem werden JSON- versus Verbose-JSON-Antworten, Diarisierungsmetadaten, NVML-Fehlerbehebung, Speicheroptimierung und Einwilligungsgrenzen behandelt. Die Befehle werden erläutert und veranschaulicht, wobei einige Operationen konzeptionell bleiben und keine vollständige praktische Installationsdemonstration darstellen.
Zeitstempel:
0:00 Lokale Verarbeitung im Vergleich zu Cloud-Latenz und -Kosten
0:15 SGLang-Omni und das Qwen3-ASR-Ziel
0:28 GPU-, Docker- und synthetische Audio-Voraussetzungen
0:52 Docker-Umgebung und Shared-Memory-Flags
1:40 Python 3.12, uv und Framework-Abhängigkeiten
2:18 Herunterladen lokaler Qwen3-ASR-Modellgewichte
2:40 Bereitstellung auf Port 8000 mit synchroner Dekodierung
3:37 OpenAI-kompatible Audio-Transkriptionsanfragen
4:10 JSON-Ausgabe und Bereitstellungsprüfung
4:40 Ausführliches JSON, Diarisierung und Sprecherbezeichnungen
5:04 Autorisierte und synthetische Audiogrenzen
5:19 Diarisierungsausgabe und abschließende Einwilligungserinnerung
🧠 Lokale GPU-Inferenz und die SGLang-Omni-Pipeline
🛠️ Docker, Shared Memory, uv und Qwen3-ASR
🔌 OpenAI-kompatibel Transkription mit JSON-Ausgabe
🔒 Nur synthetisches oder freigegebenes Audio
Für Entwickler, die lokale automatische Spracherkennung (ASR) in Betracht ziehen, liegt der entscheidende Kompromiss zwischen Kontrolle und Einrichtungsaufwand: SGLang-Omni hält die Qwen3-ASR-Verarbeitung auf lokaler Hardware, die mehrstufige Laufzeitumgebung ist jedoch von einer kompatiblen GPU-, Speicher-, Container- und Modellkonfiguration abhängig. Nutzen Sie die Übersicht, um die Eignung zu bewerten, und überprüfen Sie anschließend die aktuellen Repository-Anforderungen, bevor Sie autorisiertes Audio bereitstellen.
#SGLangOmni #Qwen3ASR #LokaleKI
[es-US] Descripción general de SGLang-Omni en GitHub: Transcripción de audio local con Qwen3-ASR
sglang-omni de sgl-project: sgl-project/sglang-omni
SGLang-Omni se presenta aquí como un marco de servicio local para modelos de audio y multimodales, que utiliza Qwen3-ASR para convertir un archivo WAV sintético en texto a través de un punto final /v1/audio/transcriptions compatible con OpenAI. La descripción general explica por qué la ejecución local en GPU puede reducir la latencia en la nube y los costos recurrentes de la API, y luego cubre la arquitectura y los requisitos operativos: una GPU NVIDIA anterior a la serie RTX 50, Docker con NVIDIA Container Toolkit, 32 GB de memoria compartida, comunicación entre procesos (IPC) y red del host, Python 3.12, uv, ponderaciones locales del modelo, puerto 8000 y decodificación síncrona. También cubre las respuestas JSON frente a JSON detallado, los metadatos de diarización, la recuperación de discrepancias NVML, la optimización de la memoria y los límites de consentimiento. Se explican e ilustran los comandos, mientras que varias operaciones se mantienen como conceptos en lugar de una demostración práctica completa de la instalación.
Marcas de tiempo:
0:00 Procesamiento local frente a latencia y coste en la nube
0:15 SGLang-Omni y el objetivo Qwen3-ASR
0:28 Requisitos previos de GPU, Docker y audio sintético
0:52 Entorno Docker y opciones de memoria compartida
1:40 Python 3.12, uv y dependencias del framework
2:18 Descarga de los pesos del modelo Qwen3-ASR local
2:40 Servicio en el puerto 8000 con decodificación síncrona
3:37 Solicitudes de transcripción de audio compatibles con OpenAI
4:10 Salida JSON y verificación de la implementación
4:40 JSON detallado, diarización y etiquetas de locutor
5:04 Límites de audio autorizado y sintético
5:19 Salida de diarización y recordatorio de consentimiento final
🧠 Inferencia local en GPU y el pipeline SGLang-Omni
🛠️ Docker, memoria compartida, uv y Qwen3-ASR
🔌 Compatible con OpenAI Transcripción con salida JSON
🔒 Solo audio sintético o con consentimiento
Para los ingenieros que evalúan el reconocimiento automático de voz (ASR) local, la disyuntiva clave reside en el control frente a la complejidad de la configuración: SGLang-Omni mantiene el procesamiento de Qwen3-ASR en hardware local, pero el entorno de ejecución multietapa depende de la compatibilidad de la GPU, la memoria, el contenedor y la configuración del modelo. Consulte la descripción general para evaluar la idoneidad y, a continuación, verifique los requisitos del repositorio actual antes de implementar con audio autorizado.
#SGLangOmni #Qwen3ASR #LocalAI
[fr-FR] Présentation de SGLang-Omni sur GitHub : Transcription audio locale avec Qwen3-ASR
sglang-omni par sgl-project : sgl-project/sglang-omni
SGLang-Omni est présenté ici comme un framework de diffusion locale pour les modèles audio et multimodaux. Il utilise Qwen3-ASR pour convertir un fichier WAV synthétique en texte via un point de terminaison /v1/audio/transcriptions compatible avec OpenAI. Cette présentation explique pourquoi l'exécution locale sur GPU permet de réduire la latence du cloud et les coûts récurrents des API, puis aborde l'architecture et la configuration requise : GPU NVIDIA antérieur à la série RTX 50, Docker avec NVIDIA Container Toolkit, 32 Go de mémoire partagée, IPC et réseau hôte, Python 3.12, uv, poids des modèles locaux, port 8000 et décodage synchrone. Elle traite également des réponses JSON et JSON verbeux, des métadonnées de diarisation, de la récupération des incompatibilités NVML, de l'optimisation de la mémoire et des limites de consentement. Les commandes sont expliquées et illustrées, mais certaines opérations restent conceptuelles et ne font pas l'objet d'une démonstration pratique complète d'installation.
Horodatage :
0:00 Traitement local vs latence et coût du cloud
0:15 SGLang-Omni et la cible Qwen3-ASR
0:28 Prérequis : GPU, Docker et audio synthétique
0:52 Environnement Docker et options de mémoire partagée
1:40 Python 3.12, uv et dépendances du framework
2:18 Téléchargement des poids du modèle Qwen3-ASR local
2:40 Diffusion sur le port 8000 avec décodage synchrone
3:37 Requêtes de transcription audio compatibles OpenAI
4:10 Sortie JSON et vérification du déploiement
4:40 JSON détaillé, diarisation et étiquettes de locuteur
5:04 Limites de l’audio autorisé et synthétique
5:19 Sortie de diarisation et rappel de consentement final
🧠 Inférence GPU locale et pipeline SGLang-Omni
🛠️ Docker, mémoire partagée, uv et Qwen3-ASR
🔌 Compatible OpenAI Transcription avec sortie JSON
🔒 Audio synthétique ou avec consentement uniquement
Pour les ingénieurs qui envisagent une reconnaissance vocale locale, le principal compromis réside dans le contrôle par rapport à la complexité de configuration : SGLang-Omni conserve le traitement Qwen3-ASR sur le matériel local, mais son environnement d'exécution multi-étapes dépend de la compatibilité du GPU, de la mémoire, du conteneur et de la configuration du modèle. Utilisez la vue d'ensemble pour évaluer l'adéquation, puis vérifiez les exigences actuelles du dépôt avant de déployer avec un audio autorisé.
#SGLangOmni #Qwen3ASR #LocalAI
[hi] SGLang-Omni GitHub अवलोकन: स्थानीय Qwen3-ASR ऑडियो ट्रांसक्रिप्शन
sgl-project द्वारा sglang-omni: sgl-project/sglang-omni
SGLang-Omni को यहां ऑडियो और मल्टीमॉडल मॉडल के लिए एक स्थानीय सर्विंग फ्रेमवर्क के रूप में प्रस्तुत किया गया है, जो Qwen3-ASR का उपयोग करके सिंथेटिक WAV फ़ाइल को OpenAI-संगत /v1/audio/transcriptions एंडपॉइंट के माध्यम से टेक्स्ट में परिवर्तित करता है। संक्षिप्त विवरण में बताया गया है कि स्थानीय GPU निष्पादन क्लाउड लेटेंसी और आवर्ती API लागत को कैसे कम कर सकता है, फिर आर्किटेक्चर और संचालन संबंधी आवश्यकताओं को शामिल किया गया है: RTX 50-सीरीज़ से पहले का NVIDIA GPU, NVIDIA कंटेनर टूलकिट के साथ Docker, 32GB साझा मेमोरी, होस्ट IPC और नेटवर्किंग, Python 3.12, uv, स्थानीय मॉडल वेट, पोर्ट 8000 और सिंक्रोनस डिकोडिंग। इसमें JSON बनाम विस्तृत JSON प्रतिक्रियाएं, डायराइज़ेशन मेटाडेटा, NVML बेमेल रिकवरी, मेमोरी ट्यूनिंग और सहमति सीमाएं भी शामिल हैं। कमांडों पर चर्चा की गई है और उन्हें उदाहरणों के साथ समझाया गया है, जबकि कई क्रियाविधियों को पूर्ण व्यावहारिक स्थापना प्रदर्शन के बजाय सैद्धांतिक रूप से ही प्रस्तुत किया गया है।
टाइमस्टैम्प:
0:00 स्थानीय प्रोसेसिंग बनाम क्लाउड लेटेंसी और लागत
0:15 SGLang-Omni और Qwen3-ASR लक्ष्य
0:28 GPU, Docker और सिंथेटिक ऑडियो की पूर्व आवश्यकताएँ
0:52 Docker वातावरण और साझा मेमोरी फ़्लैग
1:40 Python 3.12, uv और फ़्रेमवर्क निर्भरताएँ
2:18 स्थानीय Qwen3-ASR मॉडल भार डाउनलोड करना
2:40 सिंक्रोनस डिकोडिंग के साथ पोर्ट 8000 पर सेवा प्रदान करना
3:37 OpenAI-संगत ऑडियो ट्रांसक्रिप्शन अनुरोध
4:10 JSON आउटपुट और परिनियोजन सत्यापन
4:40 विस्तृत JSON, डायराइज़ेशन और स्पीकर लेबल
5:04 अधिकृत और सिंथेटिक ऑडियो सीमाएँ
5:19 डायराइज़ेशन आउटपुट और अंतिम सहमति अनुस्मारक
🧠 स्थानीय GPU अनुमान और SGLang-Omni पाइपलाइन
🛠️ Docker, साझा मेमोरी, uv और Qwen3-ASR
🔌 JSON आउटपुट के साथ OpenAI-संगत ट्रांसक्रिप्शन
🔒 केवल कृत्रिम या स्वीकृत ऑडियो
स्थानीय ASR पर विचार कर रहे इंजीनियरों के लिए, मुख्य संतुलन नियंत्रण और सेटअप की जटिलता के बीच है: SGLang-Omni Qwen3-ASR प्रोसेसिंग को स्थानीय हार्डवेयर पर रखता है, लेकिन बहु-चरणीय रनटाइम संगत GPU, मेमोरी, कंटेनर और मॉडल कॉन्फ़िगरेशन पर निर्भर करता है। उपयुक्तता का मूल्यांकन करने के लिए अवलोकन का उपयोग करें, फिर अधिकृत ऑडियो के साथ परिनियोजन करने से पहले वर्तमान रिपॉजिटरी आवश्यकताओं की पुष्टि करें।
#SGLangOmni #Qwen3ASR #LocalAI
[id] Gambaran Umum SGLang-Omni di GitHub: Transkripsi Audio Lokal Qwen3-ASR
sglang-omni oleh sgl-project: sgl-project/sglang-omni
SGLang-Omni disajikan di sini sebagai kerangka kerja penyajian lokal untuk model audio dan multimodal, menggunakan Qwen3-ASR untuk mengubah WAV sintetis menjadi teks melalui endpoint /v1/audio/transcriptions yang kompatibel dengan OpenAI. Gambaran umum menjelaskan mengapa eksekusi GPU lokal dapat mengurangi latensi cloud dan biaya API berulang, kemudian mencakup arsitektur dan persyaratan pengoperasian: GPU NVIDIA sebelum seri RTX 50, Docker dengan NVIDIA Container Toolkit, memori bersama 32G, IPC dan jaringan host, Python 3.12, uv, bobot model lokal, port 8000, dan decoding sinkron. Ini juga mencakup respons JSON versus JSON verbose, metadata diarization, pemulihan ketidakcocokan NVML, penyetelan memori, dan batasan persetujuan. Perintah dibahas dan diilustrasikan, sementara beberapa operasi tetap bersifat konseptual daripada demonstrasi instalasi langsung yang lengkap.
Cap Waktu:
0:00 Pemrosesan lokal versus latensi dan biaya cloud
0:15 SGLang-Omni dan target Qwen3-ASR
0:28 Prasyarat GPU, Docker, dan audio sintetis
0:52 Lingkungan Docker dan flag memori bersama
1:40 Python 3.12, uv, dan dependensi kerangka kerja
2:18 Mengunduh bobot model Qwen3-ASR lokal
2:40 Melayani di port 8000 dengan dekode sinkron
3:37 Permintaan transkripsi audio yang kompatibel dengan OpenAI
4:10 Output JSON dan verifikasi penyebaran
4:40 JSON verbose, diarization, dan label pembicara
5:04 Batas audio resmi dan sintetis
5:19 Output diarization dan pengingat persetujuan akhir
🧠 Inferensi GPU lokal dan pipeline SGLang-Omni
🛠️ Docker, memori bersama, uv, dan Qwen3-ASR
🔌 Transkripsi yang kompatibel dengan OpenAI dengan JSON Output
🔒 Hanya audio sintetis atau yang disetujui
Bagi para insinyur yang mempertimbangkan ASR lokal, pertimbangan utamanya adalah kontrol versus kompleksitas pengaturan: SGLang-Omni menjaga pemrosesan Qwen3-ASR pada perangkat keras lokal, tetapi runtime multi-tahap bergantung pada GPU, memori, kontainer, dan konfigurasi model yang kompatibel. Gunakan ikhtisar untuk mengevaluasi kesesuaian, lalu verifikasi persyaratan repositori saat ini sebelum menerapkan dengan audio yang diizinkan.
#SGLangOmni #Qwen3ASR #LocalAI
[it] YNAS ynp_fdb146955f16d955 cinematic
Caricamento di automazione privata. Identità del pacchetto: ynp_fdb146955f16d955; output: cinematografico.
[pt-BR] Visão Geral do SGLang-Omni no GitHub: Transcrição de Áudio Local com Qwen3-ASR
sglang-omni por sgl-project: sgl-project/sglang-omni
O SGLang-Omni é apresentado aqui como um framework de serviço local para modelos de áudio e multimodais, utilizando o Qwen3-ASR para converter um WAV sintético em texto através de um endpoint /v1/audio/transcriptions compatível com OpenAI. A visão geral explica por que a execução local em GPU pode reduzir a latência na nuvem e os custos recorrentes de API, e aborda a arquitetura e os requisitos operacionais: uma GPU NVIDIA anterior à série RTX 50, Docker com NVIDIA Container Toolkit, 32 GB de memória compartilhada, IPC e rede do host, Python 3.12, uv, pesos de modelo locais, porta 8000 e decodificação síncrona. Também aborda respostas JSON versus JSON verboso, metadados de diarização, recuperação de incompatibilidade NVML, ajuste de memória e limites de consentimento. Os comandos são discutidos e ilustrados, embora diversas operações permaneçam conceituais em vez de uma demonstração prática completa de instalação.
Marcadores de tempo:
0:00 Processamento local versus latência e custo na nuvem
0:15 SGLang-Omni e o alvo Qwen3-ASR
0:28 Pré-requisitos de GPU, Docker e áudio sintético
0:52 Ambiente Docker e flags de memória compartilhada
1:40 Python 3.12, uv e dependências de frameworks
2:18 Baixando os pesos do modelo Qwen3-ASR local
2:40 Servindo na porta 8000 com decodificação síncrona
3:37 Solicitações de transcrição de áudio compatíveis com OpenAI
4:10 Saída JSON e verificação de implantação
4:40 JSON detalhado, diarização e rótulos de locutor
5:04 Limites de áudio autorizado e sintético
5:19 Saída de diarização e o lembrete final de consentimento
🧠 Inferência local em GPU e o pipeline SGLang-Omni
🛠️ Docker, memória compartilhada, uv e Qwen3-ASR
🔌 Transcrição compatível com OpenAI usando JSON Saída
🔒 Somente áudio sintético ou autorizado
Para engenheiros que avaliam o reconhecimento de fala local (ASR), a principal compensação é o controle versus a complexidade de configuração: o SGLang-Omni mantém o processamento do Qwen3-ASR no hardware local, mas o tempo de execução em várias etapas depende de GPU, memória, contêiner e configuração de modelo compatíveis. Use a visão geral para avaliar a adequação e, em seguida, verifique os requisitos atuais do repositório antes de implantar com áudio autorizado.
#SGLangOmni #Qwen3ASR #LocalAI
149 views
Mentions
Cosyvoice3 TTS is now 1.69x faster on SM120 Consumer Blackwell devices in SGL-Omni! On SM120 it's DiT block was falling back to padded Torch SDPA, I managed to route it to FA4 and unlock torch.compile. You can check it out on your hardware sglang-omni#3383
SGLang-Omni: a high-performance serving framework for audio models (TTS, ASR) and unified multimodal models (1.5k stars) What it does All text below is quoted directly from the project README. >SGLang-Omni is a multi-stage serving runtime for omni, speech, and TTS models. Its design target is multi-stage decoding: generation split across heterogeneous stages with different compute patterns, dependency structures, and resource needs. About: - Multi-stage runtime: SGLang-Omni models generation as coordinated stages: preprocessing, encoders, autoregressive engines, talkers, decoders, vocoders, and aggregators. - Stage-specialized scheduling: Each stage runs behind a scheduler matched to its workload, from SGLang-backed autoregressive scheduling to lightweight preprocessing and streaming vocoder loops. - Transport-aware execution: A control plane coordinates requests while the relay data plane moves tensor payloads across shared-memory, NCCL, NIXL, and Mooncake backends. - API surface: OpenAI-compatible endpoints expose multimodal chat, speech generation, batch speech, streaming speech, uploaded voices, and transcription. - Omni chat and speech: Qwen3-Omni, Ming-Omni, multimodal in, text/audio out. - Speech generation: Higgs Audio v3, MOSS-TTS, MOSS-TTS Local, Fish Audio Drama 3, Fish Speech S2-Pro, Qwen3-TTS, Voxtral TTS, Ming-Omni-TTS, dots.tts, ZONOS2, /v1/audio/speech, batch, streaming, uploaded voices. - Audio transcription and diarization: Qwen3-ASR, Fun-ASR, ARK-ASR, Nemotron 3.5 ASR, MOSS-Transcribe-Diarize via /v1/audio/transcriptions. - SGLang-Omni Router: Multi-worker OpenAI-compatible front door, health, readiness, lifecycle, capability discovery. >Install with uv pip install --prerelease=allow "sglang-omni==0.1.8". Repository sgl-project/sglang-omni Repository stats |Metric|Value| |:-|:-| |Stars|1,526| |Forks|606| |Last release|v0.1.8 (2026-10-12)| |Languages|Python 66.7%, Swift 26.7%, Rust 3.2%| |Contributors|177| |AI contributor accounts (Claude / Codex / Cursor / Copilot)|claude: 17, Copilot: 2| |AI co-authored commits|Claude: 31, Cursor: 8, Copilot: 12| Main contributor |Field|Value| |:-|:-| |Name|Chenyang Zhao| |GitHub|@zhaochenyang20| |Commits to this repo|231 (top contributor)| |Company / Location|RadixArk, Inc. / Los Angeles| |X / Twitter|@GenAI_is_real| |Followers|3,000|
SGLang-Omni GitHub Overview: Local Qwen3-ASR Audio Transcription sglang-omni by sgl-project: sgl-project/sglang-omni SGLang-Omni is presented here as a local serving framework for audio and multimodal models, using Qwen3-ASR to turn a synthetic WAV into text through an OpenAI-compatible /v1/audio/transcriptions endpoint. The overview explains why local GPU execution can reduce cloud latency and recurring API costs, then covers the architecture and operating requirements: an NVIDIA GPU before RTX 50-series, Docker with NVIDIA Container Toolkit, 32G shared memory, host IPC and networking, Python 3.12, uv, local model weights, port 8000, and synchronous decoding. It also covers JSON versus verbose JSON responses, diarization metadata, NVML mismatch recovery, memory tuning, and consent boundaries. The commands are discussed and illustrated, while several operations remain conceptual rather than a complete hands-on installation demonstration. TimeStamps: 0:00 Local processing versus cloud latency and cost 0:15 SGLang-Omni and the Qwen3-ASR target 0:28 GPU, Docker, and synthetic audio prerequisites 0:52 Docker environment and shared-memory flags 1:40 Python 3.12, uv, and framework dependencies 2:18 Downloading local Qwen3-ASR model weights 2:40 Serving on port 8000 with synchronous decoding 3:37 OpenAI-compatible audio transcription requests 4:10 JSON output and deployment verification 4:40 Verbose JSON, diarization, and speaker labels 5:04 Authorized and synthetic audio boundaries 5:19 Diarization output and the final consent reminder 🧠 Local GPU inference and the SGLang-Omni pipeline 🛠️ Docker, shared memory, uv, and Qwen3-ASR 🔌 OpenAI-compatible transcription with JSON output 🔒 Synthetic or consented audio only For engineers weighing local ASR, the key tradeoff is control versus setup complexity: SGLang-Omni keeps Qwen3-ASR processing on local hardware, but the multi-stage runtime depends on compatible GPU, memory, container, and model configuration. Use the overview to evaluate fit, then verify current repository requirements before deploying with authorized audio. #SGLangOmni #Qwen3ASR #LocalAI [de-DE] SGLang-Omni GitHub-Übersicht: Lokale Qwen3-ASR-Audiotranskription sglang-omni vom sgl-project: sgl-project/sglang-omni SGLang-Omni wird hier als lokales Framework für Audio- und multimodale Modelle vorgestellt. Es verwendet Qwen3-ASR, um synthetische WAV-Dateien über einen OpenAI-kompatiblen Endpunkt `/v1/audio/transcriptions` in Text umzuwandeln. Die Übersicht erklärt, warum die lokale Ausführung auf der GPU die Cloud-Latenz und die wiederkehrenden API-Kosten reduzieren kann. Anschließend werden die Architektur und die Betriebsanforderungen erläutert: eine NVIDIA-GPU vor der RTX-50-Serie, Docker mit NVIDIA Container Toolkit, 32 GB gemeinsam genutzter Speicher, Host-IPC und Netzwerk, Python 3.12, uv, lokale Modellgewichte, Port 8000 und synchrone Dekodierung. Außerdem werden JSON- versus Verbose-JSON-Antworten, Diarisierungsmetadaten, NVML-Fehlerbehebung, Speicheroptimierung und Einwilligungsgrenzen behandelt. Die Befehle werden erläutert und veranschaulicht, wobei einige Operationen konzeptionell bleiben und keine vollständige praktische Installationsdemonstration darstellen. Zeitstempel: 0:00 Lokale Verarbeitung im Vergleich zu Cloud-Latenz und -Kosten 0:15 SGLang-Omni und das Qwen3-ASR-Ziel 0:28 GPU-, Docker- und synthetische Audio-Voraussetzungen 0:52 Docker-Umgebung und Shared-Memory-Flags 1:40 Python 3.12, uv und Framework-Abhängigkeiten 2:18 Herunterladen lokaler Qwen3-ASR-Modellgewichte 2:40 Bereitstellung auf Port 8000 mit synchroner Dekodierung 3:37 OpenAI-kompatible Audio-Transkriptionsanfragen 4:10 JSON-Ausgabe und Bereitstellungsprüfung 4:40 Ausführliches JSON, Diarisierung und Sprecherbezeichnungen 5:04 Autorisierte und synthetische Audiogrenzen 5:19 Diarisierungsausgabe und abschließende Einwilligungserinnerung 🧠 Lokale GPU-Inferenz und die SGLang-Omni-Pipeline 🛠️ Docker, Shared Memory, uv und Qwen3-ASR 🔌 OpenAI-kompatibel Transkription mit JSON-Ausgabe 🔒 Nur synthetisches oder freigegebenes Audio Für Entwickler, die lokale automatische Spracherkennung (ASR) in Betracht ziehen, liegt der entscheidende Kompromiss zwischen Kontrolle und Einrichtungsaufwand: SGLang-Omni hält die Qwen3-ASR-Verarbeitung auf lokaler Hardware, die mehrstufige Laufzeitumgebung ist jedoch von einer kompatiblen GPU-, Speicher-, Container- und Modellkonfiguration abhängig. Nutzen Sie die Übersicht, um die Eignung zu bewerten, und überprüfen Sie anschließend die aktuellen Repository-Anforderungen, bevor Sie autorisiertes Audio bereitstellen. #SGLangOmni #Qwen3ASR #LokaleKI [es-US] Descripción general de SGLang-Omni en GitHub: Transcripción de audio local con Qwen3-ASR sglang-omni de sgl-project: sgl-project/sglang-omni SGLang-Omni se presenta aquí como un marco de servicio local para modelos de audio y multimodales, que utiliza Qwen3-ASR para convertir un archivo WAV sintético en texto a través de un punto final /v1/audio/transcriptions compatible con OpenAI. La descripción general explica por qué la ejecución local en GPU puede reducir la latencia en la nube y los costos recurrentes de la API, y luego cubre la arquitectura y los requisitos operativos: una GPU NVIDIA anterior a la serie RTX 50, Docker con NVIDIA Container Toolkit, 32 GB de memoria compartida, comunicación entre procesos (IPC) y red del host, Python 3.12, uv, ponderaciones locales del modelo, puerto 8000 y decodificación síncrona. También cubre las respuestas JSON frente a JSON detallado, los metadatos de diarización, la recuperación de discrepancias NVML, la optimización de la memoria y los límites de consentimiento. Se explican e ilustran los comandos, mientras que varias operaciones se mantienen como conceptos en lugar de una demostración práctica completa de la instalación. Marcas de tiempo: 0:00 Procesamiento local frente a latencia y coste en la nube 0:15 SGLang-Omni y el objetivo Qwen3-ASR 0:28 Requisitos previos de GPU, Docker y audio sintético 0:52 Entorno Docker y opciones de memoria compartida 1:40 Python 3.12, uv y dependencias del framework 2:18 Descarga de los pesos del modelo Qwen3-ASR local 2:40 Servicio en el puerto 8000 con decodificación síncrona 3:37 Solicitudes de transcripción de audio compatibles con OpenAI 4:10 Salida JSON y verificación de la implementación 4:40 JSON detallado, diarización y etiquetas de locutor 5:04 Límites de audio autorizado y sintético 5:19 Salida de diarización y recordatorio de consentimiento final 🧠 Inferencia local en GPU y el pipeline SGLang-Omni 🛠️ Docker, memoria compartida, uv y Qwen3-ASR 🔌 Compatible con OpenAI Transcripción con salida JSON 🔒 Solo audio sintético o con consentimiento Para los ingenieros que evalúan el reconocimiento automático de voz (ASR) local, la disyuntiva clave reside en el control frente a la complejidad de la configuración: SGLang-Omni mantiene el procesamiento de Qwen3-ASR en hardware local, pero el entorno de ejecución multietapa depende de la compatibilidad de la GPU, la memoria, el contenedor y la configuración del modelo. Consulte la descripción general para evaluar la idoneidad y, a continuación, verifique los requisitos del repositorio actual antes de implementar con audio autorizado. #SGLangOmni #Qwen3ASR #LocalAI [fr-FR] Présentation de SGLang-Omni sur GitHub : Transcription audio locale avec Qwen3-ASR sglang-omni par sgl-project : sgl-project/sglang-omni SGLang-Omni est présenté ici comme un framework de diffusion locale pour les modèles audio et multimodaux. Il utilise Qwen3-ASR pour convertir un fichier WAV synthétique en texte via un point de terminaison /v1/audio/transcriptions compatible avec OpenAI. Cette présentation explique pourquoi l'exécution locale sur GPU permet de réduire la latence du cloud et les coûts récurrents des API, puis aborde l'architecture et la configuration requise : GPU NVIDIA antérieur à la série RTX 50, Docker avec NVIDIA Container Toolkit, 32 Go de mémoire partagée, IPC et réseau hôte, Python 3.12, uv, poids des modèles locaux, port 8000 et décodage synchrone. Elle traite également des réponses JSON et JSON verbeux, des métadonnées de diarisation, de la récupération des incompatibilités NVML, de l'optimisation de la mémoire et des limites de consentement. Les commandes sont expliquées et illustrées, mais certaines opérations restent conceptuelles et ne font pas l'objet d'une démonstration pratique complète d'installation. Horodatage : 0:00 Traitement local vs latence et coût du cloud 0:15 SGLang-Omni et la cible Qwen3-ASR 0:28 Prérequis : GPU, Docker et audio synthétique 0:52 Environnement Docker et options de mémoire partagée 1:40 Python 3.12, uv et dépendances du framework 2:18 Téléchargement des poids du modèle Qwen3-ASR local 2:40 Diffusion sur le port 8000 avec décodage synchrone 3:37 Requêtes de transcription audio compatibles OpenAI 4:10 Sortie JSON et vérification du déploiement 4:40 JSON détaillé, diarisation et étiquettes de locuteur 5:04 Limites de l’audio autorisé et synthétique 5:19 Sortie de diarisation et rappel de consentement final 🧠 Inférence GPU locale et pipeline SGLang-Omni 🛠️ Docker, mémoire partagée, uv et Qwen3-ASR 🔌 Compatible OpenAI Transcription avec sortie JSON 🔒 Audio synthétique ou avec consentement uniquement Pour les ingénieurs qui envisagent une reconnaissance vocale locale, le principal compromis réside dans le contrôle par rapport à la complexité de configuration : SGLang-Omni conserve le traitement Qwen3-ASR sur le matériel local, mais son environnement d'exécution multi-étapes dépend de la compatibilité du GPU, de la mémoire, du conteneur et de la configuration du modèle. Utilisez la vue d'ensemble pour évaluer l'adéquation, puis vérifiez les exigences actuelles du dépôt avant de déployer avec un audio autorisé. #SGLangOmni #Qwen3ASR #LocalAI [hi] SGLang-Omni GitHub अवलोकन: स्थानीय Qwen3-ASR ऑडियो ट्रांसक्रिप्शन sgl-project द्वारा sglang-omni: sgl-project/sglang-omni SGLang-Omni को यहां ऑडियो और मल्टीमॉडल मॉडल के लिए एक स्थानीय सर्विंग फ्रेमवर्क के रूप में प्रस्तुत किया गया है, जो Qwen3-ASR का उपयोग करके सिंथेटिक WAV फ़ाइल को OpenAI-संगत /v1/audio/transcriptions एंडपॉइंट के माध्यम से टेक्स्ट में परिवर्तित करता है। संक्षिप्त विवरण में बताया गया है कि स्थानीय GPU निष्पादन क्लाउड लेटेंसी और आवर्ती API लागत को कैसे कम कर सकता है, फिर आर्किटेक्चर और संचालन संबंधी आवश्यकताओं को शामिल किया गया है: RTX 50-सीरीज़ से पहले का NVIDIA GPU, NVIDIA कंटेनर टूलकिट के साथ Docker, 32GB साझा मेमोरी, होस्ट IPC और नेटवर्किंग, Python 3.12, uv, स्थानीय मॉडल वेट, पोर्ट 8000 और सिंक्रोनस डिकोडिंग। इसमें JSON बनाम विस्तृत JSON प्रतिक्रियाएं, डायराइज़ेशन मेटाडेटा, NVML बेमेल रिकवरी, मेमोरी ट्यूनिंग और सहमति सीमाएं भी शामिल हैं। कमांडों पर चर्चा की गई है और उन्हें उदाहरणों के साथ समझाया गया है, जबकि कई क्रियाविधियों को पूर्ण व्यावहारिक स्थापना प्रदर्शन के बजाय सैद्धांतिक रूप से ही प्रस्तुत किया गया है। टाइमस्टैम्प: 0:00 स्थानीय प्रोसेसिंग बनाम क्लाउड लेटेंसी और लागत 0:15 SGLang-Omni और Qwen3-ASR लक्ष्य 0:28 GPU, Docker और सिंथेटिक ऑडियो की पूर्व आवश्यकताएँ 0:52 Docker वातावरण और साझा मेमोरी फ़्लैग 1:40 Python 3.12, uv और फ़्रेमवर्क निर्भरताएँ 2:18 स्थानीय Qwen3-ASR मॉडल भार डाउनलोड करना 2:40 सिंक्रोनस डिकोडिंग के साथ पोर्ट 8000 पर सेवा प्रदान करना 3:37 OpenAI-संगत ऑडियो ट्रांसक्रिप्शन अनुरोध 4:10 JSON आउटपुट और परिनियोजन सत्यापन 4:40 विस्तृत JSON, डायराइज़ेशन और स्पीकर लेबल 5:04 अधिकृत और सिंथेटिक ऑडियो सीमाएँ 5:19 डायराइज़ेशन आउटपुट और अंतिम सहमति अनुस्मारक 🧠 स्थानीय GPU अनुमान और SGLang-Omni पाइपलाइन 🛠️ Docker, साझा मेमोरी, uv और Qwen3-ASR 🔌 JSON आउटपुट के साथ OpenAI-संगत ट्रांसक्रिप्शन 🔒 केवल कृत्रिम या स्वीकृत ऑडियो स्थानीय ASR पर विचार कर रहे इंजीनियरों के लिए, मुख्य संतुलन नियंत्रण और सेटअप की जटिलता के बीच है: SGLang-Omni Qwen3-ASR प्रोसेसिंग को स्थानीय हार्डवेयर पर रखता है, लेकिन बहु-चरणीय रनटाइम संगत GPU, मेमोरी, कंटेनर और मॉडल कॉन्फ़िगरेशन पर निर्भर करता है। उपयुक्तता का मूल्यांकन करने के लिए अवलोकन का उपयोग करें, फिर अधिकृत ऑडियो के साथ परिनियोजन करने से पहले वर्तमान रिपॉजिटरी आवश्यकताओं की पुष्टि करें। #SGLangOmni #Qwen3ASR #LocalAI [id] Gambaran Umum SGLang-Omni di GitHub: Transkripsi Audio Lokal Qwen3-ASR sglang-omni oleh sgl-project: sgl-project/sglang-omni SGLang-Omni disajikan di sini sebagai kerangka kerja penyajian lokal untuk model audio dan multimodal, menggunakan Qwen3-ASR untuk mengubah WAV sintetis menjadi teks melalui endpoint /v1/audio/transcriptions yang kompatibel dengan OpenAI. Gambaran umum menjelaskan mengapa eksekusi GPU lokal dapat mengurangi latensi cloud dan biaya API berulang, kemudian mencakup arsitektur dan persyaratan pengoperasian: GPU NVIDIA sebelum seri RTX 50, Docker dengan NVIDIA Container Toolkit, memori bersama 32G, IPC dan jaringan host, Python 3.12, uv, bobot model lokal, port 8000, dan decoding sinkron. Ini juga mencakup respons JSON versus JSON verbose, metadata diarization, pemulihan ketidakcocokan NVML, penyetelan memori, dan batasan persetujuan. Perintah dibahas dan diilustrasikan, sementara beberapa operasi tetap bersifat konseptual daripada demonstrasi instalasi langsung yang lengkap. Cap Waktu: 0:00 Pemrosesan lokal versus latensi dan biaya cloud 0:15 SGLang-Omni dan target Qwen3-ASR 0:28 Prasyarat GPU, Docker, dan audio sintetis 0:52 Lingkungan Docker dan flag memori bersama 1:40 Python 3.12, uv, dan dependensi kerangka kerja 2:18 Mengunduh bobot model Qwen3-ASR lokal 2:40 Melayani di port 8000 dengan dekode sinkron 3:37 Permintaan transkripsi audio yang kompatibel dengan OpenAI 4:10 Output JSON dan verifikasi penyebaran 4:40 JSON verbose, diarization, dan label pembicara 5:04 Batas audio resmi dan sintetis 5:19 Output diarization dan pengingat persetujuan akhir 🧠 Inferensi GPU lokal dan pipeline SGLang-Omni 🛠️ Docker, memori bersama, uv, dan Qwen3-ASR 🔌 Transkripsi yang kompatibel dengan OpenAI dengan JSON Output 🔒 Hanya audio sintetis atau yang disetujui Bagi para insinyur yang mempertimbangkan ASR lokal, pertimbangan utamanya adalah kontrol versus kompleksitas pengaturan: SGLang-Omni menjaga pemrosesan Qwen3-ASR pada perangkat keras lokal, tetapi runtime multi-tahap bergantung pada GPU, memori, kontainer, dan konfigurasi model yang kompatibel. Gunakan ikhtisar untuk mengevaluasi kesesuaian, lalu verifikasi persyaratan repositori saat ini sebelum menerapkan dengan audio yang diizinkan. #SGLangOmni #Qwen3ASR #LocalAI [it] YNAS ynp_fdb146955f16d955 cinematic Caricamento di automazione privata. Identità del pacchetto: ynp_fdb146955f16d955; output: cinematografico. [pt-BR] Visão Geral do SGLang-Omni no GitHub: Transcrição de Áudio Local com Qwen3-ASR sglang-omni por sgl-project: sgl-project/sglang-omni O SGLang-Omni é apresentado aqui como um framework de serviço local para modelos de áudio e multimodais, utilizando o Qwen3-ASR para converter um WAV sintético em texto através de um endpoint /v1/audio/transcriptions compatível com OpenAI. A visão geral explica por que a execução local em GPU pode reduzir a latência na nuvem e os custos recorrentes de API, e aborda a arquitetura e os requisitos operacionais: uma GPU NVIDIA anterior à série RTX 50, Docker com NVIDIA Container Toolkit, 32 GB de memória compartilhada, IPC e rede do host, Python 3.12, uv, pesos de modelo locais, porta 8000 e decodificação síncrona. Também aborda respostas JSON versus JSON verboso, metadados de diarização, recuperação de incompatibilidade NVML, ajuste de memória e limites de consentimento. Os comandos são discutidos e ilustrados, embora diversas operações permaneçam conceituais em vez de uma demonstração prática completa de instalação. Marcadores de tempo: 0:00 Processamento local versus latência e custo na nuvem 0:15 SGLang-Omni e o alvo Qwen3-ASR 0:28 Pré-requisitos de GPU, Docker e áudio sintético 0:52 Ambiente Docker e flags de memória compartilhada 1:40 Python 3.12, uv e dependências de frameworks 2:18 Baixando os pesos do modelo Qwen3-ASR local 2:40 Servindo na porta 8000 com decodificação síncrona 3:37 Solicitações de transcrição de áudio compatíveis com OpenAI 4:10 Saída JSON e verificação de implantação 4:40 JSON detalhado, diarização e rótulos de locutor 5:04 Limites de áudio autorizado e sintético 5:19 Saída de diarização e o lembrete final de consentimento 🧠 Inferência local em GPU e o pipeline SGLang-Omni 🛠️ Docker, memória compartilhada, uv e Qwen3-ASR 🔌 Transcrição compatível com OpenAI usando JSON Saída 🔒 Somente áudio sintético ou autorizado Para engenheiros que avaliam o reconhecimento de fala local (ASR), a principal compensação é o controle versus a complexidade de configuração: o SGLang-Omni mantém o processamento do Qwen3-ASR no hardware local, mas o tempo de execução em várias etapas depende de GPU, memória, contêiner e configuração de modelo compatíveis. Use a visão geral para avaliar a adequação e, em seguida, verifique os requisitos atuais do repositório antes de implantar com áudio autorizado. #SGLangOmni #Qwen3ASR #LocalAI
@GenAI_is_real Yue2 with CUDA/ROCm support is now available in sglang omni : CUDA: sglang-omni#2540 ROCM (by Zhang Jin): sglang-omni#1 Now you can generate music with ROCm machine (generated in AMD Radeon PRO W7900)
Fish Audio Drama 3 Technical Report We introduce Fish Audio Drama 3, an open-source speech generation model that turns text into directed performances, built on a 35B-parameter mixture-of-experts backbone that activates 3B parameters per token. It clones voices from multiple references, follows natural-language direction, revises a take when the next turn gives a note, voices multi-character scenes, edits existing speech by infilling, and synthesizes long-form and streaming audio. Multi-turn revision, scene dubbing, editing by infilling, and streaming text input are new in Drama 3, all in one model. Drama 3 pairs the hybrid linear-attention backbone with a new codebook multi-token-prediction audio decoder that predicts the acoustic codebooks of each frame in dedicated layers that attend over the entire sequence. The model is trained with a three-stage pre-training recipe, instruction fine-tuning, and large-batch reinforcement learning whose only reward is a single learned model of human preference. Its inference engine decodes a single stream at 271 frames per second on one H200, against 177 for Fish Audio S2, although Drama 3 has more than seven times as many parameters. The model weights are available on GitHub (fishaudio/fish-speech) and Hugging Face (huggingface.co), and inference is available through SGLang-Omni (sgl-project/sglang-omni). We highly encourage readers to visit fish.audio to direct their own performances.
开源、local only的语音输入法。 仓库地址：sgl-project/sglang-omni 有任何问题都欢迎issue/pr 🤩