resemble-ai

Tauri Tavern on the Go Tauri Tavern On The Go — v2.4.0 A custom build of TauriTavern for authors and roleplayers who want their full AI companion setup on their phone, synced live to their PC. What's in this release Android APK — install on your phone (arm64, Android 8+) ⚠️ You'll need to allow installs from unknown sources in your Android settings. 🖥️ PC Extension — The PC Brain TauriTavern Extension The server-side component that runs on your Windows PC and makes PC Brain possible. Install it once and your PC becomes the host for everything — characters, chats, lorebooks, world info, and TTS processing. Your phone or tablet connects to it over Tailscale and reads from it in real time, with no cloud service and no third-party server in between. Runs silently in the background alongside TauriTavern on your PC Serves your full character library, avatars, thumbnails, and backgrounds to connected devices Receives and saves changes made on your phone back to the PC automatically Handles stale-chat conflict resolution so two devices can never overwrite each other Works with Chatterbox TTS so your phone gets high-quality voice processed by your PC's GPU Accepts connections only from Tailscale IPs — never exposed to the open internet Passcode protected on first connect with a randomly generated word-word-NNN code Installation: No admin rights required. Drop it into your TauriTavern folder and run it alongside the app. The .bat launcher starts both together with one double-click. Features in this build - 📱 Press-to-record voice input — tap mic, speak, tap to send - 🔊 High-contrast TTS speaker button — big and easy to tap on the go - 🎭 Group portrait character buttons — tap a portrait to address that character - 🧠 PC Digital Brain — sync your full PC library to your phone over Tailscale - 🔒 Stale-chat protection — prevents PC and phone from overwriting each other - 🎵 Audio cache — TTS audio cached so it doesn't re-generate on replay - 📖 Story Memory extension — character knowledge boxes, chapter summaries, one-click export Setup (Android) 1. Install the APK 2. Install Tailscale on your phone and PC 3. On your PC: TauriTavern → Settings → PC Brain → enable Host mode (shows a passcode) 4. On your phone: Settings → PC Brain → enter your PC's Tailscale IP and passcode Detailed Explanation of everything in the update! Tauri Tavern On The Go — Full Feature List A custom fork of TauriTavern 2.4.0, built for authors, roleplayers, and anyone who needs their full AI companion setup available anywhere. Licensed under GNU AGPL v3. 📱 Voice Input (Android) Press-to-record dictation — tap the mic button to start recording, speak your message, tap again to send. No typing required. Built for people on the move — in the car, on a walk, hands busy. Segmented recording sessions for longer messages Real-time transcription fed to the recognizer at talking speed Microphone permissions handled cleanly on Android Fixes for the "stuck on Transcribing" bug in the base STT plugin 🔊 Text-to-Speech Improvements High-contrast speaker button — a large, obvious yellow speaker icon beside every character message, easy to tap on a phone screen. Pulses while audio is playing so you always know what's active. TTS audio cache — generated audio is saved to the device so replaying a message doesn't re-generate it. Saves API calls and works instantly on replay. Opus audio fix — Android's WebView couldn't play the Opus-encoded audio TauriTavern generates. This fork relabels it correctly so it plays on Android without errors. 🎭 Group Chat Portraits Character portrait buttons in group chats — each character in a group shows their portrait as a tappable button. Tap a portrait to address that character directly. Essential for mobile roleplay where typing u/characterName every time is a pain. 🛠️ Fixes Native TauriTavern Crashes on PC, Phone, and Tablet If you've used TauriTavern on Android or tablet, you've probably hit the wall: the app crashes under memory pressure, especially with large character libraries or active group chats. This is a fundamental limitation of how Android WebView handles memory — the app is doing too much work locally and the WebView runs out of headroom. This fork solves it at the architecture level. By treating your PC as the "brain" via Tailscale, the heavy lifting moves off your phone entirely. Your device becomes a display and input layer. The processing, the character library, the chat history, the lorebooks — all of it stays on your PC, which has no such memory constraints. If you choose not to use Tailscale, the crash risk returns. To keep things stable on mobile without Tailscale: Keep your character library under 80 cards Keep active group chats to 5 or fewer Avoid heavy memory-based integrations included in this version Keep most of your data saved and synced elsewhere The less you ask the phone to hold locally, the more stable it stays The crash isn't a bug in this fork — it's the ceiling Android WebView has always had. Tailscale bypasses it completely. Without it, you're managing around it. 🧠 PC Digital Brain (Tailscale Sync) The flagship feature. Your PC becomes the "brain" — all your characters, chats, lorebooks, and world info live there. Your phone connects over Tailscale and uses everything as if it were local. No cloud service, no third-party server — direct device-to-device over your private Tailscale network. What it does: Phone reads characters, chats, avatars, thumbnails, and backgrounds from the PC in real time Changes made on the phone (new messages, edits) are sent to the PC and saved there Changes made on the PC are visible on the phone immediately Picture cache on the phone — avatars and portraits are cached locally so scrolling is smooth, refreshed in the background when they change Works with Chatterbox TTS running on your PC — high-quality voice on your phone, processed by your PC's GPU Security: Tailscale-only — the server only accepts connections from Tailscale IPs, never the open internet Passcode protected — a randomly generated word-word-NNN passcode is required to connect Config stored locally in your app data folder, never committed or shared Stale-chat protection: If your PC and phone both have a chat open and one saves while the other has an older version, the older one is blocked from overwriting the newer one. Instead it gets a clear message: "This chat was changed on your PC since this page loaded it — reloading to the latest so nothing is overwritten." Works both directions — phone protects PC and PC protects phone. 📖 Story Memory Extension A built-in TauriTavern extension for authors and long-running RPGs where keeping track of what happened and who knows what actually matters. Character Knowledge Boxes: Each character gets their own knowledge box — what they know, what they don't, what's secret Secrets stay secret: a fact marked as known only to certain characters won't bleed into others One-click Copy to Clipboard button exports the full knowledge state formatted and ready to paste into Scrivener, Notion, or your notes app Designed for multi-character group RPs where "who knows about the betrayal" is a real continuity question Chapter & Scene Tracking: Logs what changed each scene — decisions made, reveals, relationship shifts, consequences Keeps a running "current moment" file: where you are, who's present, what's unresolved Separate from the chat history — it tracks what changed, not a retelling of every line Automatically merges older chapters into arc summaries when the log gets long, keeping it lean Story Keeper Agent Mode: An optional agent system prompt that makes your AI both write the next reply and maintain the memory Reads memory files before every reply so nothing is forgotten even when old messages scroll out of context Updates memory after every reply — rewrites the current moment, adds chapters, updates who knows what OOC correction system: write a note in ((double parentheses)) and the agent corrects the memory files and confirms what it fixed 🖥️ Windows PC Tools .bat launcher — one double-click starts, updates, and launches TauriTavern on Windows. No terminal needed. Portable build — no installer, no admin rights required. Run it from anywhere. What This Fork Is Built On TauriTavern by Darkatse — Tauri v2 / Rust rewrite of SillyTavern SillyTavern — the upstream project Chatterbox TTS by Resemble AI — pairs with PC Brain for on-device voice Tailscale — private mesh VPN that makes PC Brain possible Licensed under GNU AGPL v3

@esdotge @alvarombt ollama.com en ingles, por desgracia multilingue incluyendo español tiene derechos. Para español seguramente chatterbox resemble-ai/chatterbox

You’re paying every month for tools that have a free twin on GitHub. 💸 Zapier → n8n Buffer → Postiz Mailchimp → Listmonk DocuSign → Documenso Salesforce → Twenty Notion → AppFlowy ElevenLabs → Chatterbox (the voice in this video) n8n (replaces Zapier): n8n-io/n8n Postiz (replaces Buffer): gitroomhq/postiz-app Listmonk (replaces Mailchimp): knadh/listmonk Documenso (replaces DocuSign): documenso/documenso Twenty (replaces Salesforce): twentyhq/twenty AppFlowy (replaces Notion): AppFlowy-IO/AppFlowy Chatterbox (replaces ElevenLabs): resemble-ai/chatterbox All free to self-host. Comment “REPO” and I’ll send you every link. #SmallBusiness #OpenSource #AItools #GitHub

4 Free GitHub Tools That Replace $46 a Month of Business Software This week's free GitHub tools for small business, compared side by side (each one has its own full setup episode, linked below). Four free GitHub tools for small business, tested on one ordinary Windows laptop, compared side by side: what each one replaces, how hard it is to set up, and what happened when we tested it. Together they stand in for about $46 a month of subscriptions. Want it set up for you instead? We do it and hand it over working. Starter setup, $299: buy.stripe.com Pro setup, $799: buy.stripe.com The tools (each one has its own full click-by-click episode): 1. Ollama: a private AI on your own PC. Stands in for ChatGPT Plus ($20/month). ollama/ollama Full episode: youtu.be 2. AnythingLLM: ask questions about your own documents, on top of Ollama. Together with Ollama it takes the place of that same $20 plan (not counted twice). Mintplex-Labs/anything-llm Full episode: youtu.be 3. n8n: a lead form that saves and sorts every inquiry. Stands in for Zapier (Professional from $19.99/month). n8n-io/n8n Full episode: youtu.be 4. Chatterbox: voiceovers in your own voice. Stands in for ElevenLabs (Starter, $6/month: the cheapest plan with voice cloning and a commercial license). resemble-ai/chatterbox Full episode: youtu.be Prices (cheapest paid plan that does the same job, checked Oct 22 2026): Zapier: zapier.com ChatGPT Plus: help.openai.com ElevenLabs: elevenlabs.io Prices change; check them yourself before you cancel anything. Licenses: Ollama, AnythingLLM and Chatterbox are MIT (free for business use). n8n uses its Sustainable Use License ("fair-code"): free to use inside your own business, but it can't be resold as a hosted service. Only clone your own voice, or one you have written permission to use. 0:00 What you get 0:50 How I tested them 1:06 Ollama: private AI writing 2:50 AnythingLLM: ask your documents 4:50 n8n: catch every lead 6:35 Chatterbox: your own voice 8:20 Side by side 9:36 Which one to start with Tested on Windows 11 Home (Ryzen 7 laptop, 32 GB memory, no separate graphics card): n8n 2.43.4 (Oct 14 2026), Ollama 0.40.6 with gemma3 4B (Oct 17 2026), AnythingLLM Desktop v1.18.0 (Oct 18 2026), Chatterbox 0.1.7 (Oct 20 2026). Stars and prices checked Oct 22 2026. The bakery and plumber in the demos are made up. Narration: my own voice, generated with AI (Chatterbox) from a recording of me. Every screen recording is real. Music: original music made for this channel. Watch the whole series in order (it plays the next free tool automatically): youtube.com New free GitHub tool for your business every day. Subscribe to Git Repo of the Day. #github #opensource #smallbusiness

@Ben_escrito resemble-ai/chatterbox this one is better, just not as user friendly

அட. Kokoro-ல voice clone முடியாது.. Chatterbox-ல முடியும். 5 செகண்ட் audio போதும், அந்த குரல்லயே பேச வைக்கலாம். 23 மொழி, pip install-லேயே ஓடும். உங்க குரல்ல audiobook try பண்ணுவீங்களா ? resemble-ai/chatterbox Instagram-லும் பின்தொடருங்கள்: instagram.com

Chatterbox: Your Voice Reads Any Script (Free) #shorts Full step-by-step tutorial: youtu.be Chatterbox is free on GitHub: resemble-ai/chatterbox Narration: my own voice, generated with AI (Chatterbox) from a recording of me. Every screen recording is real. #shorts #github #opensource

NCM: The Detail Everyone Missed — The End of LLMs? A new Stanford model writes a rough version of an entire sentence, then sharpens it in 12 passes. Is Next-Concept Modeling (NCM) the end of ordinary large language models? I read the paper and checked the first public runs to see what the results actually show. NCM is inspired by the way image models build a picture from coarse shapes to fine detail. It starts with one code for a sentence, adds more codes at each layer, then turns the final layer into words. That gives it a very different way to generate text—but the paper's headline speedups are against diffusion language models, not the word-by-word LLMs most people use. In the paper's five quality comparisons with an ordinary autoregressive model, NCM wins on hard Sudoku and short news summaries, but loses on open web text, short stories and translation. The paper does not report a speed comparison against a standard LLM. We also look at the GitHub reproduction: the released code matched the paper's quality scores, but took 44.7 seconds for a summary job that the paper timed at about 3.4 seconds. A community run reached 3.45 seconds after adding a cache, lower precision and CUDA graphs—changes that were not part of the released setup when we checked. The available NCM models are small research checkpoints for tasks such as summarization, translation and Sudoku, not general chat models. You can run the released CUDA code on NVIDIA hardware; Mac support is in an unmerged community patch. For something you can use today, we look at multi-token prediction in llama.cpp: it more than doubled one published Qwen 3.8 27B speed test on an RTX 4090, while our M4 Pro test with a different model got slower. Chapters 0:00 NCM: Is This the End of LLMs? 0:50 How Next-Concept Modeling Writes a Sentence 2:24 NCM vs Diffusion: What Makes It Different? 3:20 The 31× Speed Claim, Explained 4:15 Five Tests Against Ordinary LLMs: NCM Wins Two 5:49 What Happened When Someone Ran NCM on GitHub 7:07 Can You Run NCM on Your Computer? 8:26 Multi-Token Prediction: A Speedup You Can Use Today 9:25 Is NCM Ready to Replace LLMs? Final Verdict Key numbers • NCM writes through 12 layers of codes, from one code for a sentence to as many as 128 codes for a 128-token output • Paper speed claims: up to 31× faster on news summarization, 21× on LM1B and 10× on OpenWebText—all compared with diffusion models, not a standard autoregressive LLM • Quality against an ordinary word-by-word model: NCM wins 2 of 5 paper comparisons—hard Sudoku (86.1% vs 1.0%) and XSum summaries (28.0 vs 24.4)—and loses the other three • Released-code reproduction: 44.7 seconds vs about 3.4 seconds in the paper's chart for 1,024 summaries; a community run with additional cache, BF16 and CUDA Graphs took 3.45 seconds • Hardware: the released code uses CUDA; an RTX 4090 community run used about 2 GB of memory; Mac support requires an unmerged patch • Available checkpoints are mostly around 100 million parameters; the largest discussed here is 725 million. They are task-specific, not general chat models • Published Qwen 3.8 27B test on an RTX 4090: 47 tokens per second without multi-token prediction, about 103–113 with it • Our M4 Pro test on a different, 9B model quantized to about 2 bits: multi-token prediction reduced speed from about 49 to 37 tokens per second Paper results and speedups are the authors' reported measurements. The 31× figure compares NCM with a diffusion model, and the paper does not time it against a normal word-by-word LLM. The GitHub timing results are one community reproduction on an H100; the faster 3.45-second run used changes beyond the released setup. Multi-token prediction results depend on the model, hardware and settings: our Mac result was slower, so test it with your own model. Would you try a model that drafts a whole sentence at once, or do you need a general chat model today? Tell me in the comments. Subscribe to Morgan's Code for clear breakdowns of local AI models, coding tools, benchmarks and the hardware to run them: youtube.com Sources NCM paper: arxiv.org NCM code, released checkpoints and evaluation instructions: Voice reference: CSTR VCTK Corpus 0.92, speaker p360, created by Christophe Veaux, Junichi Yamagishi and Kirsten MacDonald at the University of Edinburgh. Licensed under CC BY 4.0; attribution is required: datashare.ed.ac.uk CC BY 4.0 license: creativecommons.org Speech synthesis: Chatterbox TTS by Resemble AI, MIT License: resemble-ai/chatterbox #NextConceptModeling #NCM #LLM #AIResearch #LocalAI [ar] NCM: التفصيلة التي غفل عنها الجميع - هل هي نهاية النماذج اللغوية الكبيرة (LLMs)؟ نموذج جديد من جامعة ستانفورد يكتب نسخة أولية من جملة كاملة، ثم يُحسّنها في 12 مرحلة. هل يُعدّ نمذجة المفهوم التالي (NCM) نهايةً لنماذج اللغة الكبيرة التقليدية؟ قرأتُ الورقة البحثية وتحققتُ من أولى التجارب المنشورة لأرى ما تُظهره النتائج فعليًا. يستلهم نموذج NCM من طريقة بناء نماذج الصور للصورة من أشكال عامة إلى تفاصيل دقيقة. يبدأ برمز واحد للجملة، ويضيف المزيد من الرموز في كل طبقة، ثم يُحوّل الطبقة الأخيرة إلى كلمات. هذا يُعطيه طريقة مختلفة تمامًا لتوليد النصوص، لكنّ تحسينات السرعة المذكورة في عنوان الورقة البحثية مُقارنة بنماذج اللغة الانتشارية، وليس بنماذج اللغة الكبيرة التي تُعالج الكلمات كلمةً كلمةً والتي يستخدمها معظم الباحثين. في خمس مقارنات للجودة أجرتها الورقة البحثية مع نموذج الانحدار الذاتي التقليدي، يتفوّق نموذج NCM في حلّ سودوكو الصعب وملخصات الأخبار القصيرة، لكنّه يخسر في نصوص الويب المفتوحة والقصص القصيرة والترجمة. لم تُقدّم الورقة البحثية مقارنة للسرعة مع نموذج لغة كبير قياسي. نُلقي نظرة أيضًا على عملية إعادة إنتاج المشكلة على GitHub: تطابق الكود المنشور مع درجات الجودة المذكورة في الورقة البحثية، لكنه استغرق 44.7 ثانية لإنجاز مهمة تلخيص، بينما استغرقت المهمة المذكورة في الورقة البحثية حوالي 3.4 ثانية. وصل وقت التشغيل في نسخة مجتمعية إلى 3.45 ثانية بعد إضافة ذاكرة تخزين مؤقتة، ودقة أقل، ورسوم بيانية CUDA - وهي تغييرات لم تكن جزءًا من الإعداد المنشور عند فحصنا. تُعدّ نماذج NCM المتاحة نقاط تفتيش بحثية صغيرة لمهام مثل التلخيص والترجمة وسودوكو، وليست نماذج دردشة عامة. يمكنك تشغيل كود CUDA المنشور على أجهزة NVIDIA؛ أما دعم Mac فهو موجود في رقعة مجتمعية غير مدمجة. وللحصول على شيء يمكنك استخدامه اليوم، نُلقي نظرة على التنبؤ متعدد الرموز في llama.cpp: لقد حقق هذا النموذج أكثر من ضعف سرعة اختبار Qwen 3.8 27B المنشور على بطاقة RTX 4090، بينما أصبح اختبارنا على M4 Pro باستخدام نموذج مختلف أبطأ. الفصول 0:00 NCM: هل هذه نهاية نماذج LLM؟ الفصول 0:00 NCM: هل هذه نهاية نماذج LLM؟ 0:50 كيف يكتب نموذج المفهوم التالي جملة؟ 2:24 نموذج المفهوم التالي مقابل نموذج الانتشار: ما الفرق؟ 3:20 شرح ادعاء السرعة بمقدار 31 ضعفًا 4:15 خمسة اختبارات على نماذج اللغة العادية: نموذج المفهوم التالي يفوز في اثنين منها 5:49 ماذا حدث عند تشغيل نموذج المفهوم التالي على GitHub؟ 7:07 هل يمكنك تشغيل نموذج المفهوم التالي على جهاز الكمبيوتر الخاص بك؟ 8:26 التنبؤ متعدد الرموز: تسريع يمكنك استخدامه اليوم 9:25 هل نموذج المفهوم التالي جاهز ليحل محل نماذج اللغة؟ الخلاصة الأرقام الرئيسية • يكتب NCM عبر 12 طبقة من الشفرات، بدءًا من شفرة واحدة للجملة الواحدة وصولًا إلى 128 شفرة لمخرج مكون من 128 رمزًا. • سرعة المعالجة المذكورة في الورقة البحثية: أسرع بما يصل إلى 31 ضعفًا في تلخيص الأخبار، و21 ضعفًا في LM1B، و10 أضعاف في OpenWebText - جميعها مقارنةً بنماذج الانتشار، وليس نموذج LLM التراجعي الذاتي القياسي. • الجودة مقارنةً بنموذج عادي كلمة بكلمة: يتفوق NCM في مقارنتين من أصل 5 مقارنات في الورقة البحثية - سودوكو الصعب (86.1% مقابل 1.0%) وملخصات XSum (28.0% مقابل 24.4%) - ويخسر في المقارنات الثلاث الأخرى. • إعادة إنتاج الكود المنشور: 44.7 ثانية مقابل حوالي 3.4 ثانية في الرسم البياني للورقة البحثية لـ 1024 ملخصًا؛ استغرقت عملية تشغيل مجتمعية مع ذاكرة تخزين مؤقت إضافية، وBF16، وCUDA Graphs 3.45 ثانية. • الأجهزة: يستخدم الكود المنشور CUDA. استهلك تشغيل مجتمعي على بطاقة RTX 4090 حوالي 2 جيجابايت من الذاكرة؛ ويتطلب دعم نظام Mac رقعةً غير مدمجة. تحتوي معظم نقاط التحقق المتاحة على حوالي 100 مليون مُعامل؛ وأكبرها المذكورة هنا هو 725 مليون مُعامل. وهي خاصة بمهام محددة، وليست نماذج دردشة عامة. تم نشر اختبار Qwen 3.8 بحجم 27 بايت على بطاقة RTX 4090: 47 رمزًا في الثانية بدون التنبؤ متعدد الرموز، وحوالي 103-113 رمزًا في الثانية مع التنبؤ متعدد الرموز. أجرى فريقنا اختبارًا على جهاز M4 Pro على نموذج مختلف بحجم 9 بايت مُكمّم إلى حوالي 2 بت: أدى التنبؤ متعدد الرموز إلى خفض السرعة من حوالي 49 إلى 37 رمزًا في الثانية. نتائج البحث والتحسينات في السرعة هي القياسات التي أبلغ عنها المؤلفون. يقارن الشكل 31× نموذج NCM بنموذج الانتشار، ولم يقم البحث بقياس وقته مقابل نموذج LLM عادي كلمة بكلمة. نتائج التوقيت على GitHub هي إعادة إنتاج مجتمعية واحدة على جهاز H100. استخدم التشغيل الأسرع (3.45 ثانية) تغييرات تتجاوز الإعدادات المُعلنة. تعتمد نتائج التنبؤ متعدد الكلمات على النموذج والعتاد والإعدادات: كانت نتيجة جهازنا على نظام ماك أبطأ، لذا اختبرها بنموذجك الخاص. هل ستجرب نموذجًا يُنشئ جملة كاملة دفعة واحدة، أم أنك تحتاج إلى نموذج محادثة عام اليوم؟ شاركنا رأيك في التعليقات. اشترك في قناة Morgan's Code للحصول على شروحات واضحة لنماذج الذكاء الاصطناعي المحلية، وأدوات البرمجة، ومعايير الأداء، والعتاد اللازم لتشغيلها: youtube.com المصادر ورقة بحثية من مؤتمر NCM: arxiv.org كود NCM، ونقاط التحقق المُعلنة، وتعليمات التقييم: المرجع الصوتي: CSTR VCTK Corpus 0.92، المتحدث p360، من إعداد كريستوف فو، وجونيتشي ياماغيشي، وكيرستن ماكدونالد في جامعة إدنبرة. مرخص بموجب رخصة CC BY 4.0؛ يلزم ذكر المصدر: datashare.ed.ac.uk رخصة CC BY 4.0: creativecommons.org توليف الكلام: Chatterbox TTS من Resemble AI، رخصة MIT: resemble-ai/chatterbox #NextConceptModeling #NCM #LLM #AIResearch #LocalAI [bn] NCM: যে খুঁটিনাটি সবাই এড়িয়ে গেছে — এলএলএম (LLM)-এর কি শেষ? স্ট্যানফোর্ডের একটি নতুন মডেল একটি সম্পূর্ণ বাক্যের একটি খসড়া সংস্করণ লেখে, তারপর ১২টি ধাপে সেটিকে আরও পরিমার্জিত করে। নেক্সট-কনসেপ্ট মডেলিং (NCM) কি সাধারণ বৃহৎ ভাষা মডেলগুলোর যুগের অবসান? ফলাফলগুলো আসলে কী দেখাচ্ছে তা জানতে আমি গবেষণাপত্রটি পড়েছি এবং প্রথম পাবলিক রানগুলো পরীক্ষা করে দেখেছি। এনসিএম (NCM) সেই পদ্ধতি দ্বারা অনুপ্রাণিত, যেভাবে ইমেজ মডেলগুলো স্থূল আকৃতি থেকে সূক্ষ্ম বিবরণে একটি ছবি তৈরি করে। এটি একটি বাক্যের জন্য একটি কোড দিয়ে শুরু করে, প্রতিটি স্তরে আরও কোড যোগ করে, এবং তারপর চূড়ান্ত স্তরটিকে শব্দে পরিণত করে। এটি টেক্সট তৈরি করার একটি সম্পূর্ণ ভিন্ন পদ্ধতি প্রদান করে—কিন্তু গবেষণাপত্রটিতে উল্লিখিত গতিবৃদ্ধির বিষয়টি ডিফিউশন ল্যাঙ্গুয়েজ মডেলগুলোর সাথে তুলনা করা হয়েছে, সেই শব্দ-দ্বারা-শব্দ এলএলএমগুলোর সাথে নয় যা বেশিরভাগ মানুষ ব্যবহার করে। একটি সাধারণ অটোরিগ্রেসিভ মডেলের সাথে গবেষণাপত্রটির পাঁচটি গুণগত তুলনার ক্ষেত্রে, এনসিএম কঠিন সুডোকু এবং সংক্ষিপ্ত সংবাদ সারাংশে জয়ী হয়, কিন্তু ওপেন ওয়েব টেক্সট, ছোট গল্প এবং অনুবাদে হেরে যায়। গবেষণাপত্রটিতে কোনো স্ট্যান্ডার্ড এলএলএম-এর সাথে গতির তুলনার প্রতিবেদন দেওয়া হয়নি। আমরা গিটহাবের রিপ্রোডাকশনটিও খতিয়ে দেখি: প্রকাশিত কোডটি পেপারের কোয়ালিটি স্কোরের সাথে মিলে গেলেও, একটি সামারি জবের জন্য ৪৪.৭ সেকেন্ড সময় নেয়, যেখানে পেপারটিতে সময় লেগেছিল প্রায় ৩.৪ সেকেন্ড। একটি কমিউনিটি রান ক্যাশে, লোয়ার প্রিসিশন এবং CUDA গ্রাফ যোগ করার পর ৩.৪৫ সেকেন্ডে পৌঁছায়—আমরা যখন পরীক্ষা করেছিলাম, তখন এই পরিবর্তনগুলো প্রকাশিত সেটআপের অংশ ছিল না। উপলব্ধ NCM মডেলগুলো হলো সামারাইজেশন, ট্রান্সলেশন এবং সুডোকুর মতো কাজের জন্য ছোট আকারের রিসার্চ চেকপয়েন্ট, এগুলো সাধারণ চ্যাট মডেল নয়। আপনি প্রকাশিত CUDA কোডটি NVIDIA হার্ডওয়্যারে চালাতে পারেন; ম্যাক সাপোর্ট একটি আনমার্জড কমিউনিটি প্যাচে রয়েছে। আজই ব্যবহার করা যায় এমন কিছুর জন্য, আমরা llama.cpp-এর মাল্টি-টোকেন প্রেডিকশন খতিয়ে দেখি: এটি একটি RTX 4090-এ প্রকাশিত Qwen 3.8 27B স্পিড টেস্টের চেয়ে দ্বিগুণেরও বেশি গতি দেখিয়েছে, যেখানে ভিন্ন একটি মডেল দিয়ে আমাদের M4 Pro টেস্টটি আরও ধীরগতির হয়ে যায়। অধ্যায়সমূহ ০:০০ NCM: এটাই কি LLM-এর শেষ? ০:৫০ নেক্সট-কনসেপ্ট মডেলিং কীভাবে একটি বাক্য লেখে ২:২৪ এনসিএম বনাম ডিফিউশন: কী এটিকে আলাদা করে তোলে? ৩:২০ ৩১ গুণ গতির দাবির ব্যাখ্যা ৪:১৫ সাধারণ এলএলএম-এর বিরুদ্ধে পাঁচটি পরীক্ষা: দুটিতে এনসিএম জয়ী ৫:৪৯ যখন কেউ গিটহাবে এনসিএম চালাল তখন কী ঘটেছিল ৭:০৭ আপনি কি আপনার কম্পিউটারে এনসিএম চালাতে পারবেন? ৮:২৬ মাল্টি-টোকেন প্রেডিকশন: একটি গতি বৃদ্ধি যা আপনি আজই ব্যবহার করতে পারেন ৯:২৫ এনসিএম কি এলএলএম-কে প্রতিস্থাপন করার জন্য প্রস্তুত? চূড়ান্ত রায় মূল সংখ্যাসমূহ • NCM ১২টি কোড লেয়ারের মধ্য দিয়ে লেখে, একটি বাক্যের জন্য একটি কোড থেকে শুরু করে ১২৮-টোকেন আউটপুটের জন্য ১২৮টি পর্যন্ত কোড ব্যবহার করে। • পেপারের গতি সংক্রান্ত দাবি: নিউজ সামারাইজেশনে ৩১ গুণ পর্যন্ত, LM1B-তে ২১ গুণ এবং OpenWebText-এ ১০ গুণ পর্যন্ত দ্রুততর—এই সবগুলোই ডিফিউশন মডেলের সাথে তুলনা করা হয়েছে, কোনো স্ট্যান্ডার্ড অটোরিগ্রেসিভ LLM-এর সাথে নয়। • একটি সাধারণ শব্দ-দ্বারা-শব্দ মডেলের তুলনায় গুণমান: পেপারের ৫টি তুলনার মধ্যে NCM ২টিতে জয়ী হয়—হার্ড সুডোকু (৮৬.১% বনাম ১.০%) এবং XSum সামারি (২৮.০ বনাম ২৪.৪)—এবং বাকি তিনটিতে হেরে যায়। • প্রকাশিত কোডে পুনরুৎপাদন: ১,০২৪টি সামারির জন্য ৪৪.৭ সেকেন্ড বনাম পেপারের চার্টে প্রায় ৩.৪ সেকেন্ড; অতিরিক্ত ক্যাশে, BF16 এবং CUDA Graphs সহ একটি কমিউনিটি রানে ৩.৪৫ সেকেন্ড সময় লেগেছে। • হার্ডওয়্যার: প্রকাশিত কোডটি CUDA ব্যবহার করে; একটি RTX 4090 কমিউনিটি রান প্রায় ২ জিবি মেমরি ব্যবহার করেছে; ম্যাক সাপোর্টের জন্য একটি আনমার্জড প্যাচ প্রয়োজন। • উপলব্ধ চেকপয়েন্টগুলিতে বেশিরভাগই প্রায় ১০০ মিলিয়ন প্যারামিটার থাকে; এখানে আলোচিত বৃহত্তমটি হলো ৭২৫ মিলিয়ন। এগুলি টাস্ক-নির্দিষ্ট, সাধারণ চ্যাট মডেল নয়। • একটি RTX 4090-এ প্রকাশিত Qwen 3.8 27B টেস্ট: মাল্টি-টোকেন প্রেডিকশন ছাড়া প্রতি সেকেন্ডে ৪৭টি টোকেন, এটি সহ প্রায় ১০৩–১১৩টি। • প্রায় ২ বিটে কোয়ান্টাইজ করা একটি ভিন্ন, ৯-বিট মডেলে আমাদের M4 Pro টেস্ট: মাল্টি-টোকেন প্রেডিকশন গতি প্রতি সেকেন্ডে প্রায় ৪৯ থেকে ৩৭ টোকেনে কমিয়ে দিয়েছে। পেপারের ফলাফল এবং স্পিডআপগুলি হলো লেখকদের রিপোর্ট করা পরিমাপ। ৩১× চিত্রটি একটি ডিফিউশন মডেলের সাথে NCM-এর তুলনা করে, এবং পেপারটিতে এটিকে একটি সাধারণ ওয়ার্ড-বাই-ওয়ার্ড LLM-এর সাথে তুলনা করে সময় পরিমাপ করা হয়নি। গিটহাবের টাইমিং ফলাফলগুলি একটি H100-এ কমিউনিটির করা একটি রিপ্রোডাকশন; দ্রুততর ৩.৪৫-সেকেন্ডের রানটিতে প্রকাশিত সেটআপের বাইরে কিছু পরিবর্তন ব্যবহার করা হয়েছিল। একাধিক টোকেন প্রেডিকশনের ফলাফল মডেল, হার্ডওয়্যার এবং সেটিংসের উপর নির্ভর করে: আমাদের ম্যাক-এর ফলাফল ধীরগতির ছিল, তাই আপনার নিজের মডেল দিয়ে এটি পরীক্ষা করে দেখুন। আপনি কি এমন কোনো মডেল ব্যবহার করে দেখবেন যা একবারে একটি সম্পূর্ণ বাক্য তৈরি করে, নাকি আজ আপনার একটি সাধারণ চ্যাট মডেল প্রয়োজন? কমেন্টে আমাকে জানান। লোকাল এআই মডেল, কোডিং টুল, বেঞ্চমার্ক এবং সেগুলো চালানোর জন্য প্রয়োজনীয় হার্ডওয়্যারের সুস্পষ্ট বিশ্লেষণের জন্য Morgan's Code-এ সাবস্ক্রাইব করুন: youtube.com উৎসসমূহ NCM পেপার: arxiv.org NCM কোড, প্রকাশিত চেকপয়েন্ট এবং মূল্যায়ন নির্দেশাবলী: ভয়েস রেফারেন্স: CSTR VCTK Corpus 0.92, স্পিকার p360, যা এডিনবরা বিশ্ববিদ্যালয়ের Christophe Veaux, Junichi Yamagishi এবং Kirsten MacDonald দ্বারা নির্মিত। CC BY 4.0 লাইসেন্সের অধীনে; কৃতজ্ঞতা স্বীকার আবশ্যক: dat... [de-DE] NCM: Das Detail, das alle übersehen haben – Das Ende der LLMs? Ein neues Stanford-Modell erstellt zunächst eine Rohfassung eines ganzen Satzes und verfeinert diese anschließend in zwölf Durchgängen. Bedeutet Next-Concept Modeling (NCM) das Ende herkömmlicher großer Sprachmodelle? Ich habe die Studie gelesen und die ersten öffentlichen Testläufe überprüft, um die tatsächlichen Ergebnisse zu ermitteln. NCM ist von der Funktionsweise von Bildmodellen inspiriert, die ein Bild aus groben Formen zu feinen Details aufbauen. Es beginnt mit einem Code für einen Satz, fügt in jeder Ebene weitere Codes hinzu und wandelt die letzte Ebene in Wörter um. Dadurch generiert es Texte auf eine völlig andere Art – die in der Studie hervorgehobenen Geschwindigkeitsvorteile beziehen sich jedoch auf Diffusions-Sprachmodelle, nicht auf die wortweise arbeitenden großen Sprachmodelle, die am häufigsten verwendet werden. In den fünf Qualitätsvergleichen der Studie mit einem herkömmlichen autoregressiven Modell schneidet NCM bei schwierigen Sudoku-Rätseln und kurzen Nachrichtenzusammenfassungen besser ab, verliert aber bei frei zugänglichen Webtexten, Kurzgeschichten und Übersetzungen. Die Studie enthält keinen Geschwindigkeitsvergleich mit einem Standard-Sprachmodell. Wir betrachten auch die GitHub-Reproduktion: Der veröffentlichte Code erreichte die gleichen Qualitätswerte wie die Veröffentlichung, benötigte aber 44,7 Sekunden für eine Zusammenfassungsaufgabe, die in der Veröffentlichung mit etwa 3,4 Sekunden gemessen wurde. Ein Community-Test erreichte 3,45 Sekunden nach Hinzufügen eines Caches, geringerer Präzision und CUDA-Graphen – Änderungen, die zum Zeitpunkt unserer Überprüfung noch nicht Teil der veröffentlichten Konfiguration waren. Die verfügbaren NCM-Modelle sind kleine Forschungs-Checkpoints für Aufgaben wie Zusammenfassung, Übersetzung und Sudoku, keine allgemeinen Chat-Modelle. Der veröffentlichte CUDA-Code kann auf NVIDIA-Hardware ausgeführt werden; Mac-Unterstützung ist in einem noch nicht integrierten Community-Patch enthalten. Ein Beispiel für eine sofort einsetzbare Anwendung ist die Multi-Token-Vorhersage in llama.cpp: Sie übertraf einen veröffentlichten Qwen 3.8 27B-Geschwindigkeitstest auf einer RTX 4090 um mehr als das Doppelte, während unser M4 Pro-Test mit einem anderen Modell langsamer ausfiel. Kapitel 0:00 NCM: Ist dies das Ende von LLMs? 0:50 Wie Next-Concept Modeling (NCM) Sätze generiert 2:24 NCM vs. Diffusion: Was ist der Unterschied? 3:20 Die Behauptung der 31-fachen Geschwindigkeit – erklärt 4:15 Fünf Tests gegen herkömmliche LLMs: NCM gewinnt zwei 5:49 Was geschah, als jemand NCM auf GitHub ausführte? 7:07 Lässt sich NCM auf Ihrem Computer ausführen? 8:26 Multi-Token-Vorhersage: Eine Geschwindigkeitssteigerung, die Sie sofort nutzen können 9:25 Ist NCM bereit, LLMs zu ersetzen? Abschließendes Urteil Wichtige Kennzahlen • NCM durchläuft 12 Codeebenen, von einem Code für einen Satz bis zu 128 Codes für eine Ausgabe mit 128 Token. Geschwindigkeitsangaben laut Veröffentlichung: bis zu 31-mal schneller bei der Nachrichtenzusammenfassung, 21-mal schneller bei LM1B und 10-mal schneller bei OpenWebText – jeweils im Vergleich zu Diffusionsmodellen, nicht zu einem Standard-autoregressiven LLM. Qualität im Vergleich zu einem herkömmlichen Wort-für-Wort-Modell: NCM gewinnt 2 von 5 Vergleichen laut Veröffentlichung – schwieriges Sudoku (86,1 % vs. 1,0 %) und XSum-Zusammenfassungen (28,0 % vs. 24,4 %) – und verliert die anderen drei. Reproduktion des veröffentlichten Codes: 44,7 Sekunden gegenüber ca. 3,4 Sekunden in der Grafik der Veröffentlichung für 1.024 Zusammenfassungen; ein Community-Lauf mit zusätzlichem Cache, BF16 und CUDA Graphs dauerte 3,45 Sekunden. Hardware: Der veröffentlichte Code verwendet CUDA. Ein Community-Test mit einer RTX 4090 benötigte ca. 2 GB Arbeitsspeicher; für die Mac-Unterstützung ist ein noch nicht integrierter Patch erforderlich. • Die verfügbaren Checkpoints umfassen meist ca. 100 Millionen Parameter; der größte hier diskutierte Wert liegt bei 725 Millionen. Es handelt sich um aufgabenspezifische Modelle, nicht um allgemeine Chat-Modelle. • Veröffentlichter Qwen 3.8 27B-Test auf einer RTX 4090: 47 Token pro Sekunde ohne Multi-Token-Vorhersage, ca. 103–113 mit. • Unser M4 Pro-Test mit einem anderen, auf ca. 2 Bit quantisierten 9B-Modell: Die Multi-Token-Vorhersage reduzierte die Geschwindigkeit von ca. 49 auf 37 Token pro Sekunde. Die im Paper angegebenen Ergebnisse und Beschleunigungen basieren auf den Messungen der Autoren. Die 31-fache Abbildung vergleicht NCM mit einem Diffusionsmodell; im Paper wird die Geschwindigkeit nicht mit einem herkömmlichen Wort-für-Wort-LLM verglichen. Die Timing-Ergebnisse auf GitHub stammen von einer Community-Reproduktion auf einem H100; der schnellere 3,45-Sekunden-Test basiert auf Änderungen gegenüber der veröffentlichten Konfiguration. Die Ergebnisse der Multi-Token-Vorhersage hängen vom Modell, der Hardware und den Einstellungen ab: Unser Mac-Ergebnis war langsamer, testen Sie es daher ... [es-US] NCM: El detalle que todos pasaron por alto —¿El fin de los LLM? Un nuevo modelo de Stanford escribe una versión preliminar de una oración completa y luego la perfecciona en 12 pasadas. ¿Representa el Modelado de Conceptos Siguientes (NCM) el fin de los modelos de lenguaje grandes convencionales? Leí el artículo y revisé las primeras ejecuciones públicas para ver qué resultados muestran realmente. NCM se inspira en la forma en que los modelos de imágenes construyen una imagen desde formas generales hasta detalles precisos. Comienza con un código para una oración, agrega más códigos en cada capa y luego convierte la capa final en palabras. Esto le da una forma muy diferente de generar texto, pero las mejoras de velocidad en los titulares que presenta el artículo se comparan con modelos de lenguaje de difusión, no con los modelos de lenguaje palabra por palabra que usa la mayoría. En las cinco comparaciones de calidad del artículo con un modelo autorregresivo convencional, NCM supera a NCM en Sudoku difícil y resúmenes de noticias breves, pero pierde en texto web abierto, cuentos cortos y traducción. El artículo no presenta una comparación de velocidad con un modelo de lenguaje estándar. También analizamos la reproducción en GitHub: el código publicado coincidió con las puntuaciones de calidad del artículo, pero tardó 44,7 segundos en una tarea de resumen que en el artículo se cronometró en aproximadamente 3,4 segundos. Una ejecución de la comunidad alcanzó los 3,45 segundos tras añadir una caché, menor precisión y gráficos CUDA; cambios que no formaban parte de la configuración publicada cuando la revisamos. Los modelos NCM disponibles son pequeños puntos de control de investigación para tareas como resumen, traducción y Sudoku, no modelos de chat generales. El código CUDA publicado se puede ejecutar en hardware NVIDIA; la compatibilidad con Mac se encuentra en un parche de la comunidad aún no integrado. Como ejemplo práctico, analizamos la predicción multi-token en llama.cpp: duplicó con creces el rendimiento de una prueba de velocidad publicada de Qwen 3.8 27B en una RTX 4090, mientras que nuestra prueba con M4 Pro y un modelo diferente resultó más lenta. Capítulos 0:00 NCM: ¿Es este el fin de los LLM? 0:50 Cómo el modelado de conceptos siguientes (NCM) escribe una oración 2:24 NCM vs. Difusión: ¿Qué lo diferencia? 3:20 Explicación de la afirmación de velocidad 31× 4:15 Cinco pruebas contra los modelos LLM convencionales: NCM gana dos 5:49 Qué sucedió cuando alguien ejecutó NCM en GitHub 7:07 ¿Puedes ejecutar NCM en tu computadora? 8:26 Predicción de múltiples tokens: Una mejora de velocidad que puedes usar hoy 9:25 ¿Está NCM listo para reemplazar a los modelos LLM? Veredicto final Datos clave • NCM escribe a través de 12 capas de códigos, desde un código por oración hasta 128 códigos para una salida de 128 tokens. • Velocidad de procesamiento: hasta 31 veces más rápido en la generación de resúmenes de noticias, 21 veces más rápido en LM1B y 10 veces más rápido en OpenWebText (todos comparados con modelos de difusión, no con un modelo LLM autorregresivo estándar). • Calidad frente a un modelo palabra por palabra convencional: NCM gana en 2 de 5 comparaciones (Sudoku difícil [86,1 % frente a 1,0 %] y resúmenes XSum [28,0 % frente a 24,4 %]) y pierde en las otras tres. • Reproducción del código publicado: 44,7 segundos frente a aproximadamente 3,4 segundos en la gráfica del artículo para 1024 resúmenes; una ejecución comunitaria con caché adicional, BF16 y CUDA Graphs tardó 3,45 segundos. • Hardware: el código publicado utiliza CUDA. Una prueba comunitaria con una RTX 4090 utilizó aproximadamente 2 GB de memoria; la compatibilidad con Mac requiere un parche sin integrar. • Los puntos de control disponibles suelen tener alrededor de 100 millones de parámetros; el mayor que se analiza aquí tiene 725 millones. Son específicos para cada tarea, no modelos de chat generales. • Prueba publicada de Qwen 3.8 27B en una RTX 4090: 47 tokens por segundo sin predicción de múltiples tokens, entre 103 y 113 con ella. • Nuestra prueba con una M4 Pro en un modelo diferente de 9B cuantificado a aproximadamente 2 bits: la predicción de múltiples tokens redujo la velocidad de aproximadamente 49 a 37 tokens por segundo. Los resultados y las mejoras de velocidad del artículo corresponden a las mediciones reportadas por los autores. La figura 31× compara NCM con un modelo de difusión, y el artículo no lo compara con un LLM palabra por palabra normal. Los resultados de tiempo de GitHub corresponden a una reproducción comunitaria en una H100; la ejecución más rápida de 3,45 segundos utilizó cambios que van más allá de la configuración publicada. Los resultados de predicción de múltiples tokens dependen del modelo, el hardware y la configuración: nuestro resultado en Mac fue más lento, así que pruébalo con tu propio modelo. ¿Probarías un modelo que genere una oración completa de una sola vez, o necesitas un modelo de chat general hoy? Cuéntame en los comentarios. Suscríbete a Morgan'... [fr-FR] NCM : Le détail que tout le monde a manqué — La fin des LLM ? Un nouveau modèle de Stanford génère une première version d'une phrase entière, puis l'affine en 12 passes. La modélisation par concepts suivants (NCM) sonne-t-elle le glas des grands modèles de langage classiques ? J'ai lu l'article et examiné les premiers résultats publics pour en observer les implications. Le NCM s'inspire de la manière dont les modèles d'images construisent une image à partir de formes grossières jusqu'aux détails les plus fins. Il commence par un code pour une phrase, ajoute des codes à chaque couche, puis transforme la dernière couche en mots. Cette approche de génération de texte est radicalement différente, mais les gains de vitesse mis en avant dans l'article concernent les modèles de langage à diffusion, et non les grands modèles de langage mot à mot les plus couramment utilisés. Dans les cinq comparaisons qualitatives présentées dans l'article avec un modèle autorégressif classique, le NCM surpasse les modèles de Sudoku difficiles et les courts résumés d'actualités, mais est moins performant pour les textes libres sur le Web, les nouvelles et la traduction. L'article ne propose pas de comparaison de vitesse avec un grand modèle de langage standard. Nous avons également examiné la reproduction sur GitHub : le code publié correspondait aux scores de qualité de l’article, mais a nécessité 44,7 secondes pour une tâche de résumé alors que l’article la chronométrait en environ 3,4 secondes. Une exécution par la communauté a atteint 3,45 secondes après l’ajout d’un cache, une précision moindre et l’utilisation de graphes CUDA — des modifications qui ne faisaient pas partie de la configuration publiée lors de notre vérification. Les modèles NCM disponibles constituent de petits points de contrôle de recherche pour des tâches telles que le résumé, la traduction et le Sudoku, et non des modèles de chat généralistes. Le code CUDA publié peut être exécuté sur du matériel NVIDIA ; la prise en charge de Mac est disponible via un correctif communautaire non intégré. Pour une utilisation immédiate, nous avons examiné la prédiction multi-jetons dans llama.cpp : elle a plus que doublé les performances d’un test de vitesse Qwen 3.8 27B publié sur une RTX 4090, tandis que notre test sur M4 Pro avec un modèle différent a été plus lent. Chapitres 0:00 NCM : Est-ce la fin des LLM ? 0:50 Comment la modélisation des concepts suivants génère une phrase 2:24 NCM vs Diffusion : quelles différences ? 3:20 Explication de l’affirmation d’une vitesse multipliée par 31 4:15 Cinq tests comparatifs avec les LLM classiques : NCM en remporte deux 5:49 Que s’est-il passé lors de l’exécution de NCM sur GitHub ? 7:07 Peut-on exécuter NCM sur son ordinateur ? 8:26 Prédiction multi-jetons : un gain de vitesse utilisable dès aujourd’hui 9:25 NCM est-il prêt à remplacer les LLM ? Verdict final Chiffres clés • NCM utilise 12 couches de codage, d'un code par phrase à 128 codes pour une sortie de 128 jetons. • Performances annoncées : jusqu'à 31 fois plus rapide pour la synthèse d'actualités, 21 fois plus rapide pour LM1B et 10 fois plus rapide pour OpenWebText – le tout comparé à des modèles de diffusion, et non à un modèle linéaire linéaire autorégressif standard. • Qualité par rapport à un modèle mot à mot classique : NCM remporte 2 des 5 comparaisons de l'article – Sudoku difficile (86,1 % contre 1,0 %) et résumés XSum (28,0 % contre 24,4 %) – et perd les trois autres. • Reproduction du code publié : 44,7 secondes contre environ 3,4 secondes dans le graphique de l'article pour 1 024 résumés ; un test réalisé par la communauté avec cache supplémentaire, BF16 et CUDA Graphs a pris 3,45 secondes. • Matériel : le code publié utilise CUDA. Un test réalisé par la communauté sur une RTX 4090 a utilisé environ 2 Go de mémoire ; la compatibilité avec Mac nécessite un correctif non intégré. • Les points de contrôle disponibles se situent généralement autour de 100 millions de paramètres ; le plus grand, présenté ici, en compte 725 millions. Il s'agit de modèles de chat spécifiques à une tâche, et non de modèles de chat généraux. • Test Qwen 3.8 27B publié sur une RTX 4090 : 47 jetons par seconde sans prédiction multi-jetons, environ 103 à 113 avec. • Notre test sur M4 Pro, réalisé avec un modèle différent de 9 milliards de jetons quantifié à environ 2 bits : la prédiction multi-jetons a réduit la vitesse d'environ 49 à 37 jetons par seconde. Les résultats et les gains de vitesse mentionnés dans l'article correspondent aux mesures rapportées par les auteurs. La figure 31× compare NCM à un modèle de diffusion, et l'article ne le compare pas à un modèle LLM classique mot à mot. Les résultats de chronométrage sur GitHub proviennent d'une reproduction réalisée par la communauté sur un H100 ; le test le plus rapide (3,45 secondes) a utilisé une configuration différente de celle publiée. Les résultats de la prédiction multi-jetons dépendent du modèle, du matériel et des paramètres : nos résultats sur Mac étaient... [hi] NCM: वो बात जो सबने मिस कर दी — क्या LLMs का अंत आ गया? स्टैनफोर्ड का एक नया मॉडल पूरे वाक्य का एक मोटा-मोटा संस्करण लिखता है, फिर उसे 12 चरणों में परिष्कृत करता है। क्या नेक्स्ट-कॉन्सेप्ट मॉडलिंग (NCM) सामान्य बड़े भाषा मॉडलों का अंत है? मैंने शोधपत्र पढ़ा और परिणामों को देखने के लिए पहले सार्वजनिक परीक्षणों की जाँच की। NCM, इमेज मॉडलों द्वारा मोटे आकार से लेकर बारीक विवरण तक एक चित्र बनाने की विधि से प्रेरित है। यह एक वाक्य के लिए एक कोड से शुरू होता है, प्रत्येक परत पर अधिक कोड जोड़ता है, और फिर अंतिम परत को शब्दों में बदल देता है। यह इसे पाठ उत्पन्न करने का एक बहुत ही अलग तरीका प्रदान करता है—लेकिन शोधपत्र में बताई गई गति में वृद्धि, डिफ्यूजन भाषा मॉडलों के विरुद्ध है, न कि उन शब्द-दर-शब्द एलएलएम के विरुद्ध जिनका उपयोग अधिकांश लोग करते हैं। शोधपत्र में एक सामान्य ऑटोरेग्रेसिव मॉडल के साथ पाँच गुणवत्ता तुलनाओं में, एनसीएम कठिन सुडोकू और संक्षिप्त समाचार सारांशों में जीतता है, लेकिन ओपन वेब टेक्स्ट, लघु कहानियों और अनुवाद में हार जाता है। शोधपत्र में मानक एलएलएम के विरुद्ध गति तुलना की रिपोर्ट नहीं है। हमने GitHub पर उपलब्ध कोड का भी विश्लेषण किया: जारी किया गया कोड शोधपत्र के गुणवत्ता स्कोर से मेल खाता था, लेकिन सारांश कार्य के लिए 44.7 सेकंड का समय लगा, जबकि शोधपत्र में इसे लगभग 3.4 सेकंड में पूरा किया गया था। एक सामुदायिक परीक्षण में कैश, कम परिशुद्धता और CUDA ग्राफ़ जोड़ने के बाद 3.45 सेकंड का समय लगा—ये परिवर्तन हमारे जाँच के समय जारी किए गए सेटअप का हिस्सा नहीं थे। उपलब्ध NCM मॉडल सारांश, अनुवाद और सुडोकू जैसे कार्यों के लिए छोटे शोध परीक्षण बिंदु हैं, न कि सामान्य चैट मॉडल। आप जारी किए गए CUDA कोड को NVIDIA हार्डवेयर पर चला सकते हैं; Mac के लिए समर्थन एक अप्रकाशित सामुदायिक पैच में उपलब्ध है। आज उपयोग करने योग्य किसी चीज़ के लिए, हमने llama.cpp में मल्टी-टोकन भविष्यवाणी का विश्लेषण किया: इसने RTX 4090 पर प्रकाशित Qwen 3.8 27B गति परीक्षण की तुलना में दोगुने से अधिक गति प्रदान की, जबकि एक अलग मॉडल के साथ हमारा M4 Pro परीक्षण धीमा हो गया। अध्याय 0:00 NCM: क्या यह LLM का अंत है? 0:50 नेक्स्ट-कॉन्सेप्ट मॉडलिंग वाक्य कैसे लिखती है 2:24 एनसीएम बनाम डिफ्यूजन: इनमें क्या अंतर है? 3:20 31 गुना गति का दावा, व्याख्या 4:15 सामान्य एलएलएम के विरुद्ध पाँच परीक्षण: एनसीएम दो में विजयी 5:49 जब किसी ने गिटहब पर एनसीएम चलाया तो क्या हुआ? 7:07 क्या आप अपने कंप्यूटर पर एनसीएम चला सकते हैं? 8:26 मल्टी-टोकन प्रेडिक्शन: एक गतिवर्धक तकनीक जिसका आप आज ही उपयोग कर सकते हैं 9:25 क्या एनसीएम एलएलएम को प्रतिस्थापित करने के लिए तैयार है? अंतिम निर्णय मुख्य आंकड़े • एनसीएम 12 स्तरों के कोड का उपयोग करता है, एक वाक्य के लिए एक कोड से लेकर 128 टोकन आउटपुट के लिए 128 कोड तक। • शोध पत्र में गति संबंधी दावे: समाचार सारांश में 31 गुना तक तेज़, एलएम1बी में 21 गुना और ओपनवेबटेक्स्ट में 10 गुना तेज़—ये सभी तुलनाएं प्रसार मॉडल से की गई हैं, न कि मानक ऑटोरेग्रेसिव एलएलएम से। • साधारण शब्द-दर-शब्द मॉडल के मुकाबले गुणवत्ता: एनसीएम शोध पत्र की 5 तुलनाओं में से 2 में जीतता है—हार्ड सुडोकू (86.1% बनाम 1.0%) और एक्ससम सारांश (28.0 बनाम 24.4)—और बाकी तीन में हार जाता है। • जारी किए गए कोड का पुनरुत्पादन: 1,024 सारांशों के लिए शोध पत्र के चार्ट में लगभग 3.4 सेकंड के मुकाबले 44.7 सेकंड। अतिरिक्त कैश, BF16 और CUDA ग्राफ़ के साथ कम्युनिटी रन में 3.45 सेकंड लगे। • हार्डवेयर: जारी किए गए कोड में CUDA का उपयोग किया गया है; RTX 4090 पर कम्युनिटी रन में लगभग 2 GB मेमोरी का उपयोग हुआ; Mac सपोर्ट के लिए एक अनमर्ज्ड पैच की आवश्यकता है। • उपलब्ध चेकपॉइंट्स में अधिकतर लगभग 100 मिलियन पैरामीटर होते हैं; यहाँ चर्चा किया गया सबसे बड़ा चेकपॉइंट 725 मिलियन का है। ये टास्क-विशिष्ट हैं, सामान्य चैट मॉडल नहीं। • RTX 4090 पर प्रकाशित Qwen 3.8 27B परीक्षण: मल्टी-टोकन प्रेडिक्शन के बिना 47 टोकन प्रति सेकंड, इसके साथ लगभग 103-113। • लगभग 2 बिट्स में क्वांटाइज़्ड एक अलग, 9B मॉडल पर हमारे M4 Pro परीक्षण में: मल्टी-टोकन प्रेडिक्शन ने गति को लगभग 49 से घटाकर 37 टोकन प्रति सेकंड कर दिया। पेपर के परिणाम और गति वृद्धि लेखकों द्वारा रिपोर्ट किए गए माप हैं। 31× का आंकड़ा एनसीएम की तुलना एक प्रसार मॉडल से करता है, और पेपर में इसकी तुलना सामान्य शब्द-दर-शब्द एलएलएम से नहीं की गई है। GitHub पर दिए गए समय के परिणाम H100 पर किए गए एक सामुदायिक पुनरुत्पादन पर आधारित हैं; तेज़ 3.45 सेकंड के रन में जारी किए गए सेटअप से परे बदलाव किए गए थे। मल्टी-टोकन भविष्यवाणी के परिणाम मॉडल, हार्डवेयर और सेटिंग्स पर निर्भर करते हैं: हमारे मैक का परिणाम धीमा था, इसलिए इसे अपने मॉडल के साथ परीक्षण करें। क्या आप एक ऐसा मॉडल आज़माना चाहेंगे जो एक बार में पूरा वाक्य तैयार कर सके, या आपको आज ही एक सामान्य चैट मॉडल की आवश्यकता है? मुझे टिप्पणियों में बताएं। स्थानीय एआई मॉडल, कोडिंग टूल, बेंचमार्क और उन्हें चलाने के लिए आवश्यक हार्डवेयर के विस्तृत विश्लेषण के लिए मॉर्गन कोड को सब्सक्राइब करें: youtube.com स्रोत एनसीएम पेपर: arxiv.org एनसीएम कोड, जारी किए गए चेकपॉइंट और मूल्यांकन निर्देश: आवाज संदर्भ: सीएसटीआर वीसीटीके कॉर्पस 0.92, स्पीकर p360, एडिनबर्ग विश्वविद्यालय में क्रिस्टोफ़ वेउक्स, जुनिची यामागीशी और कर्स्टन मैकडोनाल्ड द्वारा निर्मित। सीसी बीवाई 4.0 लाइसेंस के तहत लाइसेंस प्राप्त। संदर्भ देना आवश्यक है: datashare.ed.ac.uk CC BY 4.0 लाइसेंस: creativecommons.org वाक् संश्लेषण: चैटरबॉक्स टीटीएस, रीसेम्बल एआई द्वारा, एमआईटी लाइस... [id] NCM: Detail yang Terlewatkan Semua Orang — Akhir dari LLM? Sebuah model Stanford baru menulis versi kasar dari keseluruhan kalimat, kemudian mempertajamnya dalam 12 tahapan. Apakah Next-Concept Modeling (NCM) adalah akhir dari model bahasa besar biasa? Saya membaca makalah tersebut dan memeriksa hasil uji coba publik pertama untuk melihat apa yang sebenarnya ditunjukkan oleh hasilnya. NCM terinspirasi oleh cara model gambar membangun gambar dari bentuk kasar hingga detail halus. Ia dimulai dengan satu kode untuk sebuah kalimat, menambahkan lebih banyak kode di setiap lapisan, kemudian mengubah lapisan terakhir menjadi kata-kata. Itu memberikan cara yang sangat berbeda untuk menghasilkan teks—tetapi peningkatan kecepatan utama dalam makalah tersebut dibandingkan dengan model bahasa difusi, bukan LLM kata demi kata yang digunakan kebanyakan orang. Dalam lima perbandingan kualitas makalah dengan model autoregresif biasa, NCM menang pada Sudoku yang sulit dan ringkasan berita singkat, tetapi kalah pada teks web terbuka, cerita pendek, dan terjemahan. Makalah tersebut tidak melaporkan perbandingan kecepatan terhadap LLM standar. Kami juga melihat reproduksi GitHub: kode yang dirilis sesuai dengan skor kualitas makalah, tetapi membutuhkan waktu 44,7 detik untuk pekerjaan ringkasan yang menurut makalah membutuhkan waktu sekitar 3,4 detik. Pengujian komunitas mencapai 3,45 detik setelah menambahkan cache, presisi yang lebih rendah, dan grafik CUDA—perubahan yang bukan bagian dari pengaturan yang dirilis saat kami periksa. Model NCM yang tersedia adalah titik pemeriksaan penelitian kecil untuk tugas-tugas seperti peringkasan, terjemahan, dan Sudoku, bukan model obrolan umum. Anda dapat menjalankan kode CUDA yang dirilis pada perangkat keras NVIDIA; dukungan Mac ada dalam patch komunitas yang belum digabungkan. Untuk sesuatu yang dapat Anda gunakan hari ini, kami melihat prediksi multi-token di llama.cpp: ini lebih dari dua kali lipat kecepatan uji Qwen 3.8 27B yang dipublikasikan pada RTX 4090, sementara uji M4 Pro kami dengan model yang berbeda menjadi lebih lambat. Bab 0:00 NCM: Apakah Ini Akhir dari LLM? 0:50 Bagaimana Pemodelan Konsep Berikutnya Menulis Kalimat 2:24 NCM vs Difusi: Apa yang Membuatnya Berbeda? 3:20 Klaim Kecepatan 31x, Dijelaskan 4:15 Lima Tes Terhadap LLM Biasa: NCM Menang Dua 5:49 Apa yang Terjadi Ketika Seseorang Menjalankan NCM di GitHub 7:07 Bisakah Anda Menjalankan NCM di Komputer Anda? 8:26 Prediksi Multi-Token: Peningkatan Kecepatan yang Dapat Anda Gunakan Hari Ini 9:25 Apakah NCM Siap Menggantikan LLM? Kesimpulan Akhir Angka-angka penting • NCM menulis melalui 12 lapisan kode, dari satu kode untuk satu kalimat hingga sebanyak 128 kode untuk keluaran 128 token • Klaim kecepatan makalah: hingga 31× lebih cepat pada ringkasan berita, 21× pada LM1B dan 10× pada OpenWebText—semuanya dibandingkan dengan model difusi, bukan LLM autoregresif standar • Kualitas dibandingkan dengan model kata demi kata biasa: NCM memenangkan 2 dari 5 perbandingan makalah—Sudoku sulit (86,1% vs 1,0%) dan ringkasan XSum (28,0 vs 24,4)—dan kalah dalam tiga lainnya • Reproduksi kode yang dirilis: 44,7 detik vs sekitar 3,4 detik dalam grafik makalah untuk 1.024 ringkasan; Pengujian komunitas dengan cache tambahan, BF16 dan CUDA Graphs membutuhkan waktu 3,45 detik • Perangkat keras: kode yang dirilis menggunakan CUDA; pengujian komunitas pada RTX 4090 menggunakan sekitar 2 GB memori; dukungan Mac memerlukan patch yang belum digabungkan • Checkpoint yang tersedia sebagian besar sekitar 100 juta parameter; yang terbesar yang dibahas di sini adalah 725 juta. Ini spesifik untuk tugas, bukan model obrolan umum • Pengujian Qwen 3.8 27B yang dipublikasikan pada RTX 4090: 47 token per detik tanpa prediksi multi-token, sekitar 103–113 dengan prediksi multi-token • Pengujian M4 Pro kami pada model 9B yang berbeda, dikuantisasi menjadi sekitar 2 bit: prediksi multi-token mengurangi kecepatan dari sekitar 49 menjadi 37 token per detik Hasil dan peningkatan kecepatan dalam makalah adalah pengukuran yang dilaporkan oleh penulis. Gambar 31× membandingkan NCM dengan model difusi, dan makalah tersebut tidak membandingkannya dengan LLM kata demi kata biasa. Hasil pengukuran waktu di GitHub adalah reproduksi komunitas pada H100; hasil yang lebih cepat yaitu 3,45 detik menggunakan perubahan di luar pengaturan yang dirilis. Hasil prediksi multi-token bergantung pada model, perangkat keras, dan pengaturan: hasil Mac kami lebih lambat, jadi ujilah dengan model Anda sendiri. Apakah Anda akan mencoba model yang menyusun seluruh kalimat sekaligus, atau Anda membutuhkan model obrolan umum saat ini? Beri tahu saya di kolom komentar. Berlangganan Morgan's Code untuk penjelasan rinci tentang model AI lokal, alat pengkodean, tolok ukur, dan perangkat keras untuk menjalankannya: youtube.com Sumber Makalah NCM: arxiv.org Kode NCM, titik pemeriksaan yang dirilis, dan instruksi evaluasi: Referensi suara: CSTR VCTK Corpus 0.92, pemb... [it] NCM: Il dettaglio che tutti si sono persi — La fine degli LLM? Un nuovo modello di Stanford scrive una versione preliminare di un'intera frase, per poi perfezionarla in 12 passaggi. Il Next-Concept Modeling (NCM) segna la fine dei tradizionali modelli linguistici di grandi dimensioni? Ho letto l'articolo e verificato i primi risultati pubblici per capire cosa mostrano effettivamente. L'NCM si ispira al modo in cui i modelli di immagini costruiscono un'immagine partendo da forme grossolane fino ad arrivare ai dettagli più fini. Inizia con un codice per la frase, aggiunge altri codici a ogni livello e infine trasforma il livello finale in parole. Questo gli conferisce un metodo di generazione del testo molto diverso, ma i miglioramenti di velocità riportati nell'articolo si riferiscono ai modelli linguistici di diffusione, non ai modelli LLM parola per parola più comuni. Nei cinque confronti di qualità effettuati nell'articolo con un modello autoregressivo standard, l'NCM risulta migliore nei Sudoku più complessi e nei brevi riassunti di notizie, ma inferiore nei testi web aperti, nei racconti brevi e nella traduzione. L'articolo non riporta un confronto di velocità con un LLM standard. Analizziamo anche la riproduzione su GitHub: il codice rilasciato corrispondeva ai punteggi di qualità dell'articolo, ma impiegava 44,7 secondi per un'operazione di riassunto, mentre l'articolo cronometrava circa 3,4 secondi. Un'esecuzione della community ha raggiunto i 3,45 secondi dopo l'aggiunta di una cache, una precisione inferiore e i grafici CUDA, modifiche che non erano presenti nella configurazione rilasciata al momento del nostro controllo. I modelli NCM disponibili sono piccoli punti di controllo di ricerca per attività come la sintesi, la traduzione e il Sudoku, non modelli di chat generici. È possibile eseguire il codice CUDA rilasciato su hardware NVIDIA; il supporto per Mac è in una patch della community non ancora integrata. Per qualcosa che è possibile utilizzare oggi, esaminiamo la predizione multi-token in llama.cpp: ha più che raddoppiato le prestazioni di un test di velocità Qwen 3.8 27B pubblicato su una RTX 4090, mentre il nostro test con M4 Pro e un modello diverso ha ottenuto risultati più lenti. Capitoli 0:00 NCM: è questa la fine dei modelli LLM? 0:50 Come la modellazione Next-Concept scrive una frase 2:24 NCM vs Diffusion: quali sono le differenze? 3:20 La presunta velocità 31 volte superiore, spiegata 4:15 Cinque test contro i modelli lineari lineari tradizionali: NCM ne vince due 5:49 Cosa è successo quando qualcuno ha eseguito NCM su GitHub 7:07 È possibile eseguire NCM sul proprio computer? 8:26 Predizione multi-token: un'accelerazione che puoi utilizzare oggi stesso 9:25 NCM è pronto a sostituire i modelli lineari lineari? Verdetto finale Numeri chiave • NCM scrive attraverso 12 livelli di codice, da un codice per frase fino a 128 codici per un output di 128 token • Velocità dichiarata nell'articolo: fino a 31 volte più veloce nella sintesi di notizie, 21 volte più veloce su LM1B e 10 volte più veloce su OpenWebText, il tutto confrontato con modelli di diffusione, non con un modello LLM autoregressivo standard • Qualità rispetto a un normale modello parola per parola: NCM vince 2 dei 5 confronti dell'articolo: Sudoku difficile (86,1% contro 1,0%) e riassunti XSum (28,0 contro 24,4), e perde gli altri tre • Riproduzione del codice rilasciato: 44,7 secondi contro circa 3,4 secondi nel grafico dell'articolo per 1.024 riassunti; un'esecuzione della community con cache aggiuntiva, BF16 e CUDA Graphs ha richiesto 3,45 secondi • Hardware: il codice rilasciato utilizza CUDA; Un test della community su RTX 4090 ha utilizzato circa 2 GB di memoria; il supporto per Mac richiede una patch non ancora integrata. • I checkpoint disponibili sono per lo più di circa 100 milioni di parametri; il più grande discusso qui è di 725 milioni. Sono specifici per il task, non modelli di chat generici. • Test pubblicato di Qwen 3.8 27B su una RTX 4090: 47 token al secondo senza predizione multi-token, circa 103-113 con essa. • Il nostro test su M4 Pro su un modello diverso, 9B quantizzato a circa 2 bit: la predizione multi-token ha ridotto la velocità da circa 49 a 37 token al secondo. I risultati e gli acceleramenti riportati nell'articolo sono le misurazioni effettuate dagli autori. La figura 31× confronta NCM con un modello di diffusione e l'articolo non confronta i tempi con un normale LLM parola per parola. I risultati dei tempi su GitHub sono una riproduzione della community su un H100; il test più veloce di 3,45 secondi ha utilizzato modifiche rispetto alla configurazione rilasciata. I risultati della predizione multi-token dipendono dal modello, dall'hardware e dalle impostazioni: il nostro risultato su Mac è stato più lento, quindi testatelo con il vostro modello. Provereste un modello in grado di redigere un'intera frase in una sola volta, oppure vi serve un modello di chat generico? Fatemelo sapere nei commenti. Iscrivetevi a Morgan's Code per analisi dett... [iw] NCM: הפרט שכולם פספסו — האם זה הסוף של ה-LLMs? מודל חדש של סטנפורד כותב גרסה גסה של משפט שלם, ואז מחדד אותו ב-12 סיבובים. האם מידול המושגים הבאים (NCM) הוא סוף מודלי השפה הגדולים הרגילים? קראתי את המאמר ובדקתי את ההרצה הפומבית הראשונה כדי לראות מה התוצאות בפועל מראות. NCM שואב השראה מהאופן שבו מודלי תמונה בונים תמונה מצורות גסות לפרטים עדינים. הוא מתחיל בקוד אחד למשפט, מוסיף קודים נוספים בכל שכבה, ואז הופך את השכבה הסופית למילים. זה נותן לו דרך שונה מאוד לייצר טקסט - אבל האצת הכותרות של המאמר נוגדת מודלים של שפת דיפוזיה, ולא מודלי LLM מילה במילה שבהם רוב האנשים משתמשים. בחמש השוואות האיכות של המאמר עם מודל אוטורגרסיבי רגיל, NCM מנצח בסודוקו קשה ובסיכומי חדשות קצרים, אך מפסיד בטקסט אינטרנט פתוח, סיפורים קצרים ותרגום. המאמר אינו מדווח על השוואת מהירות מול מודל LLM סטנדרטי. אנו בוחנים גם את השחזור של GitHub: הקוד שפורסם תאם את ציוני האיכות של המאמר, אך לקח 44.7 שניות עבור עבודת סיכום שהמאמר תזמנה בכ-3.4 שניות. ריצת קהילה הגיעה ל-3.45 שניות לאחר הוספת מטמון, דיוק נמוך יותר וגרפים של CUDA - שינויים שלא היו חלק מההגדרה שפורסמה כשבדקנו. מודלי NCM הזמינים הם נקודות ביקורת מחקר קטנות עבור משימות כגון סיכום, תרגום וסודוקו, ולא מודלים כלליים של צ'אט. ניתן להריץ את קוד ה-CUDA שפורסם על חומרת NVIDIA; תמיכת Mac נמצאת בתיקון קהילתי שלא הוזן. עבור משהו שניתן להשתמש בו כיום, אנו בוחנים חיזוי מרובה אסימונים ב-llama.cpp: הוא יותר מהכפיל את בדיקת המהירות שפורסמה על גבי RTX 4090 של Qwen 3.8 27B, בעוד שבדיקת ה-M4 Pro שלנו עם דגם אחר הפכה איטית יותר. פרקים 0:00 NCM: האם זה סוף ה-LLMs? 0:50 כיצד מידול מושגים נוכחיים כותב משפט 2:24 NCM לעומת דיפוזיה: מה הופך את זה לשונה? 3:20 טענת המהירות של 31×, מוסברת 4:15 חמישה מבחנים מול מערכות LLM רגילות: NCM מנצחת בשניים 5:49 מה קרה כשמישהו הריץ NCM ב-GitHub 7:07 האם ניתן להריץ NCM במחשב שלך? 8:26 חיזוי רב-אסימונים: שיפור מהירות שניתן להשתמש בו היום 9:25 האם NCM מוכן להחליף מערכות LLM? פסק דין סופי מספרים מרכזיים • NCM כותבת דרך 12 שכבות של קוד, מקוד אחד למשפט ועד 128 קודים לפלט של 128 אסימונים • טענות למהירות נייר: מהירות עד פי 31 בסיכומי חדשות, פי 21 ב-LM1B ופי 10 ב-OpenWebText - הכל בהשוואה למודלים של דיפוזיה, לא מודל LLM אוטורגרסיבי סטנדרטי • איכות לעומת מודל מילה-במילה רגיל: NCM מנצחת ב-2 מתוך 5 השוואות מאמרים - סודוקו קשה (86.1% לעומת 1.0%) וסיכומי XSum (28.0 לעומת 24.4) - ומפסידה בשלושת האחרים • שחזור קוד שפורסם: 44.7 שניות לעומת כ-3.4 שניות בתרשים המאמר עבור 1,024 סיכומים; ריצה קהילתית עם מטמון נוסף, BF16 וגרפים של CUDA ארכה 3.45 שניות • חומרה: הקוד שפורסם משתמש ב-CUDA; ריצת קהילה של RTX 4090 השתמשה בכ-2 ג'יגה-בייט של זיכרון; תמיכה ב-Mac דורשת תיקון לא ממוזג • נקודות הבדיקה הזמינות הן בעיקר סביב 100 מיליון פרמטרים; הגדול ביותר שנדון כאן הוא 725 מיליון. אלו מודלים ספציפיים למשימה, לא מודלים כלליים של צ'אט • מבחן Qwen 3.8 27B שפורסם על RTX 4090: 47 טוקנים לשנייה ללא חיזוי מרובה טוקנים, כ-103–113 איתו • מבחן ה-M4 Pro שלנו על מודל 9B אחר, שכמת לכ-2 סיביות: חיזוי מרובה טוקנים הפחית את המהירות מכ-49 ל-37 טוקנים לשנייה תוצאות המאמר וההאצות הן המדידות המדווחות על ידי המחברים. הנתון של 31× משווה את NCM עם מודל דיפוזיה, והמאמר אינו מתזמן אותו מול LLM רגיל מילה אחר מילה. תוצאות התזמון של GitHub הן שחזור קהילתי אחד על H100; הריצה המהירה יותר של 3.45 שניות ששימשה משנה מעבר להגדרה שפורסמה. תוצאות חיזוי של מספר אסימונים תלויות בדגם, בחומרה ובהגדרות: תוצאת ה-Mac שלנו הייתה איטית יותר, אז בדקו אותה עם המודל שלכם. האם הייתם מנסים מודל שכותב משפט שלם בבת אחת, או שאתם צריכים מודל צ'אט כללי היום? ספרו לי בתגובות. הירשמו לקוד של מורגן לקבלת פירוט ברור של מודלים מקומיים של בינה מלאכותית, כלי קידוד, מדדי ביצועים והחומרה להפעלתם: youtube.com מקורות מאמר NCM: arxiv.org קוד NCM, נקודות בקרה שפורסמו והוראות הערכה: הפניה קולית: CSTR VCTK Corpus 0.92, speaker p360, נוצר על ידי כריסטוף וו, ג'וניצ'י יאמאגישי וקירסטן מקדונלד באוניברסיטת אדינבורו. מורשה תחת CC BY 4.0; נדרש ייחוס: datashare.ed.ac.uk רישיון CC BY 4.0: creativecommons.org סינתזת דיבור: Chatterbox TTS מאת Resemble AI, רישיון MIT: resemble-ai/chatterbox #NextConceptModeling #NCM #LLM #AIResearch #LocalAI [ja] NCM：見落とされた詳細 —— LLMの終焉か？ スタンフォード大学の新しいモデルは、まず文全体のラフなバージョンを生成し、それを12回の処理で洗練させていきます。次世代概念モデリング（NCM）は、従来の言語モデルの終焉を意味するのでしょうか？論文を読み、最初の公開実行結果を確認して、実際のところどのような結果が出ているのか検証してみました。 NCMは、画像モデルが粗い形状から細かいディテールへと画像を構築する仕組みに着想を得ています。文を1つのコードで表し、各レイヤーでコードを追加し、最終レイヤーを単語に変換します。これはテキスト生成の非常に異なる方法ですが、論文で強調されている高速化は、一般的に使用されている単語単位の言語モデルではなく、拡散型言語モデルとの比較によるものです。 論文では、通常の自己回帰モデルとの5つの品質比較において、NCMは難易度の高い数独と短いニュース要約で優位に立ちましたが、オープンウェブテキスト、短編小説、翻訳では劣っていました。論文では、標準的な言語モデルとの速度比較は報告されていません。 GitHubで公開されている再現コードも検証しました。公開コードは論文の品質スコアと一致しましたが、論文で約3.4秒と計測された要約処理に44.7秒かかりました。コミュニティによる実行では、キャッシュの追加、精度の低下、CUDAグラフの活用により3.45秒を達成しました。これらの変更は、私たちが確認した時点では公開された設定には含まれていませんでした。 利用可能なNC

Ses klonlama: resemble-ai/chatterbox Ses netleştirme: resemble-ai/resemble-enhance Galileo düşmeyi ölçtü, Newton nedenini sordu, Einstein uzayın kendisinin büküldüğünü gösterdi. Elinizdeki telefonu bırakın. Düşer. Bunun nedenini anlamak için insanlık binlerce yıl uğraştı; bir elma, bir kule ve gerili bir çarşaf gerekti. Bu videoyu baştan sona açık kaynak araçlarla ürettim. Ses 15 saniyelik bir örnekten klonlandı. Düşen her şey, evrenin en eski sırlarından birini taşıyor. 🍎

1630. 20 yaşında bir genç rüyasında Peygamber'e "şefaat" diyecekken dili sürçüyor ve "seyahat" diyor. Ses klonlama: resemble-ai/chatterbox Ses netleştirme: resemble-ai/resemble-enhance Bu videoyu baştan sona açık kaynak araçlarla ürettim. Ses 10 saniyelik bir örnekten klonlandı. O genç, sonraki 40 yılını yollarda geçirdi. Adı Evliya Çelebi. Bir dil sürçmesi, 10 ciltlik bir Seyahatname'ye dönüştü. 🎬