backburner

Open source do GitHub: #10 a #6 | Vol. 16 #shorts Os projetos #10 a #6 do Top 15 open source do GitHub, Vol. 16, 10 segundos para cada um. #10 Backburner: StayLameBro/backburner #9 Shimmer From Structure: darula-hpp/shimmer-from-structure #8 Mural: Chuloo/mural #7 HackerBook: DOSAYGO-STUDIO/HackerBook #6 Papermorph: DozenTwelve/Papermorph Vídeo completo com os 15: youtu.be Oferecimento: Hallen Tech, hallentech.com #shorts #opensource #github

Mais 15 projetos open source do GitHub que valem o seu tempo | Vol. 16 Mais 15 projetos open source do GitHub que valem o seu tempo, em contagem regressiva e com 10 segundos para cada um: o iPhone ajudando o Mac a rodar um modelo de IA, livros que viram aulas animadas, CAD feito pelo agente, 20 anos do Hacker News offline e muito mais. 📺 Décimo sexto volume da série Open source do GitHub. Escolhidos pela análise da lista inteira (estrelas, frequência de commits, último commit, README, documentação, capturas e site), com licença e atividade conferidas em 26/10/2026. Qual desses você vai testar primeiro? Conta nos comentários! ⏱️ CAPÍTULOS E LINKS 0:00 Abertura 0:10 #15 SOMA: CAD em que o agente de código escreve o modelo 3D em Python (CadQuery) e você revisa, mede e exporta para imprimir Kai-Jungsthoefel/SOMA 0:20 #14 Rune: IDE e multiplexador de terminal acelerados pela GPU, com rede criptografada entre as suas máquinas (1,3 mil estrelas) unstablebuild/rune 0:30 #13 MyGo: apps de desktop em Go com interface nativa ou web, num único binário de poucos megabytes e sem cgo (3,0 mil estrelas) egoist/mygo 0:40 #12 Solid Glass: design system com estética de vidro sólido para aplicações de IA, com componentes e telas prontas (2,2 mil estrelas) deeplethe/solid-glass 0:50 #11 anydoc: biblioteca em Rust da Firecrawl que converte Word, PowerPoint, Excel, PDF, EPUB e outros em Markdown limpo (23,1 mil estrelas) firecrawl/anydoc 1:00 #10 Backburner: ligue o iPhone no Mac pelo USB-C e ele ajuda a rodar o Qwen de 27B: leitura de prompt mais rápida e mais contexto (1,1 mil estrelas) StayLameBro/backburner 1:10 #9 Shimmer From Structure: gera a animação de carregamento (skeleton) medindo o layout real, em React, Vue, Angular, Svelte e SolidJS (1,1 mil estrelas) darula-hpp/shimmer-from-structure 1:20 #8 Mural: app nativo de iPhone e Android para aprender idiomas conversando por voz, com o progresso guardado no aparelho (1,7 mil estrelas) Chuloo/mural 1:30 #7 HackerBook: 20 anos do Hacker News num arquivo estático que roda inteiro no navegador, offline, atualizado toda semana DOSAYGO-STUDIO/HackerBook 1:40 #6 Papermorph: skill do Claude Code que transforma livros didáticos em aulas narradas e interativas, e histórias em filmes de papel DozenTwelve/Papermorph 1:50 #5 ftop: monitor do sistema para Macs com Apple Silicon numa janela de vidro flutuante: CPU, memória, rede e quem está pesando Nongfsq/ftop 2:00 #4 Renewlet: controle self-hosted de assinaturas: quanto você gasta, o que vence e lembretes antes da renovação zhiyingzzhou/renewlet 2:10 #3 Claude Octopus: plugin do Claude Code que chama até doze provedores externos para revisar o trabalho e avisa quando eles discordam (4,3 mil estrelas) nyldn/claude-octopus 2:20 #2 plMail: cliente de e-mail self-hosted com calendário, que junta IMAP, Gmail e Outlook numa caixa só karatektus/pl_mail 2:30 Oferecimento Hallen Tech 2:44 #1 Company Brain: colega de IA no Slack que lembra das decisões do time e faz o trabalho: abre issues, lê PRs e mexe no repositório (antes era produto pago da Supermemory) (1,1 mil estrelas) supermemoryai/company-brain 2:54 Encerramento 🧡 Oferecimento: Hallen Tech, liderança de tecnologia sob demanda, software, cloud e segurança para a sua empresa. Site: hallentech.com E-mail: contato@hallentech.com Instagram: instagram.com LinkedIn da Hallen Tech: linkedin.com LinkedIn do Eddwan: linkedin.com Se curtiu, deixa o like, segue o canal e ativa as notificações para a próxima lista. #opensource #github #programacao #ferramentas

Your iPhone is sitting there doing nothing. Backburner puts it to work. 🔥 It becomes the second half of a local LLM — Mac runs layers 1-40, iPhone GPU takes the rest. 27B models, 184k context, 400+ tok/s prefill. Fully offline. Fully yours. StayLameBro/backburner #LocalAI

2 gaming PCs + an M4 Pro MacBook over Ethernet + 2 iPhone 17 Pro Maxes over USB-C: Qwen3.8 Flash Next at 37-39 tok/s at 60k context (262k layout in the works) DISCLAIMER: the prefill rate on the dashboard in the video counts cached prompt tokens as if they were read again, so it reads high. The captions show the server’s real end-to-end numbers, and so does everything below. The decode numbers on screen are correct. After the last post I wanted to try something that doesn’t fit on any one machine I own. Qwen 3.8 Flash Next is a 48-layer mixture-of-experts model with 512 experts per layer, and even at 3-bit it’s far bigger than my 24 GB MacBook. But my house has more silicon than that: a gaming PC with an RTX 2060 Super (32 gigs DDR4), another with an RX 9060 XT (16 gigs DDR5), the M4 Pro MacBook, and two iPhone 17 Pro Maxes. So I chained all five into one model. How it’s split: PC 1 (2060 Super, 8 GB): layers 0–9, the output layer, and the model’s own multi-token-prediction draft head. MacBook Pro (M4 Pro, 24 GB): layers 10–29. The two iPhones (A19 Pro): for layers 10–18, each token picks 10 of 512 experts. The Mac sends those picks over USB-C, and each phone’s GPU runs them and answers in about 1 ms. The Mac keeps the most-used experts in its own memory and runs those itself. PC 2 (9060 XT, 16 GB): layers 30–47. The PCs and the Mac talk over Ethernet, the phones over 10 Gb/s USB-C. Every weight sits in VRAM, pinned RAM or unified memory, so nothing streams from disk and nothing swaps. Five devices in a row would normally mean four of them waiting. The trick is pipelined speculation. The draft head on PC 1 guesses the next few tokens, the whole chain checks them in one pass, and while that batch is still travelling through the Mac, the phones and PC 2, PC 1 is already drafting the next one. Each step lands about 2.2 tokens on average. Measured at the server with what an agent actually sends (temp 0.6, top-p 0.95, top-k 20, medium thinking, real code prompts, not greedy): 16k context: 42 tok/s writing, 728–744 tok/s reading the prompt 32k context: 39–41 tok/s writing, 844–852 tok/s reading 60k context: 37–39 tok/s writing, 856–895 tok/s reading In the agent session from the video, with the prompt cached, a short follow-up turn starts in about half a second. A turn with new tool output costs about 2.9 s fixed plus 768 tok/s for the new tokens. Writing averaged 35 tok/s across that session, since it swings with how predictable the text is. I’ve seen bursts past 40. Long context in this layout. It serves 69.6k. PC 2’s 16 GB is the ceiling. A second layout moves two layers onto PC 1 and keeps 8-bit KV on the Mac and phones. That one read a single prompt past 164k tokens, and it writes 31–33 tok/s at 60k. Full 262k needs each phone holding one attention layer’s cache, which is how the two-A19 split works. One of the A19s had to leave today, so that run is next. I believe this can go faster with more optimizing. Fast prompt reading on long prompts. PC 2 caps it at about 980 tokens/s, because its host-memory experts cross PCIe once per 512-token batch. The final quality check. Every change is exact by construction or exact in distribution, except the Mac’s expert cache, which adds partial sums in a different order. The KL check against a reference for today’s changes hasn’t run yet. Try with your phones or iPads and see how far & fast you can go! With other quants, you could definitely go much faster. Coming to the repo shortly. StayLameBro/backburner

Backburner GitHub Explained: How an iPhone Extends Mac AI Inference backburner by staylamebro: staylamebro/backburner Backburner is an experimental architecture for pairing an Apple Silicon Mac with a compatible iPhone over a high-bandwidth USB-C link. The goal is to keep large local AI workloads moving when a 24GB unified-memory Mac runs into model-weight and conversation-history limits. This overview explains the two ways the design uses the phone: split prefill for large prompts below the 64,000-token threshold, and phone-held context once a session crosses that memory wall. The Mac handles layers 1–40 while the iPhone processes layers 41–64 during the split pipeline. The narration presents a maintainer benchmark claim of a 44% speed increase for a 16,000-token context, explicitly noting that the claim is unverified. Past 64,000 tokens, the phone instead holds older context keys and is presented as extending the theoretical window to 196,000–229,000 tokens at 8-bit precision. The tradeoffs are part of the story: iPhone 15 Pro or newer hardware, a 10-gigabit USB-C connection, foreground-only operation through Guided Access, one active request at a time, and link-local USB networking. Backburner is a tightly coupled local-inference architecture with serious practical constraints, not a plug-and-play consumer app. TimeStamps: 0:00 Mac memory pressure and paging 0:51 Backburner’s Mac–iPhone architecture 1:14 The USB-C latency constraint 2:01 Split prefill across 64 layers 2:58 Phone-held context past 64K 4:17 Practical limits: foreground access and concurrency 5:05 Link-local security posture 5:27 The local AI cluster vision 🧠 Unified memory pressure meets a 27B model 🔌 USB-C links Mac and iPhone for split prefill 📚 Phone-held context extends long conversations ⚠️ Guided Access, one request, and link-local constraints Backburner’s main idea is straightforward: use an attached iPhone as a tightly coupled compute and memory partner when a Mac’s unified memory becomes the bottleneck. The tradeoff is equally clear—specialized hardware, low-latency wiring, foreground-only operation, and a single-request server. It is an intriguing local-inference architecture, not a plug-and-play app. #Backburner #LocalAI #AppleSilicon [de-DE] Backburner GitHub erklärt: Wie ein iPhone die KI-Inferenz auf dem Mac erweitert Backburner von staylamebro: staylamebro/backburner Backburner ist eine experimentelle Architektur zur Kopplung eines Apple Silicon Macs mit einem kompatiblen iPhone über eine USB-C-Verbindung mit hoher Bandbreite. Ziel ist es, die Ausführung großer lokaler KI-Workloads zu gewährleisten, wenn ein Mac mit 24 GB Arbeitsspeicher an die Grenzen der Modellgröße und des Gesprächsverlaufs stößt. Diese Übersicht erläutert die zwei Arten der Nutzung des iPhones: Aufteilung der Vorbelegung für große Eingabeaufforderungen unterhalb der Grenze von 64.000 Token und Nutzung des auf dem iPhone gespeicherten Kontexts, sobald eine Sitzung diese Speichergrenze überschreitet. Der Mac verarbeitet die Ebenen 1–40, während das iPhone die Ebenen 41–64 während der aufgeteilten Verarbeitung übernimmt. Der Text erwähnt eine Benchmark-Angabe des Entwicklers, die eine Geschwindigkeitssteigerung von 44 % für einen Kontext von 16.000 Token angibt, weist aber ausdrücklich darauf hin, dass diese Angabe nicht verifiziert ist. Ab 64.000 Token speichert das Telefon stattdessen ältere Kontextschlüssel und erweitert das theoretische Fenster auf 196.000–229.000 Token bei 8-Bit-Präzision. Die damit verbundenen Einschränkungen sind Teil der Geschichte: iPhone 15 Pro oder neuere Hardware, eine 10-Gigabit-USB-C-Verbindung, Betrieb nur im Vordergrund durch Guided Access, jeweils nur eine aktive Anfrage und Link-Local-USB-Netzwerk. Backburner ist eine eng gekoppelte Architektur für lokale Inferenz mit erheblichen praktischen Einschränkungen und keine sofort einsatzbereite Verbraucher-App. Zeitstempel: 0:00 Speicherdruck und Paging auf dem Mac 0:51 Backburners Mac-iPhone-Architektur 1:14 Die Latenzbeschränkung von USB-C 2:01 Aufgeteiltes Prefill über 64 Schichten 2:58 Kontext des Telefons jenseits von 64 KB 4:17 Praktische Grenzen: Vordergrundzugriff und Parallelität 5:05 Link-lokale Sicherheitslage 5:27 Die Vision des lokalen KI-Clusters 🧠 Unified Memory Pressure trifft auf ein 27-B-Modell 🔌 USB-C verbindet Mac und iPhone für geteiltes Prefill 📚 Kontext des Telefons verlängert lange Gespräche ⚠️ Guided Access, One Request und Link-lokale Beschränkungen Backburners Grundidee ist einfach: Ein angeschlossenes iPhone dient als eng gekoppelter Rechen- und Speicherpartner, wenn der Unified Memory eines Macs zum Flaschenhals wird. Der Kompromiss ist ebenso klar: Spezialisierte Hardware, latenzarme Verkabelung, Betrieb ausschließlich im Vordergrund und ein Server für Einzelanfragen. Es handelt sich um eine faszinierende Architektur für lokale Inferenz, keine Plug-and-Play-Anwendung. #Backburner #LocalAI #AppleSilicon [es-US] Explicación de Backburner en GitHub: Cómo un iPhone amplía la inferencia de IA en Mac Backburner, de staylamebro: staylamebro/backburner Backburner es una arquitectura experimental que conecta un Mac con procesador Apple Silicon con un iPhone compatible mediante una conexión USB-C de alto ancho de banda. Su objetivo es mantener en marcha grandes cargas de trabajo de IA locales cuando un Mac con 24 GB de memoria unificada alcanza los límites de peso del modelo e historial de conversaciones. Esta descripción general explica las dos formas en que el diseño utiliza el teléfono: precarga dividida para indicaciones grandes por debajo del umbral de 64 000 tokens, y contexto almacenado en el teléfono una vez que una sesión supera dicho límite de memoria. Durante la precarga dividida, el Mac gestiona las capas 1 a 40, mientras que el iPhone procesa las capas 41 a 64. La descripción presenta una afirmación del desarrollador sobre un aumento de velocidad del 44 % para un contexto de 16 000 tokens, aclarando que dicha afirmación no está verificada. Tras superar los 64 000 tokens, el teléfono conserva claves de contexto más antiguas y se presenta como una extensión del rango teórico a entre 196 000 y 229 000 tokens con una precisión de 8 bits. Las limitaciones son parte fundamental de la experiencia: requiere un iPhone 15 Pro o un modelo posterior, una conexión USB-C de 10 gigabits, funcionamiento solo en primer plano mediante Acceso Guiado, una solicitud activa a la vez y conexión USB local. Backburner es una arquitectura de inferencia local estrechamente acoplada con importantes limitaciones prácticas, no una aplicación de consumo lista para usar. Marcas de tiempo: 0:00 Presión de memoria y paginación en Mac 0:51 Arquitectura Mac-iPhone de Backburner 1:14 La limitación de latencia de USB-C 2:01 Precarga dividida en 64 capas 2:58 Contexto en el teléfono más allá de 64 KB 4:17 Límites prácticos: acceso en primer plano y concurrencia 5:05 Seguridad local del enlace 5:27 Visión del clúster de IA local 🧠 La presión de memoria unificada se encuentra con un modelo de 27B 🔌 USB-C conecta Mac y iPhone para precarga dividida 📚 El contexto en el teléfono extiende las conversaciones largas ⚠️ Acceso guiado, una solicitud y limitaciones locales del enlace La idea principal de Backburner es sencilla: usar un iPhone conectado como un socio de computación y memoria estrechamente acoplado cuando la memoria unificada de una Mac se convierte en el cuello de botella. La compensación es igualmente clara: hardware especializado, cableado de baja latencia, operación solo en primer plano y un servidor de una sola solicitud. Se trata de una arquitectura de inferencia local fascinante, no de una aplicación lista para usar. #Backburner #LocalAI #AppleSilicon [fr-FR] Backburner sur GitHub expliqué : comment un iPhone booste l'inférence IA sur Mac Backburner par staylamebro : staylamebro/backburner Backburner est une architecture expérimentale permettant de coupler un Mac Apple Silicon à un iPhone compatible via une connexion USB-C à haut débit. L’objectif est de maintenir la fluidité des charges de travail d’IA locales importantes lorsque la mémoire unifiée d’un Mac de 24 Go atteint les limites de poids des modèles et d’historique des conversations. Cette présentation explique comment le système utilise le téléphone de deux manières : le préremplissage fractionné pour les requêtes volumineuses inférieures à 64 000 éléments, et le contexte stocké sur le téléphone une fois ce seuil atteint. Le Mac gère les couches 1 à 40 tandis que l’iPhone traite les couches 41 à 64 lors du traitement fractionné. Le texte mentionne un test de performance réalisé par un développeur faisant état d’une augmentation de vitesse de 44 % pour un contexte de 16 000 éléments, tout en précisant que cette affirmation n’est pas vérifiée. Au-delà de 64 000 jetons, le téléphone stocke des clés de contexte plus anciennes et sa capacité théorique est étendue à 196 000–229 000 jetons avec une précision de 8 bits. Les compromis sont inhérents à cette technologie : matériel requis : iPhone 15 Pro ou plus récent, connexion USB-C 10 gigabits, fonctionnement exclusivement au premier plan via l’accès guidé, une seule requête active à la fois et réseau USB local. Backburner est une architecture d’inférence locale fortement couplée, soumise à d’importantes contraintes pratiques ; il ne s’agit pas d’une application grand public prête à l’emploi. Horodatage : 0:00 Pression sur la mémoire Mac et pagination 0:51 Architecture Mac-iPhone de Backburner 1:14 Contrainte de latence USB-C 2:01 Préremplissage fractionné sur 64 couches 2:58 Contexte du téléphone au-delà de 64 Ko 4:17 Limites pratiques : accès au premier plan et concurrence 5:05 Sécurité locale à la liaison 5:27 Vision d’un cluster d’IA local 🧠 Pression sur la mémoire unifiée face à un modèle de 27 milliards de mémoire 🔌 L’USB-C relie Mac et iPhone pour un préremplissage fractionné 📚 Le contexte du téléphone prolonge les longues conversations ⚠️ Accès guidé, une seule requête et contraintes locales à la liaison L’idée principale de Backburner est simple : utiliser un iPhone connecté comme partenaire de calcul et de mémoire étroitement couplé lorsque la mémoire unifiée du Mac devient le goulot d’étranglement. Le compromis est tout aussi clair : matériel spécialisé, câblage à faible latence, fonctionnement exclusivement au premier plan et serveur à requête unique. Il s'agit d'une architecture d'inférence locale fascinante, et non d'une application prête à l'emploi. #Backburner #LocalAI #AppleSilicon [hi] Backburner GitHub की व्याख्या: iPhone कैसे Mac AI इन्फरेंस को बढ़ाता है staylamebro द्वारा बनाया गया backburner: staylamebro/backburner Backburner एक प्रायोगिक आर्किटेक्चर है जो Apple Silicon Mac को एक संगत iPhone के साथ उच्च-बैंडविड्थ USB-C लिंक के माध्यम से जोड़ता है। इसका उद्देश्य 24GB यूनिफाइड-मेमोरी वाले Mac में मॉडल-वेट और वार्तालाप-इतिहास की सीमाएँ समाप्त होने पर भी बड़े स्थानीय AI वर्कलोड को सुचारू रूप से चलाना है। यह अवलोकन बताता है कि यह डिज़ाइन फ़ोन का उपयोग दो तरीकों से करता है: 64,000 टोकन की सीमा से कम बड़े प्रॉम्प्ट के लिए स्प्लिट प्रीफ़िल, और सत्र की मेमोरी सीमा पार करने के बाद फ़ोन-हेल्ड कॉन्टेक्स्ट। स्प्लिट पाइपलाइन के दौरान Mac लेयर 1-40 को संभालता है जबकि iPhone लेयर 41-64 को प्रोसेस करता है। विवरण में 16,000 टोकन के कॉन्टेक्स्ट के लिए 44% गति वृद्धि के रखरखावकर्ता के बेंचमार्क दावे का उल्लेख है, साथ ही यह भी स्पष्ट किया गया है कि यह दावा अप्रमाणित है। 64,000 टोकन से आगे, फ़ोन पुराने कॉन्टेक्स्ट कीज़ को ही रखता है और 8-बिट परिशुद्धता पर सैद्धांतिक विंडो को 196,000–229,000 टोकन तक विस्तारित करने के रूप में प्रस्तुत किया जाता है। इसके कुछ नुकसान भी हैं: iPhone 15 Pro या इससे नया हार्डवेयर, 10-गीगाबिट USB-C कनेक्शन, गाइडेड एक्सेस के माध्यम से केवल फोरग्राउंड में संचालन, एक समय में एक सक्रिय अनुरोध, और लिंक-लोकल USB नेटवर्किंग। बैकबर्नर एक जटिल स्थानीय-अनुमान आर्किटेक्चर है जिसमें गंभीर व्यावहारिक सीमाएँ हैं, यह कोई प्लग-एंड-प्ले उपभोक्ता ऐप नहीं है। टाइमस्टैम्प: 0:00 मैक मेमोरी प्रेशर और पेजिंग 0:51 बैकबर्नर का मैक-आईफोन आर्किटेक्चर 1:14 यूएसबी-सी लेटेंसी बाधा 2:01 64 लेयर्स में स्प्लिट प्रीफिल 2:58 64K से अधिक फ़ोन-हेल्ड कॉन्टेक्स्ट 4:17 व्यावहारिक सीमाएँ: फोरग्राउंड एक्सेस और कॉन्करेंसी 5:05 लिंक-लोकल सुरक्षा स्थिति 5:27 लोकल एआई क्लस्टर विज़न 🧠 एकीकृत मेमोरी प्रेशर 27B मॉडल से मिलता है 🔌 स्प्लिट प्रीफिल के लिए यूएसबी-सी मैक और आईफोन को लिंक करता है 📚 फ़ोन-हेल्ड कॉन्टेक्स्ट लंबी बातचीत को बढ़ाता है ⚠️ गाइडेड एक्सेस, एक अनुरोध और लिंक-लोकल बाधाएँ बैकबर्नर का मुख्य विचार सीधा है: जब मैक की एकीकृत मेमोरी बाधा बन जाती है, तो जुड़े हुए आईफोन को एक कसकर जुड़े कंप्यूट और मेमोरी पार्टनर के रूप में उपयोग करना। इसका लाभ-हानि भी उतना ही स्पष्ट है—विशेष हार्डवेयर, कम लेटेंसी वायरिंग, केवल फोरग्राउंड ऑपरेशन और एक सिंगल-रिक्वेस्ट सर्वर। यह एक दिलचस्प स्थानीय अनुमान प्रणाली है, न कि कोई प्लग-एंड-प्ले ऐप। #Backburner #LocalAI #AppleSilicon [id] Penjelasan Backburner GitHub: Bagaimana iPhone Memperluas Inferensi AI Mac Backburner oleh staylamebro: staylamebro/backburner Backburner adalah arsitektur eksperimental untuk memasangkan Mac Apple Silicon dengan iPhone yang kompatibel melalui tautan USB-C berbandwidth tinggi. Tujuannya adalah untuk menjaga agar beban kerja AI lokal yang besar tetap berjalan ketika Mac dengan memori terpadu 24GB mengalami keterbatasan berat model dan riwayat percakapan. Gambaran umum ini menjelaskan dua cara desain ini menggunakan ponsel: pengisian awal terpisah untuk perintah besar di bawah ambang batas 64.000 token, dan konteks yang dipegang ponsel setelah sesi melewati batas memori tersebut. Mac menangani lapisan 1–40 sementara iPhone memproses lapisan 41–64 selama pipeline terpisah. Narasi ini menyajikan klaim benchmark dari pengelola tentang peningkatan kecepatan 44% untuk konteks 16.000 token, dengan secara eksplisit mencatat bahwa klaim tersebut belum diverifikasi. Setelah melewati 64.000 token, ponsel malah menyimpan kunci konteks yang lebih lama dan disajikan sebagai perluasan jendela teoretis hingga 196.000–229.000 token pada presisi 8-bit. Kompromi adalah bagian dari cerita: perangkat keras iPhone 15 Pro atau yang lebih baru, koneksi USB-C 10 gigabit, operasi hanya di latar depan melalui Akses Terpandu, satu permintaan aktif pada satu waktu, dan jaringan USB lokal tautan. Backburner adalah arsitektur inferensi lokal yang terhubung erat dengan kendala praktis yang serius, bukan aplikasi konsumen yang siap pakai. Cap Waktu: 0:00 Tekanan memori Mac dan paging 0:51 Arsitektur Mac–iPhone Backburner 1:14 Batasan latensi USB-C 2:01 Pra-isi terpisah di 64 lapisan 2:58 Konteks yang dipegang ponsel melampaui 64K 4:17 Batasan praktis: akses latar depan dan konkurensi 5:05 Postur keamanan lokal tautan 5:27 Visi klaster AI lokal 🧠 Tekanan memori terpadu memenuhi model 27B 🔌 USB-C menghubungkan Mac dan iPhone untuk pra-isi terpisah 📚 Konteks yang dipegang ponsel memperpanjang percakapan panjang ⚠️ Akses Terpandu, satu permintaan, dan batasan lokal tautan Ide utama Backburner sederhana: menggunakan iPhone yang terpasang sebagai mitra komputasi dan memori yang terhubung erat ketika memori terpadu Mac menjadi hambatan. Komprominya juga jelas—perangkat keras khusus, pengkabelan latensi rendah, operasi hanya latar depan, dan server permintaan tunggal. Ini adalah arsitektur inferensi lokal yang menarik, bukan aplikasi plug-and-play. #Backburner #LocalAI #AppleSilicon [it] Backburner GitHub spiegato: come un iPhone estende l'inferenza AI su Mac Backburner di staylamebro: staylamebro/backburner Backburner è un'architettura sperimentale per l'accoppiamento di un Mac con Apple Silicon con un iPhone compatibile tramite una connessione USB-C ad alta larghezza di banda. L'obiettivo è quello di mantenere in funzione carichi di lavoro AI locali di grandi dimensioni anche quando un Mac con 24 GB di memoria unificata raggiunge i limiti di peso del modello e di cronologia delle conversazioni. Questa panoramica spiega i due modi in cui il design utilizza il telefono: precompilazione separata per prompt di grandi dimensioni al di sotto della soglia di 64.000 token e contesto gestito dal telefono una volta che una sessione supera tale limite di memoria. Il Mac gestisce i livelli da 1 a 40, mentre l'iPhone elabora i livelli da 41 a 64 durante la pipeline separata. La descrizione riporta un benchmark dichiarato dal manutentore che afferma un aumento di velocità del 44% per un contesto di 16.000 token, specificando esplicitamente che tale affermazione non è stata verificata. Oltre i 64.000 token, il telefono utilizza chiavi di contesto più vecchie e si prevede che la finestra teorica si estenda a 196.000-229.000 token con precisione a 8 bit. I compromessi sono parte integrante del progetto: hardware iPhone 15 Pro o successivo, connessione USB-C a 10 gigabit, funzionamento solo in primo piano tramite Accesso Guidato, una richiesta attiva alla volta e rete USB locale. Backburner è un'architettura di inferenza locale strettamente integrata con seri vincoli pratici, non un'app plug-and-play per i consumatori. Indice dei contenuti: 0:00 Pressione della memoria Mac e paging 0:51 Architettura Mac-iPhone di Backburner 1:14 Il vincolo di latenza USB-C 2:01 Precaricamento suddiviso su 64 livelli 2:58 Contesto gestito dal telefono oltre i 64 KB 4:17 Limiti pratici: accesso in primo piano e concorrenza 5:05 Sicurezza link-local 5:27 La visione del cluster AI locale 🧠 Pressione di memoria unificata incontra un modello a 27 bit 🔌 USB-C collega Mac e iPhone per il precaricamento suddiviso 📚 Il contesto gestito dal telefono estende le conversazioni lunghe ⚠️ Accesso guidato, una singola richiesta e vincoli link-local L'idea principale di Backburner è semplice: utilizzare un iPhone collegato come partner di calcolo e memoria strettamente integrato quando la memoria unificata di un Mac diventa il collo di bottiglia. Il compromesso è altrettanto chiaro: hardware specializzato, cablaggio a bassa latenza, funzionamento solo in primo piano e un server a richiesta singola. Si tratta di un'architettura di inferenza locale intrigante, non di un'applicazione plug-and-play. #Backburner #LocalAI #AppleSilicon [pt-BR] Backburner GitHub explicado: Como um iPhone expande a inferência de IA no Mac Backburner por staylamebro: staylamebro/backburner Backburner é uma arquitetura experimental para emparelhar um Mac com Apple Silicon a um iPhone compatível através de uma conexão USB-C de alta largura de banda. O objetivo é manter grandes cargas de trabalho de IA locais em execução quando um Mac com memória unificada de 24 GB atinge os limites de peso do modelo e histórico de conversas. Esta visão geral explica as duas maneiras pelas quais o projeto utiliza o telefone: preenchimento dividido para prompts grandes abaixo do limite de 64.000 tokens e contexto mantido pelo telefone quando uma sessão ultrapassa esse limite de memória. O Mac processa as camadas 1 a 40, enquanto o iPhone processa as camadas 41 a 64 durante o pipeline dividido. A descrição apresenta uma alegação de benchmark do mantenedor de um aumento de velocidade de 44% para um contexto de 16.000 tokens, observando explicitamente que a alegação não foi verificada. Após 64.000 tokens, o telefone passa a armazenar chaves de contexto mais antigas e é apresentado como estendendo a janela teórica para 196.000 a 229.000 tokens com precisão de 8 bits. As desvantagens fazem parte da história: hardware do iPhone 15 Pro ou mais recente, conexão USB-C de 10 gigabits, operação somente em primeiro plano por meio do Acesso Guiado, uma solicitação ativa por vez e rede USB local. O Backburner é uma arquitetura de inferência local fortemente acoplada com sérias limitações práticas, não um aplicativo de consumo pronto para uso. Marcadores de tempo: 0:00 Pressão de memória e paginação no Mac 0:51 Arquitetura Mac-iPhone do Backburner 1:14 A restrição de latência do USB-C 2:01 Preenchimento dividido em 64 camadas 2:58 Contexto do telefone em uso além de 64 KB 4:17 Limitações práticas: acesso em primeiro plano e concorrência 5:05 Postura de segurança local de link 5:27 A visão do cluster de IA local 🧠 Pressão de memória unificada encontra um modelo de 27B 🔌 USB-C conecta Mac e iPhone para preenchimento dividido 📚 Contexto do telefone em uso estende conversas longas ⚠️ Acesso guiado, uma única solicitação e restrições locais de link A ideia principal do Backburner é simples: usar um iPhone conectado como um parceiro de computação e memória fortemente acoplado quando a memória unificada de um Mac se torna o gargalo. A contrapartida é igualmente clara: hardware especializado, cabeamento de baixa latência, operação somente em primeiro plano e um servidor de solicitação única. Trata-se de uma arquitetura de inferência local intrigante, não um aplicativo pronto para usar. #Backburner #LocalAI #AppleSilicon

the iphone one is the repo nobody believes until they plug in the cable → backburner: StayLameBro/backburner needs an iphone 15 pro or newer and a usb-c cable you already own

Your iPhone can now help your Mac run a 27B local model. 🤯 Backburner splits Qwen3.8-27B across Apple Silicon + iPhone over 10Gb/s USB-C. Maintainer benchmarks: up to 44% faster prefill and ~229K 8-bit context. MIT. Wild AF. 👇 StayLameBro/backburner t.co

Mac 跑本地 27B，读长提示词太慢？Backburner 把 iPhone 拉进计算流水线。 StayLameBro/backburner 设计有意思：Mac 算前 40 层，手机算后 24 层，按批次重叠执行。仓库测试中，16k–48k 上下文的预填充提速 29%–44%。 超过 64k，手机改为存旧 KV、计算旧上下文的注意力，用手机内存换容量，而非继续拆层。 边界也清楚：64k 内手机不加速生成；需要 10Gb/s 线，长上下文时手机应用必须保持前台。适合关注 Agent 长输入的人。

iPhone を Mac の外付け GPU 的に活用してローカルAIの処理パフォーマンスを高速化するツール「backburner」ってのが面白そう USB-C でつないだ iPhone を Mac の補助的な推論装置として使い、ローカルの Qwen3.8-27B を高速 & 長いコンテキストで動かせると StayLameBro/backburner