Build a GPT From Scratch in Python (201 Lines, 10.7M Parameters)
Official downloads & docs:
Python — python.org
PyTorch — pytorch.org
nanoGPT (MIT, Andrej Karpathy) — karpathy/nanoGPT
Tiny Shakespeare dataset — karpathy/char-rnn
CHAPTERS
0:00 Why build a GPT
0:24 Tokens & data
0:58 The bigram floor
1:25 Attention from scratch
2:25 Training the model
3:20 Generation & sampling
3:52 Bugs you will hit
4:15 What's next
WHAT YOU WILL BUILD
A complete character-level GPT in one Python file: tokenizer, embeddings, causal self-attention, a 6-layer transformer, cross-entropy loss, the training loop, and sampling. 201 lines, 10,745,088 parameters, vocabulary of 65 characters, context window of 256 characters.
WHAT YOU NEED
- Python 3.10 or newer (this build: Python 3.13.5) and PyTorch 2.x (this build: 2.7.1 + CUDA 11.8)
- Any NVIDIA GPU with 8 GB or more, or a free Colab T4; CPU works but training is much slower
- 4 GB of disk for Python, PyTorch and the 1.1 MB Tiny Shakespeare text file
- No paid tools, no API key, no cloud account, no prior deep-learning experience required
- About 25 minutes: the 5,000-step run in this video took 1,273 seconds on one RTX 3080
WHAT IS INSIDE
The video is honest about the result: training loss falls from 4.27 to 0.31, validation loss bottoms at 1.48 around step 1,500 and then climbs to 2.19 as the model memorises the one-megabyte corpus. Attention maps, parameter counts and timings are measured from the checkpoint trained on screen, not copied from a paper.
Independent tutorial. Not affiliated with OpenAI, GitHub, PyTorch, Python or any company shown. No payment, sponsorship or free product was received. All trademarks belong to their owners. "GPT" is used descriptively for the model family. Code and numbers are provided for education, without warranty; verify versions against the official sources above before installing.
[ar] كيف تبني نموذج GPT من الصفر بلغة بايثون (201 سطرًا و10.7 مليون معامل)
Python — python.org
PyTorch — pytorch.org
nanoGPT (MIT) — karpathy/nanoGPT
Tiny Shakespeare dataset — karpathy/char-rnn
الفصول
0:00 لماذا نبني GPT
0:24 الرموز والبيانات
0:58 سقف نموذج الثنائيات
1:25 الانتباه من الصفر
2:25 تدريب النموذج
3:20 التوليد وأخذ العينات
3:52 الأخطاء التي ستواجهها
4:15 ما التالي
نبني نموذج GPT كاملًا على مستوى الحروف في ملف بايثون واحد: المُرمِّز، والتضمينات، والانتباه الذاتي السببي، وست طبقات محوّل، ودالة الخسارة، وحلقة التدريب. 201 سطر و10,745,088 معاملًا، دُرِّبت فعليًا على بطاقة RTX 3080.
ما تحتاجه
- بايثون 3.10 أو أحدث (هنا 3.13.5) وPyTorch 2.x (هنا 2.7.1 مع CUDA 11.8)
- أي بطاقة NVIDIA بذاكرة 8 غيغابايت أو أكثر، أو T4 مجانية على Colab؛ يعمل على المعالج لكنه أبطأ بكثير
- نحو 4 غيغابايت من القرص لبايثون وPyTorch وملف النص بحجم 1.1 ميغابايت
- دون أدوات مدفوعة أو مفتاح API أو خبرة سابقة في التعلم العميق
درس مستقل. غير مرتبط بـ OpenAI أو GitHub أو PyTorch أو Python أو أي شركة تظهر في الفيديو. لم نتحصل على أي دفع أو رعاية أو منتج مجاني. جميع العلامات التجارية ملك لأصحابها. استُخدم «GPT» وصفًا لعائلة النماذج. الكود والأرقام لأغراض تعليمية دون ضمان.
[bn] Python দিয়ে শূন্য থেকে GPT তৈরি (২০১ লাইন, ১ কোটি ৭ লাখ প্যারামিটার)
Python — python.org
PyTorch — pytorch.org
nanoGPT (MIT) — karpathy/nanoGPT
Tiny Shakespeare dataset — karpathy/char-rnn
অধ্যায়
0:00 কেন GPT বানাব
0:24 টোকেন ও ডেটা
0:58 বাইগ্রামের সীমা
1:25 শূন্য থেকে attention
2:25 মডেল প্রশিক্ষণ
3:20 জেনারেশন ও স্যাম্পলিং
3:52 যে বাগগুলো পাবেন
4:15 এরপর কী
একটি Python ফাইলেই সম্পূর্ণ character-level GPT বানাই: টোকেনাইজার, এমবেডিং, কজাল self-attention, ছয়টি ট্রান্সফর্মার লেয়ার, লস ও ট্রেনিং লুপ। ২০১ লাইন ও ১,০৭,৪৫,০৮৮ প্যারামিটার, সত্যিকারের RTX 3080-এ প্রশিক্ষিত।
যা লাগবে
- Python 3.10 বা নতুন (এখানে 3.13.5) এবং PyTorch 2.x (এখানে CUDA 11.8 সহ 2.7.1)
- ৮ GB বা বেশি ভিডিও মেমরির যেকোনো NVIDIA GPU, অথবা Colab-এ ফ্রি T4; CPU-তেও চলে, তবে অনেক ধীর
- Python, PyTorch ও ১.১ MB টেক্সট ফাইলের জন্য প্রায় ৪ GB ডিস্ক
- কোনো paid টুল, API key বা আগের deep learning অভিজ্ঞতা লাগবে না
স্বতন্ত্র টিউটোরিয়াল। OpenAI, GitHub, PyTorch, Python বা দেখানো কোনো কোম্পানির সঙ্গে সম্পর্কিত নয়। কোনো অর্থ, স্পনসরশিপ বা ফ্রি পণ্য নেওয়া হয়নি। সব ট্রেডমার্ক তাদের মালিকদের। “GPT” শব্দটি মডেল পরিবারের বর্ণনায় ব্যবহৃত। কোড ও সংখ্যা শিক্ষামূলক, কোনো ওয়ারেন্টি নেই।
[cs] Jak postavit GPT od nuly v Pythonu (201 řádků, 10,7 milionu parametrů)
Python — python.org
PyTorch — pytorch.org
nanoGPT (MIT) — karpathy/nanoGPT
Tiny Shakespeare dataset — karpathy/char-rnn
KAPITOLY
0:00 Proč stavět GPT
0:24 Tokeny a data
0:58 Strop bigramu
1:25 Attention od nuly
2:25 Trénink modelu
3:20 Generování a vzorkování
3:52 Chyby, na které narazíte
4:15 Co dál
Postavíme kompletní znakový GPT v jediném souboru Pythonu: tokenizér, embeddingy, kauzální self-attention, šest vrstev transformeru, ztrátu a trénovací smyčku. 201 řádků a 10 745 088 parametrů, skutečně natrénovaných na RTX 3080.
CO BUDETE POTŘEBOVAT
- Python 3.10 nebo novější (zde 3.13.5) a PyTorch 2.x (zde 2.7.1 s CUDA 11.8)
- Libovolnou GPU NVIDIA s 8 GB nebo více, případně bezplatnou T4 na Colabu; na CPU to běží, ale mnohem pomaleji
- Asi 4 GB místa na disku pro Python, PyTorch a textový soubor o velikosti 1,1 MB
- Žádné placené nástroje, žádný API klíč a žádné předchozí zkušenosti s deep learningem
Nezávislý tutoriál. Není spojen s OpenAI, GitHub, PyTorch, Python ani žádnou zobrazenou firmou. Nebyla přijata žádná platba, sponzorství ani bezplatný produkt. Všechny ochranné známky patří jejich majitelům. „GPT“ je použito popisně pro tuto rodinu modelů. Kód a čísla jsou vzdělávací, bez záruky.
[da] Byg en GPT fra bunden i Python (201 linjer, 10,7 millioner parametre)
Python — python.org
PyTorch — pytorch.org
nanoGPT (MIT) — karpathy/nanoGPT
Tiny Shakespeare dataset — karpathy/char-rnn
KAPITLER
0:00 Hvorfor bygge en GPT
0:24 Tokens og data
0:58 Bigram-loftet
1:25 Attention fra bunden
2:25 Træn modellen
3:20 Generering og sampling
3:52 De fejl du vil møde
4:15 Hvad nu
Vi bygger en komplet tegnbaseret GPT i én Python-fil: tokenizer, embeddings, kausal self-attention, seks transformer-lag, loss og træningsløkke. 201 linjer og 10.745.088 parametre, faktisk trænet på et RTX 3080.
DU SKAL BRUGE
- Python 3.10 eller nyere (her 3.13.5) og PyTorch 2.x (her 2.7.1 med CUDA 11.8)
- Et NVIDIA-kort med 8 GB eller mere, eller en gratis T4 på Colab; på CPU virker det, men meget langsommere
- Cirka 4 GB disk til Python, PyTorch og tekstfilen på 1,1 MB
- Ingen betalingsværktøjer, ingen API-nøgle og ingen tidligere erfaring med deep learning
Uafhængig vejledning. Ikke tilknyttet OpenAI, GitHub, PyTorch, Python eller nogen virksomhed, der vises. Der er ikke modtaget betaling, sponsorat eller gratis produkt. Alle varemærker tilhører deres ejere. »GPT« bruges beskrivende om modelfamilien. Kode og tal er pædagogiske og uden garanti.
[de] Ein GPT von Grund auf in Python bauen (201 Zeilen, 10,7 Mio. Parameter)
Python — python.org
PyTorch — pytorch.org
nanoGPT (MIT) — karpathy/nanoGPT
Tiny Shakespeare dataset — karpathy/char-rnn
KAPITEL
0:00 Warum ein GPT bauen
0:24 Tokens und Daten
0:58 Die Bigramm-Grenze
1:25 Attention von Grund auf
2:25 Das Modell trainieren
3:20 Generierung und Sampling
3:52 Diese Fehler wirst du treffen
4:15 Wie es weitergeht
Wir bauen ein vollständiges zeichenbasiertes GPT in einer einzigen Python-Datei: Tokenizer, Embeddings, kausale Self-Attention, sechs Transformer-Schichten, Loss und Trainingsschleife. 201 Zeilen und 10.745.088 Parameter, wirklich auf einer RTX 3080 trainiert.
VORAUSSETZUNGEN
- Python 3.10 oder neuer (hier 3.13.5) und PyTorch 2.x (hier 2.7.1 mit CUDA 11.8)
- Jede NVIDIA-GPU mit mindestens 8 GB oder eine kostenlose T4 in Colab; auf der CPU läuft es, aber viel langsamer
- Rund 4 GB Speicher für Python, PyTorch und die 1,1-MB-Textdatei
- Keine kostenpflichtigen Tools, kein API-Key und keine Vorkenntnisse in Deep Learning
Unabhängiges Tutorial. Nicht verbunden mit OpenAI, GitHub, PyTorch, Python oder einem gezeigten Unternehmen. Es gab keine Bezahlung, kein Sponsoring und kein kostenloses Produkt. Alle Marken gehören ihren Inhabern. „GPT“ wird beschreibend für die Modellfamilie verwendet. Code und Zahlen dienen der Bildung, ohne Gewähr.
[de-DE] Erstellen Sie einen GPT von Grund auf in Python (201 Zeilen, 10,7 Millionen Parameter)
Offizielle Downloads & Dokumentation:
Python – python.org
PyTorch – pytorch.org
nanoGPT (MIT, Andrej Karpathy) – karpathy/nanoGPT
Tiny Shakespeare-Datensatz – karpathy/char-rnn
KAPITEL
0:00 Warum ein GPT entwickeln?
0:24 Tokens & Daten
0:58 Die Bigramm-Untergrenze
1:25 Attention von Grund auf
2:25 Das Modell trainieren
3:20 Generierung & Sampling
3:52 Mögliche Fehler
4:15 Wie geht es weiter?
WAS SIE ERSTELLEN WERDEN
Ein vollständiges GPT auf Zeichenebene in einer Python-Datei: Tokenizer, Einbettungen, kausale Selbstaufmerksamkeit, ein 6-schichtiger Transformer, Kreuzentropie-Verlust, die Trainingsschleife und Sampling. 201 Zeilen, 10.745.088 Parameter, Vokabular von 65 Zeichen, Kontextfenster von 256 Zeichen.
VORAUSSETZUNGEN
- Python 3.10 oder neuer (diese Version: Python 3.13.5) und PyTorch 2.x (diese Version: 2.7.1 + CUDA 11.8)
- Eine beliebige NVIDIA-GPU mit mindestens 8 GB oder ein kostenloses Colab T4; Die CPU funktioniert, aber das Training ist deutlich langsamer.
- 4 GB Festplattenspeicher für Python, PyTorch und die 1,1 MB große Tiny Shakespeare-Textdatei
- Keine kostenpflichtigen Tools, kein API-Schlüssel, kein Cloud-Konto, keine Vorkenntnisse im Deep Learning erforderlich
- Ca. 25 Minuten: Der 5.000-Schritte-Lauf in diesem Video dauerte auf einer RTX 3080 1.273 Sekunden.
WAS IST DRIN?
Das Video zeigt die Ergebnisse ehrlich: Der Trainingsverlust sinkt von 4,27 auf 0,31, der Validierungsverlust erreicht um Schritt 1.500 ein Minimum von 1,48 und steigt dann auf 2,19, während das Modell den 1-Megabyte-Korpus auswendig lernt. Aufmerksamkeitskarten, Parameteranzahlen und Laufzeiten wurden anhand des im Video trainierten Checkpoints gemessen und nicht aus einer wissenschaftlichen Arbeit übernommen.
Unabhängiges Tutorial. Keine Verbindung zu OpenAI, GitHub, PyTorch, Python oder einem der gezeigten Unternehmen. Es wurden keine Zahlungen, Sponsoring oder kostenlose Produkte erhalten. Alle Markenrechte gehören den jeweiligen Inhabern. „GPT“ wird beschreibend für die Modellfamilie verwendet. Code und Nummern werden zu Schulungszwecken und ohne Gewährleistung bereitgestellt; überprüfen Sie die Versionen vor der Installation anhand der oben genannten offiziellen Quellen.
[el] Φτιάξε ένα GPT από το μηδέν σε Python (201 γραμμές, 10,7 εκατ. παράμετροι)
Python — python.org
PyTorch — pytorch.org
nanoGPT (MIT) — karpathy/nanoGPT
Tiny Shakespeare dataset — karpathy/char-rnn
ΚΕΦΑΛΑΙΑ
0:00 Γιατί να φτιάξεις GPT
0:24 Tokens και δεδομένα
0:58 Το όριο του bigram
1:25 Attention από το μηδέν
2:25 Εκπαίδευση του μοντέλου
3:20 Παραγωγή και δειγματοληψία
3:52 Τα bugs που θα συναντήσεις
4:15 Τι ακολουθεί
Χτίζουμε ένα πλήρες GPT σε επίπεδο χαρακτήρα σε ένα μόνο αρχείο Python: tokenizer, embeddings, αιτιακό self-attention, έξι επίπεδα transformer, συνάρτηση απώλειας και βρόχο εκπαίδευσης. 201 γραμμές και 10.745.088 παράμετροι, εκπαιδευμένοι πραγματικά σε RTX 3080.
ΤΙ ΧΡΕΙΑΖΕΣΑΙ
- Python 3.10 ή νεότερη (εδώ 3.13.5) και PyTorch 2.x (εδώ 2.7.1 με CUDA 11.8)
- Οποιαδήποτε GPU NVIDIA με 8 GB ή περισσότερα, ή δωρεάν T4 στο Colab· σε CPU τρέχει αλλά πολύ πιο αργά
- Περίπου 4 GB δίσκου για Python, PyTorch και το αρχείο κειμένου 1,1 MB
- Χωρίς πληρωμένα εργαλεία, χωρίς API key και χωρίς προηγούμενη εμπειρία σε deep learning
Ανεξάρτητο σεμινάριο. Δεν συνδέεται με την OpenAI, το GitHub, το PyTorch, την Python ή οποιαδήποτε εταιρεία που εμφανίζεται. Δεν ελήφθη πληρωμή, χορηγία ή δωρεάν προϊόν. Όλα τα εμπορικά σήματα ανήκουν στους ιδιοκτήτες τους. Το «GPT» χρησιμοποιείται περιγραφικά για την οικογένεια μοντέλων. Ο κώδικας και τα νούμερα είναι εκπαιδευτικά, χωρίς εγγύηση.
[es] Cómo construir un GPT desde cero en Python (201 líneas, 10,7 M de parámetros)
Python — python.org
PyTorch — pytorch.org
nanoGPT (MIT) — karpathy/nanoGPT
Tiny Shakespeare dataset — karpathy/char-rnn
CAPÍTULOS
0:00 Por qué construir un GPT
0:24 Tokens y datos
0:58 El límite del bigrama
1:25 Atención desde cero
2:25 Entrenar el modelo
3:20 Generación y muestreo
3:52 Errores que encontrarás
4:15 Qué viene después
Creamos un GPT completo a nivel de carácter en un solo archivo de Python: tokenizador, embeddings, autoatención causal, seis capas de transformer, función de pérdida y bucle de entrenamiento. 201 líneas y 10.745.088 parámetros, entrenados de verdad en una RTX 3080.
REQUISITOS
- Python 3.10 o superior (aquí 3.13.5) y PyTorch 2.x (aquí 2.7.1 con CUDA 11.8)
- Cualquier GPU NVIDIA de 8 GB o más, o una T4 gratuita en Colab; en CPU funciona, pero tarda mucho más
- Unos 4 GB de disco para Python, PyTorch y el archivo de texto de 1,1 MB
- Sin herramientas de pago, sin clave de API y sin experiencia previa en deep learning
Tutorial independiente. No está afiliado a OpenAI, GitHub, PyTorch, Python ni a ninguna empresa mostrada. No se recibió pago, patrocinio ni producto gratuito. Todas las marcas pertenecen a sus dueños. «GPT» se usa de forma descriptiva para la familia de modelos. El código y las cifras son educativos y no ofrecen garantía.
[es-US] Crea un GPT desde cero en Python (201 líneas, 10.7M de parámetros)
Descargas y documentación oficiales:
Python — python.org
PyTorch — pytorch.org
nanoGPT (MIT, Andrej Karpathy) — karpathy/nanoGPT
Conjunto de datos Tiny Shakespeare — karpathy/char-rnn
CAPÍTULOS
0:00 ¿Por qué crear un GPT?
0:24 Tokens y datos
0:58 El límite inferior de bigramas
1:25 Atención desde cero
2:25 Entrenamiento del modelo
3:20 Generación y muestreo
3:52 Errores comunes
4:15 Próximos pasos
QUÉ CONSTRUIRÁS
Un GPT completo a nivel de caracteres en un solo archivo Python: tokenizador, incrustaciones, autoatención causal, un transformador de 6 capas, pérdida de entropía cruzada, el bucle de entrenamiento y muestreo. 201 líneas, 10.745.088 parámetros, vocabulario de 65 caracteres, ventana de contexto de 256 caracteres.
REQUISITOS
- Python 3.10 o superior (esta compilación: Python 3.13.5) y PyTorch 2.x (esta compilación: 2.7.1 + CUDA 11.8)
- Cualquier GPU NVIDIA con 8 GB o más, o una Colab T4 gratuita; La CPU funciona, pero el entrenamiento es mucho más lento.
- 4 GB de disco para Python, PyTorch y el archivo de texto Tiny Shakespeare de 1,1 MB.
- No se requieren herramientas de pago, clave API, cuenta en la nube ni experiencia previa en aprendizaje profundo.
- Aproximadamente 25 minutos: la ejecución de 5000 pasos de este video tardó 1273 segundos en una RTX 3080.
CONTENIDO
El video muestra los resultados con transparencia: la pérdida de entrenamiento baja de 4,27 a 0,31, la pérdida de validación alcanza un mínimo de 1,48 alrededor del paso 1500 y luego sube a 2,19 a medida que el modelo memoriza el corpus de un megabyte. Los mapas de atención, el número de parámetros y los tiempos se miden desde el punto de control entrenado en pantalla, no se copian de ningún documento.
Tutorial independiente. No afiliado a OpenAI, GitHub, PyTorch, Python ni a ninguna de las empresas que aparecen en el video. No se recibió ningún pago, patrocinio ni producto gratuito. Todas las marcas registradas pertenecen a sus respectivos propietarios. "GPT" se utiliza como referencia para la familia de modelos. Los códigos y números se proporcionan con fines educativos, sin garantía; verifique las versiones con las fuentes oficiales mencionadas anteriormente antes de la instalación.
[fa] ساخت GPT از صفر با پایتون (۲۰۱ خط، ۱۰٫۷ میلیون پارامتر)
Python — python.org
PyTorch — pytorch.org
nanoGPT (MIT) — karpathy/nanoGPT
Tiny Shakespeare dataset — karpathy/char-rnn
فصلها
0:00 چرا GPT بسازیم
0:24 توکنها و داده
0:58 سقف بیگرام
1:25 توجه از صفر
2:25 آموزش مدل
3:20 تولید و نمونهگیری
3:52 خطاهایی که میبینید
4:15 قدم بعدی
یک GPT کامل در سطح کاراکتر را در یک فایل پایتون میسازیم: توکنایزر، امبدینگ، خودتوجهی علّی، شش لایه ترنسفورمر، تابع خطا و حلقه آموزش. ۲۰۱ خط و ۱۰٬۷۴۵٬۰۸۸ پارامتر که واقعاً روی یک RTX 3080 آموزش دیده است.
چه چیزی لازم دارید
- پایتون ۳٫۱۰ یا جدیدتر (اینجا ۳٫۱۳٫۵) و PyTorch 2.x (اینجا ۲٫۷٫۱ با CUDA 11.8)
- هر کارت NVIDIA با ۸ گیگابایت یا بیشتر، یا T4 رایگان در Colab؛ روی CPU اجرا میشود اما بسیار کندتر
- حدود ۴ گیگابایت فضا برای پایتون، PyTorch و فایل متنی ۱٫۱ مگابایتی
- بدون ابزار پولی، بدون کلید API و بدون تجربه قبلی یادگیری عمیق
آموزش مستقل است. وابسته به OpenAI، GitHub، PyTorch، Python یا هیچ شرکت نمایشدادهشده نیست. هیچ پرداخت، اسپانسری یا محصول رایگانی دریافت نشده است. همه علائم تجاری متعلق به صاحبانشان است. «GPT» بهصورت توصیفی برای این خانواده مدلها به کار رفته است. کد و اعداد آموزشی و بدون ضمانتاند.
[fi] Rakenna GPT alusta asti Pythonilla (201 riviä, 10,7 miljoonaa parametria)
Python — python.org
PyTorch — pytorch.org
nanoGPT (MIT) — karpathy/nanoGPT
Tiny Shakespeare dataset — karpathy/char-rnn
LUVUT
0:00 Miksi rakentaa GPT
0:24 Tokenit ja data
0:58 Bigrammin raja
1:25 Attention alusta asti
2:25 Mallin koulutus
3:20 Generointi ja näytteistys
3:52 Bugsit, joihin törmäät
4:15 Mitä seuraavaksi
Rakennamme täyden merkkipohjaisen GPT:n yhteen Python-tiedostoon: tokenisoija, upotukset, kausaalinen self-attention, kuusi transformer-kerrosta, häviö ja koulutussilmukka. 201 riviä ja 10 745 088 parametria, oikeasti koulutettuna RTX 3080:lla.
TARVITSET
- Python 3.10 tai uudempi (tässä 3.13.5) ja PyTorch 2.x (tässä 2.7.1 CUDA 11.8:lla)
- Minkä tahansa NVIDIA-näytönohjaimen, jossa on vähintään 8 Gt, tai ilmaisen T4:n Colabissa; CPU:lla toimii mutta on paljon hitaampi
- Noin 4 Gt levytilaa Pythonille, PyTorchille ja 1,1 Mt:n tekstitiedostolle
- Ei maksullisia työkaluja, ei API-avainta eikä aiempaa deep learning -kokemusta
Itsenäinen opetusvideo. Ei sidoksissa OpenAI:hin, GitHubiin, PyTorchiin, Pythoniin tai mihinkään esitettyyn yritykseen. Maksua, sponsorointia tai ilmaista tuotetta ei ole vastaanotettu. Kaikki tavaramerkit kuuluvat omistajilleen. ”GPT” viittaa kuvaavasti malliperheeseen. Koodi ja luvut ovat opetuksellisia ilman takuuta.
[fr] Construire un GPT de zéro en Python (201 lignes, 10,7 M de paramètres)
Python — python.org
PyTorch — pytorch.org
nanoGPT (MIT) — karpathy/nanoGPT
Tiny Shakespeare dataset — karpathy/char-rnn
CHAPITRES
0:00 Pourquoi construire un GPT
0:24 Tokens et données
0:58 Le plafond du bigramme
1:25 L'attention depuis zéro
2:25 Entraîner le modèle
3:20 Génération et échantillonnage
3:52 Les bugs que vous rencontrerez
4:15 Et ensuite
Nous écrivons un GPT complet au niveau du caractère dans un seul fichier Python : tokenizer, embeddings, auto-attention causale, six couches de transformer, perte et boucle d'entraînement. 201 lignes et 10 745 088 paramètres, réellement entraînés sur une RTX 3080.
PRÉREQUIS
- Python 3.10 ou plus récent (ici 3.13.5) et PyTorch 2.x (ici 2.7.1 avec CUDA 11.8)
- N'importe quel GPU NVIDIA de 8 Go ou plus, ou un T4 gratuit sur Colab ; sur CPU cela fonctionne mais beaucoup plus lentement
- Environ 4 Go de disque pour Python, PyTorch et le fichier texte de 1,1 Mo
- Aucun outil payant, aucune clé API et aucune expérience préalable en deep learning
Tutoriel indépendant. Non affilié à OpenAI, GitHub, PyTorch, Python ni à aucune entreprise citée. Aucun paiement, parrainage ou produit gratuit n'a été reçu. Toutes les marques appartiennent à leurs propriétaires. « GPT » est utilisé de façon descriptive pour la famille de modèles. Le code et les chiffres sont fournis à titre éducatif, sans garantie.
[fr-FR] Créer un GPT à partir de zéro en Python (201 lignes, 10,7 millions de paramètres)
Téléchargements et documentation officiels :
Python — python.org
PyTorch — pytorch.org
nanoGPT (MIT, Andrej Karpathy) — karpathy/nanoGPT
Jeu de données Tiny Shakespeare — karpathy/char-rnn
CHAPITRES
0:00 Pourquoi créer une GPT ?
0:24 Tokens et données
0:58 Le plancher des bigrammes
1:25 L’attention à partir de zéro
2:25 Entraînement du modèle
3:20 Génération et échantillonnage
3:52 Problèmes rencontrés
4:15 Et ensuite ?
CE QUE VOUS ALLEZ CRÉER
Une GPT complète au niveau des caractères dans un seul fichier Python : tokenizer, plongements lexicaux, auto-attention causale, un transformeur à 6 couches, perte d’entropie croisée, boucle d’entraînement et échantillonnage. 201 lignes, 10 745 088 paramètres, vocabulaire de 65 caractères, fenêtre de contexte de 256 caractères.
PRÉREQUIS :
- Python 3.10 ou version ultérieure (cette version : Python 3.13.5) et PyTorch 2.x (cette version : 2.7.1 + CUDA 11.8)
- Carte graphique NVIDIA avec 8 Go de mémoire ou plus, ou un Colab T4 gratuit. Le processeur fonctionne, mais l'entraînement est beaucoup plus lent.
- 4 Go d'espace disque requis pour Python, PyTorch et le fichier texte Tiny Shakespeare de 1,1 Mo.
- Aucun outil payant, aucune clé API, aucun compte cloud, aucune expérience préalable en apprentissage profond n'est nécessaire.
- Environ 25 minutes : l'exécution de 5 000 étapes présentée dans cette vidéo a duré 1 273 secondes sur une RTX 3080.
CONTENU
La vidéo présente les résultats de manière transparente : la perte d'entraînement chute de 4,27 à 0,31, la perte de validation atteint son minimum à 1,48 autour de l'étape 1 500, puis remonte à 2,19 à mesure que le modèle mémorise le corpus d'un mégaoctet. Les cartes d'attention, le nombre de paramètres et les temps d'exécution sont mesurés à partir du point de contrôle d'entraînement affiché à l'écran, et non extraits d'un article scientifique.
Tutoriel indépendant. Non affilié à OpenAI, GitHub, PyTorch, Python ni à aucune des entreprises mentionnées. Aucun paiement, parrainage ou produit gratuit n'a été reçu. Toutes les marques déposées appartiennent à leurs propriétaires respectifs. « GPT » est utilisé à titre descriptif pour désigner la gamme de modèles. Les codes et numéros sont fournis à des fins pédagogiques, sans garantie ; veuillez vérifier les versions auprès des sources officielles mentionnées ci-dessus avant toute installation.
[gu] Python માં શૂન્યથી GPT બનાવો (201 લાઇન, 10.7 મિલિયન પેરામીટર્સ)
Python — python.org
PyTorch — pytorch.org
nanoGPT (MIT) — karpathy/nanoGPT
Tiny Shakespeare dataset — karpathy/char-rnn
પ્રકરણો
0:00 GPT કેમ બનાવવો
0:24 ટોકન અને ડેટા
0:58 બાયગ્રામની મર્યાદા
1:25 શૂન્યથી attention
2:25 મોડેલની તાલીમ
3:20 જનરેશન અને સેમ્પલિંગ
3:52 તમને મળતા બગ
4:15 આગળ શું
એક જ Python ફાઇલમાં સંપૂર્ણ character-level GPT બનાવીએ છીએ: ટોકનાઇઝર, એમ્બેડિંગ, કોઝલ self-attention, છ ટ્રાન્સફોર્મર સ્તર, લોસ અને તાલીમ લૂપ. 201 લાઇન અને 10,745,088 પેરામીટર્સ, સાચા RTX 3080 પર તાલીમ પામેલા.
શું જરૂરી છે
- Python 3.10 અથવા નવું (અહીં 3.13.5) અને PyTorch 2.x (અહીં CUDA 11.8 સાથે 2.7.1)
- 8 GB કે વધુ ધરાવતું કોઈપણ NVIDIA GPU, અથવા Colab પર મફત T4; CPU પર ચાલે છે પણ ઘણું ધીમું
- Python, PyTorch અને 1.1 MB ટેક્સ્ટ ફાઇલ માટે લગભગ 4 GB ડિસ્ક
- કોઈ પેઇડ ટૂલ, API કી કે પહેલાંનો deep learning અનુભવ જરૂરી નથી
સ્વતંત્ર ટ્યુટોરિયલ. OpenAI, GitHub, PyTorch, Python કે દર્શાવેલી કોઈ કંપની સાથે સંલગ્ન નથી. કોઈ ચુકવણી, પ્રાયોજિતતા કે મફત ઉત્પાદન મળ્યું નથી. બધા ટ્રેડમાર્ક તેમના માલિકોના છે. “GPT” મોડેલ પરિવાર માટે વર્ણનાત્મક રીતે વપરાયું છે. કોડ અને આંકડા શૈક્ષણિક છે, વોરંટી નથી.
[hi] Python में शून्य से GPT बनाएं (201 लाइनें, 10.7 मिलियन पैरामीटर)
Python — python.org
PyTorch — pytorch.org
nanoGPT (MIT) — karpathy/nanoGPT
Tiny Shakespeare dataset — karpathy/char-rnn
अध्याय
0:00 GPT क्यों बनाएं
0:24 टोकन और डेटा
0:58 बाइग्राम की सीमा
1:25 शून्य से attention
2:25 मॉडल का प्रशिक्षण
3:20 जनरेशन और सैंपलिंग
3:52 वे बग जो आपको मिलेंगे
4:15 आगे क्या
एक ही Python फ़ाइल में पूरा character-level GPT बनाते हैं: टोकनाइज़र, एम्बेडिंग, कॉज़ल self-attention, छह ट्रांसफ़ॉर्मर लेयर, लॉस और ट्रेनिंग लूप। 201 लाइनें और 10,745,088 पैरामीटर, असली RTX 3080 पर प्रशिक्षित।
क्या चाहिए
- Python 3.10 या नया (यहाँ 3.13.5) और PyTorch 2.x (यहाँ CUDA 11.8 के साथ 2.7.1)
- 8 GB या अधिक वाला कोई भी NVIDIA GPU, या Colab पर मुफ़्त T4; CPU पर चलता है पर बहुत धीमा है
- Python, PyTorch और 1.1 MB टेक्स्ट फ़ाइल के लिए लगभग 4 GB डिस्क
- कोई paid टूल नहीं, कोई API key नहीं और deep learning का पहले से अनुभव ज़रूरी नहीं
स्वतंत्र ट्यूटोरियल। OpenAI, GitHub, PyTorch, Python या दिखाई गई किसी कंपनी से संबद्ध नहीं। कोई भुगतान, प्रायोजन या मुफ़्त उत्पाद नहीं मिला। सभी ट्रेडमार्क उनके स्वामियों के हैं। “GPT” का उपयोग मॉडल परिवार के लिए वर्णनात्मक रूप से किया गया है। कोड और आंकड़े शैक्षिक हैं, बिना किसी वारंटी के।
[hu] Építs GPT-t a nulláról Pythonban (201 sor, 10,7 millió paraméter)
Python — python.org
PyTorch — pytorch.org
nanoGPT (MIT) — karpathy/nanoGPT
Tiny Shakespeare dataset — karpathy/char-rnn
FEJEZETEK
0:00 Miért építsünk GPT-t
0:24 Tokenek és adatok
0:58 A bigram plafonja
1:25 Attention a nulláról
2:25 A modell tanítása
3:20 Generálás és mintavétel
3:52 Hibák, amelyekbe belefutsz
4:15 Mi jön ezután
Egyetlen Python-fájlban építünk teljes karakter szintű GPT-t: tokenizáló, beágyazások, kauzális self-attention, hat transformer réteg, veszteségfüggvény és tanítási ciklus. 201 sor és 10 745 088 paraméter, valóban RTX 3080-on tanítva.
AMIRE SZÜKSÉGED LESZ
- Python 3.10 vagy újabb (itt 3.13.5) és PyTorch 2.x (itt 2.7.1 CUDA 11.8-cal)
- Bármilyen NVIDIA GPU 8 GB vagy több memóriával, vagy ingyenes T4 a Colabon; CPU-n is fut, de sokkal lassabb
- Kb. 4 GB lemezterület a Pythonhoz, a PyTorchhoz és az 1,1 MB-os szövegfájlhoz
- Nincs fizetős eszköz, nincs API-kulcs és nincs szükség előzetes deep learning tapasztalatra
Független oktatóvideó. Nem áll kapcsolatban az OpenAI-jal, a GitHubbal, a PyTorchhal, a Pythonnal vagy bármely bemutatott vállalattal. Nem kaptunk fizetést, szponzorációt vagy ingyenes terméket. Minden védjegy a tulajdonosáé. A „GPT” leíró jelleggel a modellcsaládra utal. A kód és a számok oktatási célúak, garancia nélkül.
[id] Membuat GPT dari Nol dengan Python (201 baris, 10,7 juta parameter)
Python — python.org
PyTorch — pytorch.org
nanoGPT (MIT) — karpathy/nanoGPT
Tiny Shakespeare dataset — karpathy/char-rnn
BAB
0:00 Mengapa membangun GPT
0:24 Token dan data
0:58 Batas bigram
1:25 Attention dari nol
2:25 Melatih model
3:20 Generasi dan sampling
3:52 Bug yang akan Anda temui
4:15 Selanjutnya
Kami membangun GPT lengkap tingkat karakter dalam satu file Python: tokenizer, embedding, self-attention kausal, enam lapisan transformer, loss, dan loop pelatihan. 201 baris dan 10.745.088 parameter, benar-benar dilatih di RTX 3080.
YANG DIBUTUHKAN
- Python 3.10 atau lebih baru (di sini 3.13.5) dan PyTorch 2.x (di sini 2.7.1 dengan CUDA 11.8)
- GPU NVIDIA 8 GB atau lebih, atau T4 gratis di Colab; di CPU bisa jalan tetapi jauh lebih lambat
- Sekitar 4 GB disk untuk Python, PyTorch, dan file teks 1,1 MB
- Tanpa alat berbayar, tanpa API key, dan tanpa pengalaman deep learning sebelumnya
Tutorial independen. Tidak berafiliasi dengan OpenAI, GitHub, PyTorch, Python, atau perusahaan mana pun yang ditampilkan. Tidak ada pembayaran, sponsor, atau produk gratis yang diterima. Semua merek dagang milik pemiliknya. “GPT” digunakan secara deskriptif untuk keluarga model ini. Kode dan angka bersifat edukatif, tanpa jaminan.
[it] Costruire un GPT da zero in Python (201 righe, 10,7 milioni di parametri)
Python — python.org
PyTorch — pytorch.org
nanoGPT (MIT) — karpathy/nanoGPT
Tiny Shakespeare dataset — karpathy/char-rnn
CAPITOLI
0:00 Perché costruire un GPT
0:24 Token e dati
0:58 Il limite del bigramma
1:25 L'attenzione da zero
2:25 Addestrare il modello
3:20 Generazione e campionamento
3:52 Gli errori che incontrerai
4:15 Cosa viene dopo
Scriviamo un GPT completo a livello di carattere in un solo file Python: tokenizer, embedding, self-attention causale, sei blocchi transformer, loss e ciclo di addestramento. 201 righe e 10.745.088 parametri, addestrati davvero su una RTX 3080.
REQUISITI
- Python 3.10 o superiore (qui 3.13.5) e PyTorch 2.x (qui 2.7.1 con CUDA 11.8)
- Qualsiasi GPU NVIDIA da 8 GB o più, oppure una T4 gratuita su Colab; su CPU funziona ma è molto più lento
- Circa 4 GB di disco per Python, PyTorch e il file di testo da 1,1 MB
- Nessun tool a pagamento, nessuna chiave API e nessuna esperienza precedente di deep learning
Tutorial indipendente. Non affiliato a OpenAI, GitHub, PyTorch, Python o a qualsiasi azienda mostrata. Nessun pagamento, sponsorizzazione o prodotto gratuito è stato ricevuto. Tutti i marchi appartengono ai rispettivi proprietari. “GPT” è usato in senso descrittivo per la famiglia di modelli. Codice e numeri sono educativi e senza garanzia.
[iw] לבנות GPT מאפס בפייתון (201 שורות, 10.7 מיליון פרמטרים)
Python — python.org
PyTorch — pytorch.org
nanoGPT (MIT) — karpathy/nanoGPT
Tiny Shakespeare dataset — karpathy/char-rnn
פרקים
0:00 למה לבנות GPT
0:24 טוקנים ונתונים
0:58 תקרת הביגרם
1:25 Attention מאפס
2:25 אימון המודל
3:20 יצירה ודגימה
3:52 הבאגים שתפגשו
4:15 מה הלאה
אנחנו בונים GPT שלם ברמת תו בקובץ פייתון אחד: טוקנייזר, אמבדינגים, self-attention סיבתי, שש שכבות טרנספורמר, פונקציית הפסד ולולאת אימון. 201 שורות ו-10,745,088 פרמטרים, שאומנו באמת על RTX 3080.
מה צריך
- פייתון 3.10 ומעלה (כאן 3.13.5) ו-PyTorch 2.x (כאן 2.7.1 עם CUDA 11.8)
- כל כרטיס NVIDIA עם 8GB ומעלה, או T4 חינמי ב-Colab; על CPU זה עובד אבל איטי בהרבה
- כ-4GB דיסק לפייתון, PyTorch וקובץ הטקסט בגודל 1.1MB
- בלי כלים בתשלום, בלי מפתח API ובלי ניסיון קודם בלמידה עמוקה
מדריך עצמאי. אינו קשור ל-OpenAI, GitHub, PyTorch, Python או לכל חברה שמוצגת. לא התקבל תשלום, חסות או מוצר חינם. כל הסימנים המסחריים שייכים לבעליהם. „GPT” משמש כתיאור למשפחת המודלים. הקוד והמספרים הם למטרות חינוך, ללא אחריות.
[ja] PythonでゼロからGPTを作る（201行・1074万パラメータ）
Python — python.org
PyTorch — pytorch.org
nanoGPT (MIT) — karpathy/nanoGPT
Tiny Shakespeare dataset — karpathy/char-rnn
チャプター
0:00 なぜGPTを作るのか
0:24 トークンとデータ
0:58 バイグラムの限界
1:25 アテンションを一から
2:25 モデルの学習
3:20 生成とサンプリング
3:52 つまずくバグ
4:15 次にやること
文字単位のGPTをPythonファイル1つで作り切ります。トークナイザ、埋め込み、因果的self-attention、6層のTransformer、損失関数、学習ループまで。201行・10,745,088パラメータをRTX 3080で実際に学習します。
必要なもの
- Python 3.10以降（本動画は3.13.5）とPyTorch 2.x（本動画はCUDA 11.8版2.7.1）
- 8GB以上のNVIDIA GPU、またはColabの無料T4。CPUでも動きますが大幅に遅くなります
- Python・PyTorch・1.1MBのテキストファイル用に約4GBの空き容量
- 有料ツール、APIキー、深層学習の事前知識は不要です
独立したチュートリアルです。OpenAI、GitHub、PyTorch、Python、および作中に登場する企業とは提携していません。報酬・スポンサー・無償提供は受け取っていません。商標はすべて各所有者に帰属します。「GPT」はモデル系統を指す一般的な名称として用いています。コードと数値は教育目的であり、保証はありません。
[ko] 파이썬으로 GPT 처음부터 만들기 (201줄, 1074만 파라미터)
Python — python.org
PyTorch — pytorch.org
nanoGPT (MIT) — karpathy/nanoGPT
Tiny Shakespeare dataset — karpathy/char-rnn
챕터
0:00 왜 GPT를 만드는가
0:24 토큰과 데이터
0:58 바이그램의 한계
1:25 어텐션을 처음부터
2:25 모델 학습
3:20 생성과 샘플링
3:52 마주치게 될 버그
4:15 다음 단계
문자 단위 GPT를 파이썬 파일 하나로 완성합니다. 토크나이저, 임베딩, 인과적 self-attention, 6층 트랜스포머, 손실 함수, 학습 루프까지. 201줄·10,745,088 파라미터를 RTX 3080에서 실제로 학습합니다.
준비물
- Python 3.10 이상(영상에서는 3.13.5), PyTorch 2.x(영상에서는 CUDA 11.8용 2.7.1)
- 8GB 이상 NVIDIA GPU 또는 Colab 무료 T4. CPU에서도 되지만 훨씬 느립니다
- Python, PyTorch, 1.1MB 텍스트 파일용 약 4GB 디스크
- 유료 도구, API 키, 사전 딥러닝 경험은 필요 없습니다
독립 튜토리얼입니다. OpenAI, GitHub, PyTorch, Python 및 영상에 등장하는 어떤 기업과도 제휴 관계가 없습니다. 금전적 대가, 후원, 무상 제공을 받지 않았습니다. 모든 상표는 각 소유자에게 있습니다. ‘GPT’는 모델 계열을 가리키는 설명적 용도로 사용했습니다. 코드와 수치는 교육 목적이며 보증하지 않습니다.
[mr] Python मध्ये शून्यापासून GPT तयार करा (201 ओळी, 10.7 दशलक्ष पॅरामीटर्स)
Python — python.org
PyTorch — pytorch.org
nanoGPT (MIT) — karpathy/nanoGPT
Tiny Shakespeare dataset — karpathy/char-rnn
प्रकरणे
0:00 GPT का तयार करावा
0:24 टोकन आणि डेटा
0:58 बायग्रामची मर्यादा
1:25 शून्यापासून attention
2:25 मॉडेलचे प्रशिक्षण
3:20 जनरेशन आणि सॅम्पलिंग
3:52 तुम्हाला भेटणारे बग
4:15 पुढे काय
एका Python फाइलमध्ये संपूर्ण character-level GPT तयार करतो: टोकनायझर, एम्बेडिंग्ज, कॉजल self-attention, सहा ट्रान्सफॉर्मर स्तर, लॉस आणि प्रशिक्षण लूप. 201 ओळी आणि 10,745,088 पॅरामीटर्स, खऱ्या RTX 3080 वर प्रशिक्षित.
काय लागेल
- Python 3.10 किंवा नवीन (येथे 3.13.5) आणि PyTorch 2.x (येथे CUDA 11.8 सह 2.7.1)
- 8 GB किंवा अधिक असलेला कोणताही NVIDIA GPU, किंवा Colab वर मोफत T4; CPU वर चालतो पण खूप हळू
- Python, PyTorch आणि 1.1 MB मजकूर फाइलसाठी सुमारे 4 GB डिस्क
- कोणतेही पैसे देऊन घ्यावे लागणारे साधन, API की किंवा आधीचा deep learning अनुभव आवश्यक नाही
स्वतंत्र ट्युटोरियल. OpenAI, GitHub, PyTorch, Python किंवा दाखवलेल्या कोणत्याही कंपनीशी संबंधित नाही. कोणतेही पैसे, प्रायोजकत्व किंवा मोफत उत्पादन घेतले नाही. सर्व ट्रेडमार्क त्यांच्या मालकांचे आहेत. “GPT” मॉडेल कुटुंबासाठी वर्णनात्मक वापरले आहे. कोड आणि आकडे शैक्षणिक आहेत, हमी नाही.
[ms] Membina GPT dari Kosong dalam Python (201 baris, 10.7 juta parameter)
Python — python.org
PyTorch — pytorch.org
nanoGPT (MIT) — karpathy/nanoGPT
Tiny Shakespeare dataset — karpathy/char-rnn
BAB
0:00 Mengapa membina GPT
0:24 Token dan data
0:58 Had bigram
1:25 Attention dari kosong
2:25 Melatih model
3:20 Penjanaan dan persampelan
3:52 Pepijat yang akan anda jumpa
4:15 Apa seterusnya
Kami membina GPT lengkap peringkat aksara dalam satu fail Python: tokenizer, embedding, self-attention kausal, enam lapisan transformer, loss dan gelung latihan. 201 baris dan 10,745,088 parameter, benar-benar dilatih pada RTX 3080.
APA YANG DIPERLUKAN
- Python 3.10 atau lebih baharu (di sini 3.13.5) dan PyTorch 2.x (di sini 2.7.1 dengan CUDA 11.8)
- Mana-mana GPU NVIDIA 8 GB atau lebih, atau T4 percuma di Colab; pada CPU ia berjalan tetapi jauh lebih perlahan
- Kira-kira 4 GB cakera untuk Python, PyTorch dan fail teks 1.1 MB
- Tiada alat berbayar, tiada kunci API dan tiada pengalaman deep learning terdahulu
Tutorial bebas. Tidak bergabung dengan OpenAI, GitHub, PyTorch, Python atau mana-mana syarikat yang ditunjukkan. Tiada bayaran, penajaan atau produk percuma diterima. Semua tanda dagangan milik pemiliknya. “GPT” digunakan secara deskriptif untuk keluarga model ini. Kod dan nombor adalah untuk pendidikan, tanpa jaminan.
[nl] Zelf een GPT bouwen in Python (201 regels, 10,7 miljoen parameters)
Python — python.org
PyTorch — pytorch.org
nanoGPT (MIT) — karpathy/nanoGPT
Tiny Shakespeare dataset — karpathy/char-rnn
HOOFDSTUKKEN
0:00 Waarom een GPT bouwen
0:24 Tokens en data
0:58 De bigram-grens
1:25 Attention vanaf nul
2:25 Het model trainen
3:20 Genereren en samplen
3:52 De bugs die je tegenkomt
4:15 Wat volgt
We bouwen een compleet character-level GPT in één Python-bestand: tokenizer, embeddings, causale self-attention, zes transformer-lagen, loss en trainingsloop. 201 regels en 10.745.088 parameters, echt getraind op een RTX 3080.
VEREISTEN
- Python 3.10 of nieuwer (hier 3.13.5) en PyTorch 2.x (hier 2.7.1 met CUDA 11.8)
- Elke NVIDIA-GPU met 8 GB of meer, of een gratis T4 in Colab; op CPU werkt het, maar veel langzamer
- Ongeveer 4 GB schijf voor Python, PyTorch en het tekstbestand van 1,1 MB
- Geen betaalde tools, geen API-sleutel en geen ervaring met deep learning nodig
Onafhankelijke tutorial. Niet verbonden aan OpenAI, GitHub, PyTorch, Python of een getoond bedrijf. Er is geen betaling, sponsoring of gratis product ontvangen. Alle handelsmerken zijn eigendom van hun eigenaren. ‘GPT’ wordt beschrijvend gebruikt voor de modelfamilie. Code en cijfers zijn educatief, zonder garantie.
[no] Bygg en GPT fra bunnen av i Python (201 linjer, 10,7 millioner parametere)
Python — python.org
PyTorch — pytorch.org
nanoGPT (MIT) — karpathy/nanoGPT
Tiny Shakespeare dataset — karpathy/char-rnn
KAPITLER
0:00 Hvorfor bygge en GPT
0:24 Tokens og data
0:58 Bigram-taket
1:25 Attention fra bunnen
2:25 Trene modellen
3:20 Generering og sampling
3:52 Feilene du vil møte
4:15 Hva kommer nå
Vi bygger en komplett tegnbasert GPT i én Python-fil: tokenizer, embeddinger, kausal self-attention, seks transformer-lag, tap og treningsløkke. 201 linjer og 10 745 088 parametere, faktisk trent på et RTX 3080.
DU TRENGER
- Python 3.10 eller nyere (her 3.13.5) og PyTorch 2.x (her 2.7.1 med CUDA 11.8)
- Et NVIDIA-kort med 8 GB eller mer, eller en gratis T4 på Colab; på CPU virker det, men mye tregere
- Rundt 4 GB disk til Python, PyTorch og tekstfilen på 1,1 MB
- Ingen betalverkøy, ingen API-nøkkel og ingen erfaring med deep learning fra før
Uavhengig veiledning. Ikke tilknyttet OpenAI, GitHub, PyTorch, Python eller noe selskap som vises. Ingen betaling, sponsing eller gratis produkt er mottatt. Alle varemerker tilhører eierne sine. «GPT» brukes beskrivende om modellfamilien. Kode og tall er pedagogiske og gis uten garanti.
[pa] Python ਵਿੱਚ ਸਿਫ਼ਰ ਤੋਂ GPT ਬਣਾਓ (201 ਲਾਈਨਾਂ, 10.7 ਮਿਲੀਅਨ ਪੈਰਾਮੀਟਰ)
Python — python.org
PyTorch — pytorch.org
nanoGPT (MIT) — karpathy/nanoGPT
Tiny Shakespeare dataset — karpathy/char-rnn
ਅਧਿਆਏ
0:00 GPT ਕਿਉਂ ਬਣਾਈਏ
0:24 ਟੋਕਨ ਅਤੇ ਡੇਟਾ
0:58 ਬਾਈਗ੍ਰਾਮ ਦੀ ਹੱਦ
1:25 ਸਿਫ਼ਰ ਤੋਂ attention
2:25 ਮਾਡਲ ਦੀ ਸਿਖਲਾਈ
3:20 ਜਨਰੇਸ਼ਨ ਅਤੇ ਸੈਂਪਲਿੰਗ
3:52 ਉਹ ਬੱਗ ਜੋ ਤੁਹਾਨੂੰ ਮਿਲਣਗੇ
4:15 ਅੱਗੇ ਕੀ
ਇੱਕ ਹੀ Python ਫ਼ਾਈਲ ਵਿੱਚ ਪੂਰਾ character-level GPT ਬਣਾਉਂਦੇ ਹਾਂ: ਟੋਕਨਾਈਜ਼ਰ, ਐਂਬੈਡਿੰਗ, ਕਾਜ਼ਲ self-attention, ਛੇ ਟ੍ਰਾਂਸਫਾਰਮਰ ਲੇਅਰਾਂ, ਲੌਸ ਅਤੇ ਟ੍ਰੇਨਿੰਗ ਲੂਪ। 201 ਲਾਈਨਾਂ ਅਤੇ 10,745,088 ਪੈਰਾਮੀਟਰ, ਅਸਲੀ RTX 3080 ਉੱਤੇ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ।
ਕੀ ਲੋੜ ਹੈ
- Python 3.10 ਜਾਂ ਨਵਾਂ (ਇੱਥੇ 3.13.5) ਅਤੇ PyTorch 2.x (ਇੱਥੇ CUDA 11.8 ਨਾਲ 2.7.1)
- 8 GB ਜਾਂ ਵੱਧ ਵਾਲਾ ਕੋਈ ਵੀ NVIDIA GPU, ਜਾਂ Colab ਉੱਤੇ ਮੁਫ਼ਤ T4; CPU ਉੱਤੇ ਚੱਲਦਾ ਹੈ ਪਰ ਬਹੁਤ ਹੌਲੀ
- Python, PyTorch ਅਤੇ 1.1 MB ਟੈਕਸਟ ਫ਼ਾਈਲ ਲਈ ਲਗਭਗ 4 GB ਡਿਸਕ
- ਕੋਈ ਪੇਡ ਟੂਲ, API ਕੀ ਜਾਂ ਪਹਿਲਾਂ ਦਾ deep learning ਤਜਰਬਾ ਲੋੜੀਂਦਾ ਨਹੀਂ
ਸੁਤੰਤਰ ਟਿਊਟੋਰੀਅਲ। OpenAI, GitHub, PyTorch, Python ਜਾਂ ਦਿਖਾਈ ਕਿਸੇ ਕੰਪਨੀ ਨਾਲ ਸੰਬੰਧਿਤ ਨਹੀਂ। ਕੋਈ ਭੁਗਤਾਨ, ਸਪਾਂਸਰਸ਼ਿਪ ਜਾਂ ਮੁਫ਼ਤ ਉਤਪਾਦ ਨਹੀਂ ਮਿਲਿਆ। ਸਾਰੇ ਟ੍ਰੇਡਮਾਰਕ ਉਨ੍ਹਾਂ ਦੇ ਮਾਲਕਾਂ ਦੇ ਹਨ। “GPT” ਮਾਡਲ ਪਰਿਵਾਰ ਲਈ ਵਰਣਨਾਤਮਕ ਤੌਰ ’ਤੇ ਵਰਤਿਆ ਗਿਆ ਹੈ। ਕੋਡ ਅਤੇ ਅੰਕੜੇ ਸਿੱਖਿਅਕ ਹਨ, ਵਾਰੰਟੀ ਨਹੀਂ।
[pl] Jak zbudować GPT od zera w Pythonie (201 linii, 10,7 mln parametrów)
Python — python.org
PyTorch — pytorch.org
nanoGPT (MIT) — karpathy/nanoGPT
Tiny Shakespeare dataset — karpathy/char-rnn
ROZDZIAŁY
0:00 Po co budować GPT
0:24 Tokeny i dane
0:58 Granica bigramu
1:25 Attention od zera
2:25 Trening modelu
3:20 Generowanie i próbkowanie
3:52 Błędy, które napotkasz
4:15 Co dalej
Budujemy kompletny GPT znakowy w jednym pliku Pythona: tokenizer, embeddingi, przyczynową self-attention, sześć warstw transformera, funkcję straty i pętlę treningu. 201 linii i 10 745 088 parametrów, naprawdę wytrenowanych na RTX 3080.
WYMAGANIA
- Python 3.10 lub nowszy (tutaj 3.13.5) i PyTorch 2.x (tutaj 2.7.1 z CUDA 11.8)
- Dowolny GPU NVIDIA z 8 GB lub więcej albo darmowa T4 w Colab; na CPU działa, ale znacznie wolniej
- Około 4 GB dysku na Pythona, PyTorch i plik tekstowy 1,1 MB
- Bez płatnych narzędzi, bez klucza API i bez wcześniejszego doświadczenia w deep learningu
Niezależny samouczek. Niepowiązany z OpenAI, GitHub, PyTorch, Python ani żadną pokazaną firmą. Nie otrzymano płatności, sponsorowania ani darmowego produktu. Wszystkie znaki towarowe należą do ich właścicieli. „GPT” użyto opisowo dla rodziny modeli. Kod i liczby mają charakter edukacyjny, bez gwarancji.
[pt] Como construir um GPT do zero em Python (201 linhas, 10,7 milhões de parâmetros)
Python — python.org
PyTorch — pytorch.org
nanoGPT (MIT) — karpathy/nanoGPT
Tiny Shakespeare dataset — karpathy/char-rnn
CAPÍTULOS
0:00 Por que construir um GPT
0:24 Tokens e dados
0:58 O limite do bigrama
1:25 Atenção do zero
2:25 Treinar o modelo
3:20 Geração e amostragem
3:52 Erros que você vai encontrar
4:15 O que vem depois
Montamos um GPT completo em nível de caractere em um único arquivo Python: tokenizador, embeddings, autoatenção causal, seis camadas de transformer, função de perda e loop de treino. 201 linhas e 10.745.088 parâmetros, treinados de verdade em uma RTX 3080.
REQUISITOS
- Python 3.10 ou superior (aqui 3.13.5) e PyTorch 2.x (aqui 2.7.1 com CUDA 11.8)
- Qualquer GPU NVIDIA com 8 GB ou mais, ou uma T4 gratuita no Colab; na CPU funciona, mas é bem mais lento
- Cerca de 4 GB de disco para Python, PyTorch e o arquivo de texto de 1,1 MB
- Sem ferramentas pagas, sem chave de API e sem experiência prévia em deep learning
Tutorial independente. Sem vínculo com OpenAI, GitHub, PyTorch, Python ou qualquer empresa mostrada. Não houve pagamento, patrocínio ou produto gratuito. Todas as marcas pertencem aos seus donos. “GPT” é usado de forma descritiva para a família de modelos. Código e números são educativos e não têm garantia.
[pt-BR] Crie um GPT do zero em Python (201 linhas, 10,7M de parâmetros)
Downloads e documentação oficiais:
Python — python.org
PyTorch — pytorch.org
nanoGPT (MIT, Andrej Karpathy) — karpathy/nanoGPT
Conjunto de dados Tiny Shakespeare — karpathy/char-rnn
CAPÍTULOS
0:00 Por que construir um GPT
0:24 Tokens e dados
0:58 O limite inferior dos bigramas
1:25 Atenção do zero
2:25 Treinando o modelo
3:20 Geração e amostragem
3:52 Bugs que você encontrará
4:15 O que vem a seguir
O QUE VOCÊ VAI CONSTRUIR
Um GPT completo em nível de caractere em um único arquivo Python: tokenizador, embeddings, autoatenção causal, um transformer de 6 camadas, perda de entropia cruzada, o loop de treinamento e amostragem. 201 linhas, 10.745.088 parâmetros, vocabulário de 65 caracteres, janela de contexto de 256 caracteres.
REQUISITOS
- Python 3.10 ou mais recente (esta versão: Python 3.13.5) e PyTorch 2.x (esta versão: 2.7.1 + CUDA 11.8)
- Qualquer GPU NVIDIA com 8 GB ou mais, ou uma Colab T4 gratuita; O processador funciona, mas o treinamento é muito mais lento.
- 4 GB de disco para Python, PyTorch e o arquivo de texto Tiny Shakespeare de 1,1 MB.
- Sem ferramentas pagas, sem chave de API, sem conta na nuvem, sem experiência prévia em aprendizado profundo.
- Cerca de 25 minutos: a execução de 5.000 passos neste vídeo levou 1.273 segundos em uma RTX 3080.
O QUE HÁ DENTRO
O vídeo é honesto sobre o resultado: a perda de treinamento cai de 4,27 para 0,31, a perda de validação atinge o mínimo de 1,48 por volta do passo 1.500 e depois sobe para 2,19 à medida que o modelo memoriza o corpus de um megabyte. Os mapas de atenção, a contagem de parâmetros e os tempos são medidos a partir do checkpoint treinado na tela, não copiados de um artigo.
Tutorial independente. Não afiliado à OpenAI, GitHub, PyTorch, Python ou qualquer empresa mostrada. Nenhum pagamento, patrocínio ou produto gratuito foi recebido. Todas as marcas registradas pertencem aos seus respectivos proprietários. "GPT" é usado descritivamente para a família de modelos. O código e os números são fornecidos para fins educacionais, sem garantia; verifique as versões nas fontes oficiais acima antes de instalar.
[ro] Construiește un GPT de la zero în Python (201 linii, 10,7 milioane de parametri)
Python — python.org
PyTorch — pytorch.org
nanoGPT (MIT) — karpathy/nanoGPT
Tiny Shakespeare dataset — karpathy/char-rnn
CAPITOLE
0:00 De ce să construiești un GPT
0:24 Tokeni și date
0:58 Limita bigramelor
1:25 Attention de la zero
2:25 Antrenarea modelului
3:20 Generare și eșantionare
3:52 Erorile pe care le vei întâlni
4:15 Ce urmează
Construim un GPT complet la nivel de caracter într-un singur fișier Python: tokenizator, embeddings, self-attention cauzal, șase straturi transformer, funcția de pierdere și bucla de antrenare. 201 linii și 10.745.088 parametri, antrenați efectiv pe un RTX 3080.
CE AI NEVOIE
- Python 3.10 sau mai nou (aici 3.13.5) și PyTorch 2.x (aici 2.7.1 cu CUDA 11.8)
- Orice GPU NVIDIA cu 8 GB sau mai mult, sau un T4 gratuit pe Colab; pe CPU funcționează, dar mult mai lent
- Aproximativ 4 GB de disc pentru Python, PyTorch și fișierul text de 1,1 MB
- Fără instrumente plătite, fără cheie API și fără experiență anterioară în deep learning
Tutorial independent. Neafiliat cu OpenAI, GitHub, PyTorch, Python sau orice companie prezentată. Nu s-a primit nicio plată, sponsorizare sau produs gratuit. Toate mărcile aparțin proprietarilor. „GPT” este folosit descriptiv pentru familia de modele. Codul și cifrele sunt educaționale, fără garanție.
[ru] Как собрать GPT с нуля на Python (201 строка, 10,7 млн параметров)
Python — python.org
PyTorch — pytorch.org
nanoGPT (MIT) — karpathy/nanoGPT
Tiny Shakespeare dataset — karpathy/char-rnn
ГЛАВЫ
0:00 Зачем собирать GPT
0:24 Токены и данные
0:58 Предел биграмм
1:25 Attention с нуля
2:25 Обучение модели
3:20 Генерация и сэмплирование
3:52 Ошибки, которые вас ждут
4:15 Что дальше
Собираем полноценный символьный GPT в одном файле Python: токенизатор, эмбеддинги, причинное self-attention, шесть слоёв трансформера, функция потерь и цикл обучения. 201 строка и 10 745 088 параметров, обученных на реальной RTX 3080.
ЧТО НУЖНО
- Python 3.10 или новее (здесь 3.13.5) и PyTorch 2.x (здесь 2.7.1 с CUDA 11.8)
- Любая видеокарта NVIDIA от 8 ГБ или бесплатная T4 в Colab; на CPU работает, но намного медленнее
- Около 4 ГБ на диске для Python, PyTorch и текстового файла на 1,1 МБ
- Без платных инструментов, без API-ключа и без опыта в глубоком обучении
Независимый обучающий ролик. Не связан с OpenAI, GitHub, PyTorch, Python или любой показанной компанией. Оплата, спонсорство или бесплатный продукт не получены. Все торговые марки принадлежат их владельцам. «GPT» используется описательно для семейства моделей. Код и цифры приведены в образовательных целях, без гарантий.
[sv] Bygg en GPT från grunden i Python (201 rader, 10,7 miljoner parametrar)
Python — python.org
PyTorch — pytorch.org
nanoGPT (MIT) — karpathy/nanoGPT
Tiny Shakespeare dataset — karpathy/char-rnn
KAPITEL
0:00 Varför bygga en GPT
0:24 Tokens och data
0:58 Bigram-taket
1:25 Attention från grunden
2:25 Träna modellen
3:20 Generering och sampling
3:52 Buggar du kommer att möta
4:15 Vad händer härnäst
Vi bygger en komplett teckenbaserad GPT i en enda Python-fil: tokenizer, embeddings, kausal self-attention, sex transformer-lager, förlustfunktion och träningsloop. 201 rader och 10 745 088 parametrar, faktiskt tränade på ett RTX 3080.
DU BEHÖVER
- Python 3.10 eller nyare (här 3.13.5) och PyTorch 2.x (här 2.7.1 med CUDA 11.8)
- Ett NVIDIA-grafikkort med 8 GB eller mer, eller en gratis T4 på Colab; på CPU fungerar det men mycket långsammare
- Cirka 4 GB disk för Python, PyTorch och textfilen på 1,1 MB
- Inga betalverktyg, ingen API-nyckel och ingen tidigare erfarenhet av deep learning
Oberoende handledning. Inte knuten till OpenAI, GitHub, PyTorch, Python eller något företag som visas. Ingen betalning, sponsring eller gratis produkt har tagits emot. Alla varumärken tillhör sina ägare. ”GPT” används beskrivande för modellfamiljen. Kod och siffror är pedagogiska och lämnas utan garanti.
[ta] Python-ல் பூஜ்யத்திலிருந்து GPT உருவாக்குதல் (201 வரிகள், 10.7 மில்லியன் அளவுருக்கள்)
Python — python.org
PyTorch — pytorch.org
nanoGPT (MIT) — karpathy/nanoGPT
Tiny Shakespeare dataset — karpathy/char-rnn
அத்தியாயங்கள்
0:00 ஏன் GPT உருவாக்க வேண்டும்
0:24 டோக்கன்கள் மற்றும் தரவு
0:58 பைகிராம் வரம்பு
1:25 பூஜ்யத்திலிருந்து attention
2:25 மாடலைப் பயிற்றுவித்தல்
3:20 உருவாக்கம் மற்றும் மாதிரி எடுத்தல்
3:52 நீங்கள் சந்திக்கும் பிழைகள்
4:15 அடுத்து என்ன
ஒரே Python கோப்பில் முழுமையான character-level GPT உருவாக்குகிறோம்: டோக்கனைசர், எம்பெடிங்குகள், காசல் self-attention, ஆறு டிரான்ஸ்ஃபார்மர் அடுக்குகள், இழப்பு மற்றும் பயிற்சி சுழற்சி. 201 வரிகள், 10,745,088 அளவுருக்கள், உண்மையான RTX 3080-ல் பயிற்றுவிக்கப்பட்டது.
தேவையானவை
- Python 3.10 அல்லது அதற்கு மேல் (இங்கு 3.13.5) மற்றும் PyTorch 2.x (இங்கு CUDA 11.8 உடன் 2.7.1)
- 8 GB அல்லது அதற்கு மேல் உள்ள எந்த NVIDIA GPU அல்லது Colab-ல் இலவச T4; CPU-ல் இயங்கும் ஆனால் மிக மெதுவாக
- P
1 like · 1 comment · 44 views
Mentions
Cambia 3 letras y tu IA lee un repo de GitHub completo (gratis) Cambia tres letras en un enlace de GitHub (hub por ingest) y tu IA recibe el repositorio completo en un solo texto. Gitingest es una herramienta de código abierto (licencia MIT) de Coderamp que convierte cualquier repositorio de Git en un texto listo para pegar en ChatGPT, Claude u otra IA: resumen con tokens estimados, árbol de carpetas y contenido de cada archivo. En el video la probamos con karpathy/nanoGPT en gitingest.com y con su CLI en un contenedor. 📦 Búscalo en GitHub: coderamp-labs/gitingest ⚙️ Comandos: Instalar: pipx install gitingest Repo → digest.txt: gitingest karpathy/nanoGPT Solo archivos de Python: gitingest karpathy/nanoGPT -i '*.py' -o py.txt Ver opciones: gitingest --help Actualizar: pipx upgrade gitingest Desinstalar: pipx uninstall gitingest ⚠️ En gitingest.com el repo se procesa en sus servidores; con el CLI se procesa en tu computadora. Para repos privados necesitas un token de GitHub (--token o GITHUB_TOKEN). Los tokens son estimados. 💬 ¿Dudas? Pregúntame en los comentarios. 🔔 Suscríbete: un repo útil cada día. Datos al 25 oct 2026 · No afiliado al proyecto. #ia #github #opensource #programacion #herramientasgratis
Build a GPT From Scratch in Python (201 Lines, 10.7M Parameters) Official downloads & docs: Python — python.org PyTorch — pytorch.org nanoGPT (MIT, Andrej Karpathy) — karpathy/nanoGPT Tiny Shakespeare dataset — karpathy/char-rnn CHAPTERS 0:00 Why build a GPT 0:24 Tokens & data 0:58 The bigram floor 1:25 Attention from scratch 2:25 Training the model 3:20 Generation & sampling 3:52 Bugs you will hit 4:15 What's next WHAT YOU WILL BUILD A complete character-level GPT in one Python file: tokenizer, embeddings, causal self-attention, a 6-layer transformer, cross-entropy loss, the training loop, and sampling. 201 lines, 10,745,088 parameters, vocabulary of 65 characters, context window of 256 characters. WHAT YOU NEED - Python 3.10 or newer (this build: Python 3.13.5) and PyTorch 2.x (this build: 2.7.1 + CUDA 11.8) - Any NVIDIA GPU with 8 GB or more, or a free Colab T4; CPU works but training is much slower - 4 GB of disk for Python, PyTorch and the 1.1 MB Tiny Shakespeare text file - No paid tools, no API key, no cloud account, no prior deep-learning experience required - About 25 minutes: the 5,000-step run in this video took 1,273 seconds on one RTX 3080 WHAT IS INSIDE The video is honest about the result: training loss falls from 4.27 to 0.31, validation loss bottoms at 1.48 around step 1,500 and then climbs to 2.19 as the model memorises the one-megabyte corpus. Attention maps, parameter counts and timings are measured from the checkpoint trained on screen, not copied from a paper. Independent tutorial. Not affiliated with OpenAI, GitHub, PyTorch, Python or any company shown. No payment, sponsorship or free product was received. All trademarks belong to their owners. "GPT" is used descriptively for the model family. Code and numbers are provided for education, without warranty; verify versions against the official sources above before installing. [ar] كيف تبني نموذج GPT من الصفر بلغة بايثون (201 سطرًا و10.7 مليون معامل) Python — python.org PyTorch — pytorch.org nanoGPT (MIT) — karpathy/nanoGPT Tiny Shakespeare dataset — karpathy/char-rnn الفصول 0:00 لماذا نبني GPT 0:24 الرموز والبيانات 0:58 سقف نموذج الثنائيات 1:25 الانتباه من الصفر 2:25 تدريب النموذج 3:20 التوليد وأخذ العينات 3:52 الأخطاء التي ستواجهها 4:15 ما التالي نبني نموذج GPT كاملًا على مستوى الحروف في ملف بايثون واحد: المُرمِّز، والتضمينات، والانتباه الذاتي السببي، وست طبقات محوّل، ودالة الخسارة، وحلقة التدريب. 201 سطر و10,745,088 معاملًا، دُرِّبت فعليًا على بطاقة RTX 3080. ما تحتاجه - بايثون 3.10 أو أحدث (هنا 3.13.5) وPyTorch 2.x (هنا 2.7.1 مع CUDA 11.8) - أي بطاقة NVIDIA بذاكرة 8 غيغابايت أو أكثر، أو T4 مجانية على Colab؛ يعمل على المعالج لكنه أبطأ بكثير - نحو 4 غيغابايت من القرص لبايثون وPyTorch وملف النص بحجم 1.1 ميغابايت - دون أدوات مدفوعة أو مفتاح API أو خبرة سابقة في التعلم العميق درس مستقل. غير مرتبط بـ OpenAI أو GitHub أو PyTorch أو Python أو أي شركة تظهر في الفيديو. لم نتحصل على أي دفع أو رعاية أو منتج مجاني. جميع العلامات التجارية ملك لأصحابها. استُخدم «GPT» وصفًا لعائلة النماذج. الكود والأرقام لأغراض تعليمية دون ضمان. [bn] Python দিয়ে শূন্য থেকে GPT তৈরি (২০১ লাইন, ১ কোটি ৭ লাখ প্যারামিটার) Python — python.org PyTorch — pytorch.org nanoGPT (MIT) — karpathy/nanoGPT Tiny Shakespeare dataset — karpathy/char-rnn অধ্যায় 0:00 কেন GPT বানাব 0:24 টোকেন ও ডেটা 0:58 বাইগ্রামের সীমা 1:25 শূন্য থেকে attention 2:25 মডেল প্রশিক্ষণ 3:20 জেনারেশন ও স্যাম্পলিং 3:52 যে বাগগুলো পাবেন 4:15 এরপর কী একটি Python ফাইলেই সম্পূর্ণ character-level GPT বানাই: টোকেনাইজার, এমবেডিং, কজাল self-attention, ছয়টি ট্রান্সফর্মার লেয়ার, লস ও ট্রেনিং লুপ। ২০১ লাইন ও ১,০৭,৪৫,০৮৮ প্যারামিটার, সত্যিকারের RTX 3080-এ প্রশিক্ষিত। যা লাগবে - Python 3.10 বা নতুন (এখানে 3.13.5) এবং PyTorch 2.x (এখানে CUDA 11.8 সহ 2.7.1) - ৮ GB বা বেশি ভিডিও মেমরির যেকোনো NVIDIA GPU, অথবা Colab-এ ফ্রি T4; CPU-তেও চলে, তবে অনেক ধীর - Python, PyTorch ও ১.১ MB টেক্সট ফাইলের জন্য প্রায় ৪ GB ডিস্ক - কোনো paid টুল, API key বা আগের deep learning অভিজ্ঞতা লাগবে না স্বতন্ত্র টিউটোরিয়াল। OpenAI, GitHub, PyTorch, Python বা দেখানো কোনো কোম্পানির সঙ্গে সম্পর্কিত নয়। কোনো অর্থ, স্পনসরশিপ বা ফ্রি পণ্য নেওয়া হয়নি। সব ট্রেডমার্ক তাদের মালিকদের। “GPT” শব্দটি মডেল পরিবারের বর্ণনায় ব্যবহৃত। কোড ও সংখ্যা শিক্ষামূলক, কোনো ওয়ারেন্টি নেই। [cs] Jak postavit GPT od nuly v Pythonu (201 řádků, 10,7 milionu parametrů) Python — python.org PyTorch — pytorch.org nanoGPT (MIT) — karpathy/nanoGPT Tiny Shakespeare dataset — karpathy/char-rnn KAPITOLY 0:00 Proč stavět GPT 0:24 Tokeny a data 0:58 Strop bigramu 1:25 Attention od nuly 2:25 Trénink modelu 3:20 Generování a vzorkování 3:52 Chyby, na které narazíte 4:15 Co dál Postavíme kompletní znakový GPT v jediném souboru Pythonu: tokenizér, embeddingy, kauzální self-attention, šest vrstev transformeru, ztrátu a trénovací smyčku. 201 řádků a 10 745 088 parametrů, skutečně natrénovaných na RTX 3080. CO BUDETE POTŘEBOVAT - Python 3.10 nebo novější (zde 3.13.5) a PyTorch 2.x (zde 2.7.1 s CUDA 11.8) - Libovolnou GPU NVIDIA s 8 GB nebo více, případně bezplatnou T4 na Colabu; na CPU to běží, ale mnohem pomaleji - Asi 4 GB místa na disku pro Python, PyTorch a textový soubor o velikosti 1,1 MB - Žádné placené nástroje, žádný API klíč a žádné předchozí zkušenosti s deep learningem Nezávislý tutoriál. Není spojen s OpenAI, GitHub, PyTorch, Python ani žádnou zobrazenou firmou. Nebyla přijata žádná platba, sponzorství ani bezplatný produkt. Všechny ochranné známky patří jejich majitelům. „GPT“ je použito popisně pro tuto rodinu modelů. Kód a čísla jsou vzdělávací, bez záruky. [da] Byg en GPT fra bunden i Python (201 linjer, 10,7 millioner parametre) Python — python.org PyTorch — pytorch.org nanoGPT (MIT) — karpathy/nanoGPT Tiny Shakespeare dataset — karpathy/char-rnn KAPITLER 0:00 Hvorfor bygge en GPT 0:24 Tokens og data 0:58 Bigram-loftet 1:25 Attention fra bunden 2:25 Træn modellen 3:20 Generering og sampling 3:52 De fejl du vil møde 4:15 Hvad nu Vi bygger en komplet tegnbaseret GPT i én Python-fil: tokenizer, embeddings, kausal self-attention, seks transformer-lag, loss og træningsløkke. 201 linjer og 10.745.088 parametre, faktisk trænet på et RTX 3080. DU SKAL BRUGE - Python 3.10 eller nyere (her 3.13.5) og PyTorch 2.x (her 2.7.1 med CUDA 11.8) - Et NVIDIA-kort med 8 GB eller mere, eller en gratis T4 på Colab; på CPU virker det, men meget langsommere - Cirka 4 GB disk til Python, PyTorch og tekstfilen på 1,1 MB - Ingen betalingsværktøjer, ingen API-nøgle og ingen tidligere erfaring med deep learning Uafhængig vejledning. Ikke tilknyttet OpenAI, GitHub, PyTorch, Python eller nogen virksomhed, der vises. Der er ikke modtaget betaling, sponsorat eller gratis produkt. Alle varemærker tilhører deres ejere. »GPT« bruges beskrivende om modelfamilien. Kode og tal er pædagogiske og uden garanti. [de] Ein GPT von Grund auf in Python bauen (201 Zeilen, 10,7 Mio. Parameter) Python — python.org PyTorch — pytorch.org nanoGPT (MIT) — karpathy/nanoGPT Tiny Shakespeare dataset — karpathy/char-rnn KAPITEL 0:00 Warum ein GPT bauen 0:24 Tokens und Daten 0:58 Die Bigramm-Grenze 1:25 Attention von Grund auf 2:25 Das Modell trainieren 3:20 Generierung und Sampling 3:52 Diese Fehler wirst du treffen 4:15 Wie es weitergeht Wir bauen ein vollständiges zeichenbasiertes GPT in einer einzigen Python-Datei: Tokenizer, Embeddings, kausale Self-Attention, sechs Transformer-Schichten, Loss und Trainingsschleife. 201 Zeilen und 10.745.088 Parameter, wirklich auf einer RTX 3080 trainiert. VORAUSSETZUNGEN - Python 3.10 oder neuer (hier 3.13.5) und PyTorch 2.x (hier 2.7.1 mit CUDA 11.8) - Jede NVIDIA-GPU mit mindestens 8 GB oder eine kostenlose T4 in Colab; auf der CPU läuft es, aber viel langsamer - Rund 4 GB Speicher für Python, PyTorch und die 1,1-MB-Textdatei - Keine kostenpflichtigen Tools, kein API-Key und keine Vorkenntnisse in Deep Learning Unabhängiges Tutorial. Nicht verbunden mit OpenAI, GitHub, PyTorch, Python oder einem gezeigten Unternehmen. Es gab keine Bezahlung, kein Sponsoring und kein kostenloses Produkt. Alle Marken gehören ihren Inhabern. „GPT“ wird beschreibend für die Modellfamilie verwendet. Code und Zahlen dienen der Bildung, ohne Gewähr. [de-DE] Erstellen Sie einen GPT von Grund auf in Python (201 Zeilen, 10,7 Millionen Parameter) Offizielle Downloads & Dokumentation: Python – python.org PyTorch – pytorch.org nanoGPT (MIT, Andrej Karpathy) – karpathy/nanoGPT Tiny Shakespeare-Datensatz – karpathy/char-rnn KAPITEL 0:00 Warum ein GPT entwickeln? 0:24 Tokens & Daten 0:58 Die Bigramm-Untergrenze 1:25 Attention von Grund auf 2:25 Das Modell trainieren 3:20 Generierung & Sampling 3:52 Mögliche Fehler 4:15 Wie geht es weiter? WAS SIE ERSTELLEN WERDEN Ein vollständiges GPT auf Zeichenebene in einer Python-Datei: Tokenizer, Einbettungen, kausale Selbstaufmerksamkeit, ein 6-schichtiger Transformer, Kreuzentropie-Verlust, die Trainingsschleife und Sampling. 201 Zeilen, 10.745.088 Parameter, Vokabular von 65 Zeichen, Kontextfenster von 256 Zeichen. VORAUSSETZUNGEN - Python 3.10 oder neuer (diese Version: Python 3.13.5) und PyTorch 2.x (diese Version: 2.7.1 + CUDA 11.8) - Eine beliebige NVIDIA-GPU mit mindestens 8 GB oder ein kostenloses Colab T4; Die CPU funktioniert, aber das Training ist deutlich langsamer. - 4 GB Festplattenspeicher für Python, PyTorch und die 1,1 MB große Tiny Shakespeare-Textdatei - Keine kostenpflichtigen Tools, kein API-Schlüssel, kein Cloud-Konto, keine Vorkenntnisse im Deep Learning erforderlich - Ca. 25 Minuten: Der 5.000-Schritte-Lauf in diesem Video dauerte auf einer RTX 3080 1.273 Sekunden. WAS IST DRIN? Das Video zeigt die Ergebnisse ehrlich: Der Trainingsverlust sinkt von 4,27 auf 0,31, der Validierungsverlust erreicht um Schritt 1.500 ein Minimum von 1,48 und steigt dann auf 2,19, während das Modell den 1-Megabyte-Korpus auswendig lernt. Aufmerksamkeitskarten, Parameteranzahlen und Laufzeiten wurden anhand des im Video trainierten Checkpoints gemessen und nicht aus einer wissenschaftlichen Arbeit übernommen. Unabhängiges Tutorial. Keine Verbindung zu OpenAI, GitHub, PyTorch, Python oder einem der gezeigten Unternehmen. Es wurden keine Zahlungen, Sponsoring oder kostenlose Produkte erhalten. Alle Markenrechte gehören den jeweiligen Inhabern. „GPT“ wird beschreibend für die Modellfamilie verwendet. Code und Nummern werden zu Schulungszwecken und ohne Gewährleistung bereitgestellt; überprüfen Sie die Versionen vor der Installation anhand der oben genannten offiziellen Quellen. [el] Φτιάξε ένα GPT από το μηδέν σε Python (201 γραμμές, 10,7 εκατ. παράμετροι) Python — python.org PyTorch — pytorch.org nanoGPT (MIT) — karpathy/nanoGPT Tiny Shakespeare dataset — karpathy/char-rnn ΚΕΦΑΛΑΙΑ 0:00 Γιατί να φτιάξεις GPT 0:24 Tokens και δεδομένα 0:58 Το όριο του bigram 1:25 Attention από το μηδέν 2:25 Εκπαίδευση του μοντέλου 3:20 Παραγωγή και δειγματοληψία 3:52 Τα bugs που θα συναντήσεις 4:15 Τι ακολουθεί Χτίζουμε ένα πλήρες GPT σε επίπεδο χαρακτήρα σε ένα μόνο αρχείο Python: tokenizer, embeddings, αιτιακό self-attention, έξι επίπεδα transformer, συνάρτηση απώλειας και βρόχο εκπαίδευσης. 201 γραμμές και 10.745.088 παράμετροι, εκπαιδευμένοι πραγματικά σε RTX 3080. ΤΙ ΧΡΕΙΑΖΕΣΑΙ - Python 3.10 ή νεότερη (εδώ 3.13.5) και PyTorch 2.x (εδώ 2.7.1 με CUDA 11.8) - Οποιαδήποτε GPU NVIDIA με 8 GB ή περισσότερα, ή δωρεάν T4 στο Colab· σε CPU τρέχει αλλά πολύ πιο αργά - Περίπου 4 GB δίσκου για Python, PyTorch και το αρχείο κειμένου 1,1 MB - Χωρίς πληρωμένα εργαλεία, χωρίς API key και χωρίς προηγούμενη εμπειρία σε deep learning Ανεξάρτητο σεμινάριο. Δεν συνδέεται με την OpenAI, το GitHub, το PyTorch, την Python ή οποιαδήποτε εταιρεία που εμφανίζεται. Δεν ελήφθη πληρωμή, χορηγία ή δωρεάν προϊόν. Όλα τα εμπορικά σήματα ανήκουν στους ιδιοκτήτες τους. Το «GPT» χρησιμοποιείται περιγραφικά για την οικογένεια μοντέλων. Ο κώδικας και τα νούμερα είναι εκπαιδευτικά, χωρίς εγγύηση. [es] Cómo construir un GPT desde cero en Python (201 líneas, 10,7 M de parámetros) Python — python.org PyTorch — pytorch.org nanoGPT (MIT) — karpathy/nanoGPT Tiny Shakespeare dataset — karpathy/char-rnn CAPÍTULOS 0:00 Por qué construir un GPT 0:24 Tokens y datos 0:58 El límite del bigrama 1:25 Atención desde cero 2:25 Entrenar el modelo 3:20 Generación y muestreo 3:52 Errores que encontrarás 4:15 Qué viene después Creamos un GPT completo a nivel de carácter en un solo archivo de Python: tokenizador, embeddings, autoatención causal, seis capas de transformer, función de pérdida y bucle de entrenamiento. 201 líneas y 10.745.088 parámetros, entrenados de verdad en una RTX 3080. REQUISITOS - Python 3.10 o superior (aquí 3.13.5) y PyTorch 2.x (aquí 2.7.1 con CUDA 11.8) - Cualquier GPU NVIDIA de 8 GB o más, o una T4 gratuita en Colab; en CPU funciona, pero tarda mucho más - Unos 4 GB de disco para Python, PyTorch y el archivo de texto de 1,1 MB - Sin herramientas de pago, sin clave de API y sin experiencia previa en deep learning Tutorial independiente. No está afiliado a OpenAI, GitHub, PyTorch, Python ni a ninguna empresa mostrada. No se recibió pago, patrocinio ni producto gratuito. Todas las marcas pertenecen a sus dueños. «GPT» se usa de forma descriptiva para la familia de modelos. El código y las cifras son educativos y no ofrecen garantía. [es-US] Crea un GPT desde cero en Python (201 líneas, 10.7M de parámetros) Descargas y documentación oficiales: Python — python.org PyTorch — pytorch.org nanoGPT (MIT, Andrej Karpathy) — karpathy/nanoGPT Conjunto de datos Tiny Shakespeare — karpathy/char-rnn CAPÍTULOS 0:00 ¿Por qué crear un GPT? 0:24 Tokens y datos 0:58 El límite inferior de bigramas 1:25 Atención desde cero 2:25 Entrenamiento del modelo 3:20 Generación y muestreo 3:52 Errores comunes 4:15 Próximos pasos QUÉ CONSTRUIRÁS Un GPT completo a nivel de caracteres en un solo archivo Python: tokenizador, incrustaciones, autoatención causal, un transformador de 6 capas, pérdida de entropía cruzada, el bucle de entrenamiento y muestreo. 201 líneas, 10.745.088 parámetros, vocabulario de 65 caracteres, ventana de contexto de 256 caracteres. REQUISITOS - Python 3.10 o superior (esta compilación: Python 3.13.5) y PyTorch 2.x (esta compilación: 2.7.1 + CUDA 11.8) - Cualquier GPU NVIDIA con 8 GB o más, o una Colab T4 gratuita; La CPU funciona, pero el entrenamiento es mucho más lento. - 4 GB de disco para Python, PyTorch y el archivo de texto Tiny Shakespeare de 1,1 MB. - No se requieren herramientas de pago, clave API, cuenta en la nube ni experiencia previa en aprendizaje profundo. - Aproximadamente 25 minutos: la ejecución de 5000 pasos de este video tardó 1273 segundos en una RTX 3080. CONTENIDO El video muestra los resultados con transparencia: la pérdida de entrenamiento baja de 4,27 a 0,31, la pérdida de validación alcanza un mínimo de 1,48 alrededor del paso 1500 y luego sube a 2,19 a medida que el modelo memoriza el corpus de un megabyte. Los mapas de atención, el número de parámetros y los tiempos se miden desde el punto de control entrenado en pantalla, no se copian de ningún documento. Tutorial independiente. No afiliado a OpenAI, GitHub, PyTorch, Python ni a ninguna de las empresas que aparecen en el video. No se recibió ningún pago, patrocinio ni producto gratuito. Todas las marcas registradas pertenecen a sus respectivos propietarios. "GPT" se utiliza como referencia para la familia de modelos. Los códigos y números se proporcionan con fines educativos, sin garantía; verifique las versiones con las fuentes oficiales mencionadas anteriormente antes de la instalación. [fa] ساخت GPT از صفر با پایتون (۲۰۱ خط، ۱۰٫۷ میلیون پارامتر) Python — python.org PyTorch — pytorch.org nanoGPT (MIT) — karpathy/nanoGPT Tiny Shakespeare dataset — karpathy/char-rnn فصلها 0:00 چرا GPT بسازیم 0:24 توکنها و داده 0:58 سقف بیگرام 1:25 توجه از صفر 2:25 آموزش مدل 3:20 تولید و نمونهگیری 3:52 خطاهایی که میبینید 4:15 قدم بعدی یک GPT کامل در سطح کاراکتر را در یک فایل پایتون میسازیم: توکنایزر، امبدینگ، خودتوجهی علّی، شش لایه ترنسفورمر، تابع خطا و حلقه آموزش. ۲۰۱ خط و ۱۰٬۷۴۵٬۰۸۸ پارامتر که واقعاً روی یک RTX 3080 آموزش دیده است. چه چیزی لازم دارید - پایتون ۳٫۱۰ یا جدیدتر (اینجا ۳٫۱۳٫۵) و PyTorch 2.x (اینجا ۲٫۷٫۱ با CUDA 11.8) - هر کارت NVIDIA با ۸ گیگابایت یا بیشتر، یا T4 رایگان در Colab؛ روی CPU اجرا میشود اما بسیار کندتر - حدود ۴ گیگابایت فضا برای پایتون، PyTorch و فایل متنی ۱٫۱ مگابایتی - بدون ابزار پولی، بدون کلید API و بدون تجربه قبلی یادگیری عمیق آموزش مستقل است. وابسته به OpenAI، GitHub، PyTorch، Python یا هیچ شرکت نمایشدادهشده نیست. هیچ پرداخت، اسپانسری یا محصول رایگانی دریافت نشده است. همه علائم تجاری متعلق به صاحبانشان است. «GPT» بهصورت توصیفی برای این خانواده مدلها به کار رفته است. کد و اعداد آموزشی و بدون ضمانتاند. [fi] Rakenna GPT alusta asti Pythonilla (201 riviä, 10,7 miljoonaa parametria) Python — python.org PyTorch — pytorch.org nanoGPT (MIT) — karpathy/nanoGPT Tiny Shakespeare dataset — karpathy/char-rnn LUVUT 0:00 Miksi rakentaa GPT 0:24 Tokenit ja data 0:58 Bigrammin raja 1:25 Attention alusta asti 2:25 Mallin koulutus 3:20 Generointi ja näytteistys 3:52 Bugsit, joihin törmäät 4:15 Mitä seuraavaksi Rakennamme täyden merkkipohjaisen GPT:n yhteen Python-tiedostoon: tokenisoija, upotukset, kausaalinen self-attention, kuusi transformer-kerrosta, häviö ja koulutussilmukka. 201 riviä ja 10 745 088 parametria, oikeasti koulutettuna RTX 3080:lla. TARVITSET - Python 3.10 tai uudempi (tässä 3.13.5) ja PyTorch 2.x (tässä 2.7.1 CUDA 11.8:lla) - Minkä tahansa NVIDIA-näytönohjaimen, jossa on vähintään 8 Gt, tai ilmaisen T4:n Colabissa; CPU:lla toimii mutta on paljon hitaampi - Noin 4 Gt levytilaa Pythonille, PyTorchille ja 1,1 Mt:n tekstitiedostolle - Ei maksullisia työkaluja, ei API-avainta eikä aiempaa deep learning -kokemusta Itsenäinen opetusvideo. Ei sidoksissa OpenAI:hin, GitHubiin, PyTorchiin, Pythoniin tai mihinkään esitettyyn yritykseen. Maksua, sponsorointia tai ilmaista tuotetta ei ole vastaanotettu. Kaikki tavaramerkit kuuluvat omistajilleen. ”GPT” viittaa kuvaavasti malliperheeseen. Koodi ja luvut ovat opetuksellisia ilman takuuta. [fr] Construire un GPT de zéro en Python (201 lignes, 10,7 M de paramètres) Python — python.org PyTorch — pytorch.org nanoGPT (MIT) — karpathy/nanoGPT Tiny Shakespeare dataset — karpathy/char-rnn CHAPITRES 0:00 Pourquoi construire un GPT 0:24 Tokens et données 0:58 Le plafond du bigramme 1:25 L'attention depuis zéro 2:25 Entraîner le modèle 3:20 Génération et échantillonnage 3:52 Les bugs que vous rencontrerez 4:15 Et ensuite Nous écrivons un GPT complet au niveau du caractère dans un seul fichier Python : tokenizer, embeddings, auto-attention causale, six couches de transformer, perte et boucle d'entraînement. 201 lignes et 10 745 088 paramètres, réellement entraînés sur une RTX 3080. PRÉREQUIS - Python 3.10 ou plus récent (ici 3.13.5) et PyTorch 2.x (ici 2.7.1 avec CUDA 11.8) - N'importe quel GPU NVIDIA de 8 Go ou plus, ou un T4 gratuit sur Colab ; sur CPU cela fonctionne mais beaucoup plus lentement - Environ 4 Go de disque pour Python, PyTorch et le fichier texte de 1,1 Mo - Aucun outil payant, aucune clé API et aucune expérience préalable en deep learning Tutoriel indépendant. Non affilié à OpenAI, GitHub, PyTorch, Python ni à aucune entreprise citée. Aucun paiement, parrainage ou produit gratuit n'a été reçu. Toutes les marques appartiennent à leurs propriétaires. « GPT » est utilisé de façon descriptive pour la famille de modèles. Le code et les chiffres sont fournis à titre éducatif, sans garantie. [fr-FR] Créer un GPT à partir de zéro en Python (201 lignes, 10,7 millions de paramètres) Téléchargements et documentation officiels : Python — python.org PyTorch — pytorch.org nanoGPT (MIT, Andrej Karpathy) — karpathy/nanoGPT Jeu de données Tiny Shakespeare — karpathy/char-rnn CHAPITRES 0:00 Pourquoi créer une GPT ? 0:24 Tokens et données 0:58 Le plancher des bigrammes 1:25 L’attention à partir de zéro 2:25 Entraînement du modèle 3:20 Génération et échantillonnage 3:52 Problèmes rencontrés 4:15 Et ensuite ? CE QUE VOUS ALLEZ CRÉER Une GPT complète au niveau des caractères dans un seul fichier Python : tokenizer, plongements lexicaux, auto-attention causale, un transformeur à 6 couches, perte d’entropie croisée, boucle d’entraînement et échantillonnage. 201 lignes, 10 745 088 paramètres, vocabulaire de 65 caractères, fenêtre de contexte de 256 caractères. PRÉREQUIS : - Python 3.10 ou version ultérieure (cette version : Python 3.13.5) et PyTorch 2.x (cette version : 2.7.1 + CUDA 11.8) - Carte graphique NVIDIA avec 8 Go de mémoire ou plus, ou un Colab T4 gratuit. Le processeur fonctionne, mais l'entraînement est beaucoup plus lent. - 4 Go d'espace disque requis pour Python, PyTorch et le fichier texte Tiny Shakespeare de 1,1 Mo. - Aucun outil payant, aucune clé API, aucun compte cloud, aucune expérience préalable en apprentissage profond n'est nécessaire. - Environ 25 minutes : l'exécution de 5 000 étapes présentée dans cette vidéo a duré 1 273 secondes sur une RTX 3080. CONTENU La vidéo présente les résultats de manière transparente : la perte d'entraînement chute de 4,27 à 0,31, la perte de validation atteint son minimum à 1,48 autour de l'étape 1 500, puis remonte à 2,19 à mesure que le modèle mémorise le corpus d'un mégaoctet. Les cartes d'attention, le nombre de paramètres et les temps d'exécution sont mesurés à partir du point de contrôle d'entraînement affiché à l'écran, et non extraits d'un article scientifique. Tutoriel indépendant. Non affilié à OpenAI, GitHub, PyTorch, Python ni à aucune des entreprises mentionnées. Aucun paiement, parrainage ou produit gratuit n'a été reçu. Toutes les marques déposées appartiennent à leurs propriétaires respectifs. « GPT » est utilisé à titre descriptif pour désigner la gamme de modèles. Les codes et numéros sont fournis à des fins pédagogiques, sans garantie ; veuillez vérifier les versions auprès des sources officielles mentionnées ci-dessus avant toute installation. [gu] Python માં શૂન્યથી GPT બનાવો (201 લાઇન, 10.7 મિલિયન પેરામીટર્સ) Python — python.org PyTorch — pytorch.org nanoGPT (MIT) — karpathy/nanoGPT Tiny Shakespeare dataset — karpathy/char-rnn પ્રકરણો 0:00 GPT કેમ બનાવવો 0:24 ટોકન અને ડેટા 0:58 બાયગ્રામની મર્યાદા 1:25 શૂન્યથી attention 2:25 મોડેલની તાલીમ 3:20 જનરેશન અને સેમ્પલિંગ 3:52 તમને મળતા બગ 4:15 આગળ શું એક જ Python ફાઇલમાં સંપૂર્ણ character-level GPT બનાવીએ છીએ: ટોકનાઇઝર, એમ્બેડિંગ, કોઝલ self-attention, છ ટ્રાન્સફોર્મર સ્તર, લોસ અને તાલીમ લૂપ. 201 લાઇન અને 10,745,088 પેરામીટર્સ, સાચા RTX 3080 પર તાલીમ પામેલા. શું જરૂરી છે - Python 3.10 અથવા નવું (અહીં 3.13.5) અને PyTorch 2.x (અહીં CUDA 11.8 સાથે 2.7.1) - 8 GB કે વધુ ધરાવતું કોઈપણ NVIDIA GPU, અથવા Colab પર મફત T4; CPU પર ચાલે છે પણ ઘણું ધીમું - Python, PyTorch અને 1.1 MB ટેક્સ્ટ ફાઇલ માટે લગભગ 4 GB ડિસ્ક - કોઈ પેઇડ ટૂલ, API કી કે પહેલાંનો deep learning અનુભવ જરૂરી નથી સ્વતંત્ર ટ્યુટોરિયલ. OpenAI, GitHub, PyTorch, Python કે દર્શાવેલી કોઈ કંપની સાથે સંલગ્ન નથી. કોઈ ચુકવણી, પ્રાયોજિતતા કે મફત ઉત્પાદન મળ્યું નથી. બધા ટ્રેડમાર્ક તેમના માલિકોના છે. “GPT” મોડેલ પરિવાર માટે વર્ણનાત્મક રીતે વપરાયું છે. કોડ અને આંકડા શૈક્ષણિક છે, વોરંટી નથી. [hi] Python में शून्य से GPT बनाएं (201 लाइनें, 10.7 मिलियन पैरामीटर) Python — python.org PyTorch — pytorch.org nanoGPT (MIT) — karpathy/nanoGPT Tiny Shakespeare dataset — karpathy/char-rnn अध्याय 0:00 GPT क्यों बनाएं 0:24 टोकन और डेटा 0:58 बाइग्राम की सीमा 1:25 शून्य से attention 2:25 मॉडल का प्रशिक्षण 3:20 जनरेशन और सैंपलिंग 3:52 वे बग जो आपको मिलेंगे 4:15 आगे क्या एक ही Python फ़ाइल में पूरा character-level GPT बनाते हैं: टोकनाइज़र, एम्बेडिंग, कॉज़ल self-attention, छह ट्रांसफ़ॉर्मर लेयर, लॉस और ट्रेनिंग लूप। 201 लाइनें और 10,745,088 पैरामीटर, असली RTX 3080 पर प्रशिक्षित। क्या चाहिए - Python 3.10 या नया (यहाँ 3.13.5) और PyTorch 2.x (यहाँ CUDA 11.8 के साथ 2.7.1) - 8 GB या अधिक वाला कोई भी NVIDIA GPU, या Colab पर मुफ़्त T4; CPU पर चलता है पर बहुत धीमा है - Python, PyTorch और 1.1 MB टेक्स्ट फ़ाइल के लिए लगभग 4 GB डिस्क - कोई paid टूल नहीं, कोई API key नहीं और deep learning का पहले से अनुभव ज़रूरी नहीं स्वतंत्र ट्यूटोरियल। OpenAI, GitHub, PyTorch, Python या दिखाई गई किसी कंपनी से संबद्ध नहीं। कोई भुगतान, प्रायोजन या मुफ़्त उत्पाद नहीं मिला। सभी ट्रेडमार्क उनके स्वामियों के हैं। “GPT” का उपयोग मॉडल परिवार के लिए वर्णनात्मक रूप से किया गया है। कोड और आंकड़े शैक्षिक हैं, बिना किसी वारंटी के। [hu] Építs GPT-t a nulláról Pythonban (201 sor, 10,7 millió paraméter) Python — python.org PyTorch — pytorch.org nanoGPT (MIT) — karpathy/nanoGPT Tiny Shakespeare dataset — karpathy/char-rnn FEJEZETEK 0:00 Miért építsünk GPT-t 0:24 Tokenek és adatok 0:58 A bigram plafonja 1:25 Attention a nulláról 2:25 A modell tanítása 3:20 Generálás és mintavétel 3:52 Hibák, amelyekbe belefutsz 4:15 Mi jön ezután Egyetlen Python-fájlban építünk teljes karakter szintű GPT-t: tokenizáló, beágyazások, kauzális self-attention, hat transformer réteg, veszteségfüggvény és tanítási ciklus. 201 sor és 10 745 088 paraméter, valóban RTX 3080-on tanítva. AMIRE SZÜKSÉGED LESZ - Python 3.10 vagy újabb (itt 3.13.5) és PyTorch 2.x (itt 2.7.1 CUDA 11.8-cal) - Bármilyen NVIDIA GPU 8 GB vagy több memóriával, vagy ingyenes T4 a Colabon; CPU-n is fut, de sokkal lassabb - Kb. 4 GB lemezterület a Pythonhoz, a PyTorchhoz és az 1,1 MB-os szövegfájlhoz - Nincs fizetős eszköz, nincs API-kulcs és nincs szükség előzetes deep learning tapasztalatra Független oktatóvideó. Nem áll kapcsolatban az OpenAI-jal, a GitHubbal, a PyTorchhal, a Pythonnal vagy bármely bemutatott vállalattal. Nem kaptunk fizetést, szponzorációt vagy ingyenes terméket. Minden védjegy a tulajdonosáé. A „GPT” leíró jelleggel a modellcsaládra utal. A kód és a számok oktatási célúak, garancia nélkül. [id] Membuat GPT dari Nol dengan Python (201 baris, 10,7 juta parameter) Python — python.org PyTorch — pytorch.org nanoGPT (MIT) — karpathy/nanoGPT Tiny Shakespeare dataset — karpathy/char-rnn BAB 0:00 Mengapa membangun GPT 0:24 Token dan data 0:58 Batas bigram 1:25 Attention dari nol 2:25 Melatih model 3:20 Generasi dan sampling 3:52 Bug yang akan Anda temui 4:15 Selanjutnya Kami membangun GPT lengkap tingkat karakter dalam satu file Python: tokenizer, embedding, self-attention kausal, enam lapisan transformer, loss, dan loop pelatihan. 201 baris dan 10.745.088 parameter, benar-benar dilatih di RTX 3080. YANG DIBUTUHKAN - Python 3.10 atau lebih baru (di sini 3.13.5) dan PyTorch 2.x (di sini 2.7.1 dengan CUDA 11.8) - GPU NVIDIA 8 GB atau lebih, atau T4 gratis di Colab; di CPU bisa jalan tetapi jauh lebih lambat - Sekitar 4 GB disk untuk Python, PyTorch, dan file teks 1,1 MB - Tanpa alat berbayar, tanpa API key, dan tanpa pengalaman deep learning sebelumnya Tutorial independen. Tidak berafiliasi dengan OpenAI, GitHub, PyTorch, Python, atau perusahaan mana pun yang ditampilkan. Tidak ada pembayaran, sponsor, atau produk gratis yang diterima. Semua merek dagang milik pemiliknya. “GPT” digunakan secara deskriptif untuk keluarga model ini. Kode dan angka bersifat edukatif, tanpa jaminan. [it] Costruire un GPT da zero in Python (201 righe, 10,7 milioni di parametri) Python — python.org PyTorch — pytorch.org nanoGPT (MIT) — karpathy/nanoGPT Tiny Shakespeare dataset — karpathy/char-rnn CAPITOLI 0:00 Perché costruire un GPT 0:24 Token e dati 0:58 Il limite del bigramma 1:25 L'attenzione da zero 2:25 Addestrare il modello 3:20 Generazione e campionamento 3:52 Gli errori che incontrerai 4:15 Cosa viene dopo Scriviamo un GPT completo a livello di carattere in un solo file Python: tokenizer, embedding, self-attention causale, sei blocchi transformer, loss e ciclo di addestramento. 201 righe e 10.745.088 parametri, addestrati davvero su una RTX 3080. REQUISITI - Python 3.10 o superiore (qui 3.13.5) e PyTorch 2.x (qui 2.7.1 con CUDA 11.8) - Qualsiasi GPU NVIDIA da 8 GB o più, oppure una T4 gratuita su Colab; su CPU funziona ma è molto più lento - Circa 4 GB di disco per Python, PyTorch e il file di testo da 1,1 MB - Nessun tool a pagamento, nessuna chiave API e nessuna esperienza precedente di deep learning Tutorial indipendente. Non affiliato a OpenAI, GitHub, PyTorch, Python o a qualsiasi azienda mostrata. Nessun pagamento, sponsorizzazione o prodotto gratuito è stato ricevuto. Tutti i marchi appartengono ai rispettivi proprietari. “GPT” è usato in senso descrittivo per la famiglia di modelli. Codice e numeri sono educativi e senza garanzia. [iw] לבנות GPT מאפס בפייתון (201 שורות, 10.7 מיליון פרמטרים) Python — python.org PyTorch — pytorch.org nanoGPT (MIT) — karpathy/nanoGPT Tiny Shakespeare dataset — karpathy/char-rnn פרקים 0:00 למה לבנות GPT 0:24 טוקנים ונתונים 0:58 תקרת הביגרם 1:25 Attention מאפס 2:25 אימון המודל 3:20 יצירה ודגימה 3:52 הבאגים שתפגשו 4:15 מה הלאה אנחנו בונים GPT שלם ברמת תו בקובץ פייתון אחד: טוקנייזר, אמבדינגים, self-attention סיבתי, שש שכבות טרנספורמר, פונקציית הפסד ולולאת אימון. 201 שורות ו-10,745,088 פרמטרים, שאומנו באמת על RTX 3080. מה צריך - פייתון 3.10 ומעלה (כאן 3.13.5) ו-PyTorch 2.x (כאן 2.7.1 עם CUDA 11.8) - כל כרטיס NVIDIA עם 8GB ומעלה, או T4 חינמי ב-Colab; על CPU זה עובד אבל איטי בהרבה - כ-4GB דיסק לפייתון, PyTorch וקובץ הטקסט בגודל 1.1MB - בלי כלים בתשלום, בלי מפתח API ובלי ניסיון קודם בלמידה עמוקה מדריך עצמאי. אינו קשור ל-OpenAI, GitHub, PyTorch, Python או לכל חברה שמוצגת. לא התקבל תשלום, חסות או מוצר חינם. כל הסימנים המסחריים שייכים לבעליהם. „GPT” משמש כתיאור למשפחת המודלים. הקוד והמספרים הם למטרות חינוך, ללא אחריות. [ja] PythonでゼロからGPTを作る（201行・1074万パラメータ） Python — python.org PyTorch — pytorch.org nanoGPT (MIT) — karpathy/nanoGPT Tiny Shakespeare dataset — karpathy/char-rnn チャプター 0:00 なぜGPTを作るのか 0:24 トークンとデータ 0:58 バイグラムの限界 1:25 アテンションを一から 2:25 モデルの学習 3:20 生成とサンプリング 3:52 つまずくバグ 4:15 次にやること 文字単位のGPTをPythonファイル1つで作り切ります。トークナイザ、埋め込み、因果的self-attention、6層のTransformer、損失関数、学習ループまで。201行・10,745,088パラメータをRTX 3080で実際に学習します。 必要なもの - Python 3.10以降（本動画は3.13.5）とPyTorch 2.x（本動画はCUDA 11.8版2.7.1） - 8GB以上のNVIDIA GPU、またはColabの無料T4。CPUでも動きますが大幅に遅くなります - Python・PyTorch・1.1MBのテキストファイル用に約4GBの空き容量 - 有料ツール、APIキー、深層学習の事前知識は不要です 独立したチュートリアルです。OpenAI、GitHub、PyTorch、Python、および作中に登場する企業とは提携していません。報酬・スポンサー・無償提供は受け取っていません。商標はすべて各所有者に帰属します。「GPT」はモデル系統を指す一般的な名称として用いています。コードと数値は教育目的であり、保証はありません。 [ko] 파이썬으로 GPT 처음부터 만들기 (201줄, 1074만 파라미터) Python — python.org PyTorch — pytorch.org nanoGPT (MIT) — karpathy/nanoGPT Tiny Shakespeare dataset — karpathy/char-rnn 챕터 0:00 왜 GPT를 만드는가 0:24 토큰과 데이터 0:58 바이그램의 한계 1:25 어텐션을 처음부터 2:25 모델 학습 3:20 생성과 샘플링 3:52 마주치게 될 버그 4:15 다음 단계 문자 단위 GPT를 파이썬 파일 하나로 완성합니다. 토크나이저, 임베딩, 인과적 self-attention, 6층 트랜스포머, 손실 함수, 학습 루프까지. 201줄·10,745,088 파라미터를 RTX 3080에서 실제로 학습합니다. 준비물 - Python 3.10 이상(영상에서는 3.13.5), PyTorch 2.x(영상에서는 CUDA 11.8용 2.7.1) - 8GB 이상 NVIDIA GPU 또는 Colab 무료 T4. CPU에서도 되지만 훨씬 느립니다 - Python, PyTorch, 1.1MB 텍스트 파일용 약 4GB 디스크 - 유료 도구, API 키, 사전 딥러닝 경험은 필요 없습니다 독립 튜토리얼입니다. OpenAI, GitHub, PyTorch, Python 및 영상에 등장하는 어떤 기업과도 제휴 관계가 없습니다. 금전적 대가, 후원, 무상 제공을 받지 않았습니다. 모든 상표는 각 소유자에게 있습니다. ‘GPT’는 모델 계열을 가리키는 설명적 용도로 사용했습니다. 코드와 수치는 교육 목적이며 보증하지 않습니다. [mr] Python मध्ये शून्यापासून GPT तयार करा (201 ओळी, 10.7 दशलक्ष पॅरामीटर्स) Python — python.org PyTorch — pytorch.org nanoGPT (MIT) — karpathy/nanoGPT Tiny Shakespeare dataset — karpathy/char-rnn प्रकरणे 0:00 GPT का तयार करावा 0:24 टोकन आणि डेटा 0:58 बायग्रामची मर्यादा 1:25 शून्यापासून attention 2:25 मॉडेलचे प्रशिक्षण 3:20 जनरेशन आणि सॅम्पलिंग 3:52 तुम्हाला भेटणारे बग 4:15 पुढे काय एका Python फाइलमध्ये संपूर्ण character-level GPT तयार करतो: टोकनायझर, एम्बेडिंग्ज, कॉजल self-attention, सहा ट्रान्सफॉर्मर स्तर, लॉस आणि प्रशिक्षण लूप. 201 ओळी आणि 10,745,088 पॅरामीटर्स, खऱ्या RTX 3080 वर प्रशिक्षित. काय लागेल - Python 3.10 किंवा नवीन (येथे 3.13.5) आणि PyTorch 2.x (येथे CUDA 11.8 सह 2.7.1) - 8 GB किंवा अधिक असलेला कोणताही NVIDIA GPU, किंवा Colab वर मोफत T4; CPU वर चालतो पण खूप हळू - Python, PyTorch आणि 1.1 MB मजकूर फाइलसाठी सुमारे 4 GB डिस्क - कोणतेही पैसे देऊन घ्यावे लागणारे साधन, API की किंवा आधीचा deep learning अनुभव आवश्यक नाही स्वतंत्र ट्युटोरियल. OpenAI, GitHub, PyTorch, Python किंवा दाखवलेल्या कोणत्याही कंपनीशी संबंधित नाही. कोणतेही पैसे, प्रायोजकत्व किंवा मोफत उत्पादन घेतले नाही. सर्व ट्रेडमार्क त्यांच्या मालकांचे आहेत. “GPT” मॉडेल कुटुंबासाठी वर्णनात्मक वापरले आहे. कोड आणि आकडे शैक्षणिक आहेत, हमी नाही. [ms] Membina GPT dari Kosong dalam Python (201 baris, 10.7 juta parameter) Python — python.org PyTorch — pytorch.org nanoGPT (MIT) — karpathy/nanoGPT Tiny Shakespeare dataset — karpathy/char-rnn BAB 0:00 Mengapa membina GPT 0:24 Token dan data 0:58 Had bigram 1:25 Attention dari kosong 2:25 Melatih model 3:20 Penjanaan dan persampelan 3:52 Pepijat yang akan anda jumpa 4:15 Apa seterusnya Kami membina GPT lengkap peringkat aksara dalam satu fail Python: tokenizer, embedding, self-attention kausal, enam lapisan transformer, loss dan gelung latihan. 201 baris dan 10,745,088 parameter, benar-benar dilatih pada RTX 3080. APA YANG DIPERLUKAN - Python 3.10 atau lebih baharu (di sini 3.13.5) dan PyTorch 2.x (di sini 2.7.1 dengan CUDA 11.8) - Mana-mana GPU NVIDIA 8 GB atau lebih, atau T4 percuma di Colab; pada CPU ia berjalan tetapi jauh lebih perlahan - Kira-kira 4 GB cakera untuk Python, PyTorch dan fail teks 1.1 MB - Tiada alat berbayar, tiada kunci API dan tiada pengalaman deep learning terdahulu Tutorial bebas. Tidak bergabung dengan OpenAI, GitHub, PyTorch, Python atau mana-mana syarikat yang ditunjukkan. Tiada bayaran, penajaan atau produk percuma diterima. Semua tanda dagangan milik pemiliknya. “GPT” digunakan secara deskriptif untuk keluarga model ini. Kod dan nombor adalah untuk pendidikan, tanpa jaminan. [nl] Zelf een GPT bouwen in Python (201 regels, 10,7 miljoen parameters) Python — python.org PyTorch — pytorch.org nanoGPT (MIT) — karpathy/nanoGPT Tiny Shakespeare dataset — karpathy/char-rnn HOOFDSTUKKEN 0:00 Waarom een GPT bouwen 0:24 Tokens en data 0:58 De bigram-grens 1:25 Attention vanaf nul 2:25 Het model trainen 3:20 Genereren en samplen 3:52 De bugs die je tegenkomt 4:15 Wat volgt We bouwen een compleet character-level GPT in één Python-bestand: tokenizer, embeddings, causale self-attention, zes transformer-lagen, loss en trainingsloop. 201 regels en 10.745.088 parameters, echt getraind op een RTX 3080. VEREISTEN - Python 3.10 of nieuwer (hier 3.13.5) en PyTorch 2.x (hier 2.7.1 met CUDA 11.8) - Elke NVIDIA-GPU met 8 GB of meer, of een gratis T4 in Colab; op CPU werkt het, maar veel langzamer - Ongeveer 4 GB schijf voor Python, PyTorch en het tekstbestand van 1,1 MB - Geen betaalde tools, geen API-sleutel en geen ervaring met deep learning nodig Onafhankelijke tutorial. Niet verbonden aan OpenAI, GitHub, PyTorch, Python of een getoond bedrijf. Er is geen betaling, sponsoring of gratis product ontvangen. Alle handelsmerken zijn eigendom van hun eigenaren. ‘GPT’ wordt beschrijvend gebruikt voor de modelfamilie. Code en cijfers zijn educatief, zonder garantie. [no] Bygg en GPT fra bunnen av i Python (201 linjer, 10,7 millioner parametere) Python — python.org PyTorch — pytorch.org nanoGPT (MIT) — karpathy/nanoGPT Tiny Shakespeare dataset — karpathy/char-rnn KAPITLER 0:00 Hvorfor bygge en GPT 0:24 Tokens og data 0:58 Bigram-taket 1:25 Attention fra bunnen 2:25 Trene modellen 3:20 Generering og sampling 3:52 Feilene du vil møte 4:15 Hva kommer nå Vi bygger en komplett tegnbasert GPT i én Python-fil: tokenizer, embeddinger, kausal self-attention, seks transformer-lag, tap og treningsløkke. 201 linjer og 10 745 088 parametere, faktisk trent på et RTX 3080. DU TRENGER - Python 3.10 eller nyere (her 3.13.5) og PyTorch 2.x (her 2.7.1 med CUDA 11.8) - Et NVIDIA-kort med 8 GB eller mer, eller en gratis T4 på Colab; på CPU virker det, men mye tregere - Rundt 4 GB disk til Python, PyTorch og tekstfilen på 1,1 MB - Ingen betalverkøy, ingen API-nøkkel og ingen erfaring med deep learning fra før Uavhengig veiledning. Ikke tilknyttet OpenAI, GitHub, PyTorch, Python eller noe selskap som vises. Ingen betaling, sponsing eller gratis produkt er mottatt. Alle varemerker tilhører eierne sine. «GPT» brukes beskrivende om modellfamilien. Kode og tall er pedagogiske og gis uten garanti. [pa] Python ਵਿੱਚ ਸਿਫ਼ਰ ਤੋਂ GPT ਬਣਾਓ (201 ਲਾਈਨਾਂ, 10.7 ਮਿਲੀਅਨ ਪੈਰਾਮੀਟਰ) Python — python.org PyTorch — pytorch.org nanoGPT (MIT) — karpathy/nanoGPT Tiny Shakespeare dataset — karpathy/char-rnn ਅਧਿਆਏ 0:00 GPT ਕਿਉਂ ਬਣਾਈਏ 0:24 ਟੋਕਨ ਅਤੇ ਡੇਟਾ 0:58 ਬਾਈਗ੍ਰਾਮ ਦੀ ਹੱਦ 1:25 ਸਿਫ਼ਰ ਤੋਂ attention 2:25 ਮਾਡਲ ਦੀ ਸਿਖਲਾਈ 3:20 ਜਨਰੇਸ਼ਨ ਅਤੇ ਸੈਂਪਲਿੰਗ 3:52 ਉਹ ਬੱਗ ਜੋ ਤੁਹਾਨੂੰ ਮਿਲਣਗੇ 4:15 ਅੱਗੇ ਕੀ ਇੱਕ ਹੀ Python ਫ਼ਾਈਲ ਵਿੱਚ ਪੂਰਾ character-level GPT ਬਣਾਉਂਦੇ ਹਾਂ: ਟੋਕਨਾਈਜ਼ਰ, ਐਂਬੈਡਿੰਗ, ਕਾਜ਼ਲ self-attention, ਛੇ ਟ੍ਰਾਂਸਫਾਰਮਰ ਲੇਅਰਾਂ, ਲੌਸ ਅਤੇ ਟ੍ਰੇਨਿੰਗ ਲੂਪ। 201 ਲਾਈਨਾਂ ਅਤੇ 10,745,088 ਪੈਰਾਮੀਟਰ, ਅਸਲੀ RTX 3080 ਉੱਤੇ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ। ਕੀ ਲੋੜ ਹੈ - Python 3.10 ਜਾਂ ਨਵਾਂ (ਇੱਥੇ 3.13.5) ਅਤੇ PyTorch 2.x (ਇੱਥੇ CUDA 11.8 ਨਾਲ 2.7.1) - 8 GB ਜਾਂ ਵੱਧ ਵਾਲਾ ਕੋਈ ਵੀ NVIDIA GPU, ਜਾਂ Colab ਉੱਤੇ ਮੁਫ਼ਤ T4; CPU ਉੱਤੇ ਚੱਲਦਾ ਹੈ ਪਰ ਬਹੁਤ ਹੌਲੀ - Python, PyTorch ਅਤੇ 1.1 MB ਟੈਕਸਟ ਫ਼ਾਈਲ ਲਈ ਲਗਭਗ 4 GB ਡਿਸਕ - ਕੋਈ ਪੇਡ ਟੂਲ, API ਕੀ ਜਾਂ ਪਹਿਲਾਂ ਦਾ deep learning ਤਜਰਬਾ ਲੋੜੀਂਦਾ ਨਹੀਂ ਸੁਤੰਤਰ ਟਿਊਟੋਰੀਅਲ। OpenAI, GitHub, PyTorch, Python ਜਾਂ ਦਿਖਾਈ ਕਿਸੇ ਕੰਪਨੀ ਨਾਲ ਸੰਬੰਧਿਤ ਨਹੀਂ। ਕੋਈ ਭੁਗਤਾਨ, ਸਪਾਂਸਰਸ਼ਿਪ ਜਾਂ ਮੁਫ਼ਤ ਉਤਪਾਦ ਨਹੀਂ ਮਿਲਿਆ। ਸਾਰੇ ਟ੍ਰੇਡਮਾਰਕ ਉਨ੍ਹਾਂ ਦੇ ਮਾਲਕਾਂ ਦੇ ਹਨ। “GPT” ਮਾਡਲ ਪਰਿਵਾਰ ਲਈ ਵਰਣਨਾਤਮਕ ਤੌਰ ’ਤੇ ਵਰਤਿਆ ਗਿਆ ਹੈ। ਕੋਡ ਅਤੇ ਅੰਕੜੇ ਸਿੱਖਿਅਕ ਹਨ, ਵਾਰੰਟੀ ਨਹੀਂ। [pl] Jak zbudować GPT od zera w Pythonie (201 linii, 10,7 mln parametrów) Python — python.org PyTorch — pytorch.org nanoGPT (MIT) — karpathy/nanoGPT Tiny Shakespeare dataset — karpathy/char-rnn ROZDZIAŁY 0:00 Po co budować GPT 0:24 Tokeny i dane 0:58 Granica bigramu 1:25 Attention od zera 2:25 Trening modelu 3:20 Generowanie i próbkowanie 3:52 Błędy, które napotkasz 4:15 Co dalej Budujemy kompletny GPT znakowy w jednym pliku Pythona: tokenizer, embeddingi, przyczynową self-attention, sześć warstw transformera, funkcję straty i pętlę treningu. 201 linii i 10 745 088 parametrów, naprawdę wytrenowanych na RTX 3080. WYMAGANIA - Python 3.10 lub nowszy (tutaj 3.13.5) i PyTorch 2.x (tutaj 2.7.1 z CUDA 11.8) - Dowolny GPU NVIDIA z 8 GB lub więcej albo darmowa T4 w Colab; na CPU działa, ale znacznie wolniej - Około 4 GB dysku na Pythona, PyTorch i plik tekstowy 1,1 MB - Bez płatnych narzędzi, bez klucza API i bez wcześniejszego doświadczenia w deep learningu Niezależny samouczek. Niepowiązany z OpenAI, GitHub, PyTorch, Python ani żadną pokazaną firmą. Nie otrzymano płatności, sponsorowania ani darmowego produktu. Wszystkie znaki towarowe należą do ich właścicieli. „GPT” użyto opisowo dla rodziny modeli. Kod i liczby mają charakter edukacyjny, bez gwarancji. [pt] Como construir um GPT do zero em Python (201 linhas, 10,7 milhões de parâmetros) Python — python.org PyTorch — pytorch.org nanoGPT (MIT) — karpathy/nanoGPT Tiny Shakespeare dataset — karpathy/char-rnn CAPÍTULOS 0:00 Por que construir um GPT 0:24 Tokens e dados 0:58 O limite do bigrama 1:25 Atenção do zero 2:25 Treinar o modelo 3:20 Geração e amostragem 3:52 Erros que você vai encontrar 4:15 O que vem depois Montamos um GPT completo em nível de caractere em um único arquivo Python: tokenizador, embeddings, autoatenção causal, seis camadas de transformer, função de perda e loop de treino. 201 linhas e 10.745.088 parâmetros, treinados de verdade em uma RTX 3080. REQUISITOS - Python 3.10 ou superior (aqui 3.13.5) e PyTorch 2.x (aqui 2.7.1 com CUDA 11.8) - Qualquer GPU NVIDIA com 8 GB ou mais, ou uma T4 gratuita no Colab; na CPU funciona, mas é bem mais lento - Cerca de 4 GB de disco para Python, PyTorch e o arquivo de texto de 1,1 MB - Sem ferramentas pagas, sem chave de API e sem experiência prévia em deep learning Tutorial independente. Sem vínculo com OpenAI, GitHub, PyTorch, Python ou qualquer empresa mostrada. Não houve pagamento, patrocínio ou produto gratuito. Todas as marcas pertencem aos seus donos. “GPT” é usado de forma descritiva para a família de modelos. Código e números são educativos e não têm garantia. [pt-BR] Crie um GPT do zero em Python (201 linhas, 10,7M de parâmetros) Downloads e documentação oficiais: Python — python.org PyTorch — pytorch.org nanoGPT (MIT, Andrej Karpathy) — karpathy/nanoGPT Conjunto de dados Tiny Shakespeare — karpathy/char-rnn CAPÍTULOS 0:00 Por que construir um GPT 0:24 Tokens e dados 0:58 O limite inferior dos bigramas 1:25 Atenção do zero 2:25 Treinando o modelo 3:20 Geração e amostragem 3:52 Bugs que você encontrará 4:15 O que vem a seguir O QUE VOCÊ VAI CONSTRUIR Um GPT completo em nível de caractere em um único arquivo Python: tokenizador, embeddings, autoatenção causal, um transformer de 6 camadas, perda de entropia cruzada, o loop de treinamento e amostragem. 201 linhas, 10.745.088 parâmetros, vocabulário de 65 caracteres, janela de contexto de 256 caracteres. REQUISITOS - Python 3.10 ou mais recente (esta versão: Python 3.13.5) e PyTorch 2.x (esta versão: 2.7.1 + CUDA 11.8) - Qualquer GPU NVIDIA com 8 GB ou mais, ou uma Colab T4 gratuita; O processador funciona, mas o treinamento é muito mais lento. - 4 GB de disco para Python, PyTorch e o arquivo de texto Tiny Shakespeare de 1,1 MB. - Sem ferramentas pagas, sem chave de API, sem conta na nuvem, sem experiência prévia em aprendizado profundo. - Cerca de 25 minutos: a execução de 5.000 passos neste vídeo levou 1.273 segundos em uma RTX 3080. O QUE HÁ DENTRO O vídeo é honesto sobre o resultado: a perda de treinamento cai de 4,27 para 0,31, a perda de validação atinge o mínimo de 1,48 por volta do passo 1.500 e depois sobe para 2,19 à medida que o modelo memoriza o corpus de um megabyte. Os mapas de atenção, a contagem de parâmetros e os tempos são medidos a partir do checkpoint treinado na tela, não copiados de um artigo. Tutorial independente. Não afiliado à OpenAI, GitHub, PyTorch, Python ou qualquer empresa mostrada. Nenhum pagamento, patrocínio ou produto gratuito foi recebido. Todas as marcas registradas pertencem aos seus respectivos proprietários. "GPT" é usado descritivamente para a família de modelos. O código e os números são fornecidos para fins educacionais, sem garantia; verifique as versões nas fontes oficiais acima antes de instalar. [ro] Construiește un GPT de la zero în Python (201 linii, 10,7 milioane de parametri) Python — python.org PyTorch — pytorch.org nanoGPT (MIT) — karpathy/nanoGPT Tiny Shakespeare dataset — karpathy/char-rnn CAPITOLE 0:00 De ce să construiești un GPT 0:24 Tokeni și date 0:58 Limita bigramelor 1:25 Attention de la zero 2:25 Antrenarea modelului 3:20 Generare și eșantionare 3:52 Erorile pe care le vei întâlni 4:15 Ce urmează Construim un GPT complet la nivel de caracter într-un singur fișier Python: tokenizator, embeddings, self-attention cauzal, șase straturi transformer, funcția de pierdere și bucla de antrenare. 201 linii și 10.745.088 parametri, antrenați efectiv pe un RTX 3080. CE AI NEVOIE - Python 3.10 sau mai nou (aici 3.13.5) și PyTorch 2.x (aici 2.7.1 cu CUDA 11.8) - Orice GPU NVIDIA cu 8 GB sau mai mult, sau un T4 gratuit pe Colab; pe CPU funcționează, dar mult mai lent - Aproximativ 4 GB de disc pentru Python, PyTorch și fișierul text de 1,1 MB - Fără instrumente plătite, fără cheie API și fără experiență anterioară în deep learning Tutorial independent. Neafiliat cu OpenAI, GitHub, PyTorch, Python sau orice companie prezentată. Nu s-a primit nicio plată, sponsorizare sau produs gratuit. Toate mărcile aparțin proprietarilor. „GPT” este folosit descriptiv pentru familia de modele. Codul și cifrele sunt educaționale, fără garanție. [ru] Как собрать GPT с нуля на Python (201 строка, 10,7 млн параметров) Python — python.org PyTorch — pytorch.org nanoGPT (MIT) — karpathy/nanoGPT Tiny Shakespeare dataset — karpathy/char-rnn ГЛАВЫ 0:00 Зачем собирать GPT 0:24 Токены и данные 0:58 Предел биграмм 1:25 Attention с нуля 2:25 Обучение модели 3:20 Генерация и сэмплирование 3:52 Ошибки, которые вас ждут 4:15 Что дальше Собираем полноценный символьный GPT в одном файле Python: токенизатор, эмбеддинги, причинное self-attention, шесть слоёв трансформера, функция потерь и цикл обучения. 201 строка и 10 745 088 параметров, обученных на реальной RTX 3080. ЧТО НУЖНО - Python 3.10 или новее (здесь 3.13.5) и PyTorch 2.x (здесь 2.7.1 с CUDA 11.8) - Любая видеокарта NVIDIA от 8 ГБ или бесплатная T4 в Colab; на CPU работает, но намного медленнее - Около 4 ГБ на диске для Python, PyTorch и текстового файла на 1,1 МБ - Без платных инструментов, без API-ключа и без опыта в глубоком обучении Независимый обучающий ролик. Не связан с OpenAI, GitHub, PyTorch, Python или любой показанной компанией. Оплата, спонсорство или бесплатный продукт не получены. Все торговые марки принадлежат их владельцам. «GPT» используется описательно для семейства моделей. Код и цифры приведены в образовательных целях, без гарантий. [sv] Bygg en GPT från grunden i Python (201 rader, 10,7 miljoner parametrar) Python — python.org PyTorch — pytorch.org nanoGPT (MIT) — karpathy/nanoGPT Tiny Shakespeare dataset — karpathy/char-rnn KAPITEL 0:00 Varför bygga en GPT 0:24 Tokens och data 0:58 Bigram-taket 1:25 Attention från grunden 2:25 Träna modellen 3:20 Generering och sampling 3:52 Buggar du kommer att möta 4:15 Vad händer härnäst Vi bygger en komplett teckenbaserad GPT i en enda Python-fil: tokenizer, embeddings, kausal self-attention, sex transformer-lager, förlustfunktion och träningsloop. 201 rader och 10 745 088 parametrar, faktiskt tränade på ett RTX 3080. DU BEHÖVER - Python 3.10 eller nyare (här 3.13.5) och PyTorch 2.x (här 2.7.1 med CUDA 11.8) - Ett NVIDIA-grafikkort med 8 GB eller mer, eller en gratis T4 på Colab; på CPU fungerar det men mycket långsammare - Cirka 4 GB disk för Python, PyTorch och textfilen på 1,1 MB - Inga betalverktyg, ingen API-nyckel och ingen tidigare erfarenhet av deep learning Oberoende handledning. Inte knuten till OpenAI, GitHub, PyTorch, Python eller något företag som visas. Ingen betalning, sponsring eller gratis produkt har tagits emot. Alla varumärken tillhör sina ägare. ”GPT” används beskrivande för modellfamiljen. Kod och siffror är pedagogiska och lämnas utan garanti. [ta] Python-ல் பூஜ்யத்திலிருந்து GPT உருவாக்குதல் (201 வரிகள், 10.7 மில்லியன் அளவுருக்கள்) Python — python.org PyTorch — pytorch.org nanoGPT (MIT) — karpathy/nanoGPT Tiny Shakespeare dataset — karpathy/char-rnn அத்தியாயங்கள் 0:00 ஏன் GPT உருவாக்க வேண்டும் 0:24 டோக்கன்கள் மற்றும் தரவு 0:58 பைகிராம் வரம்பு 1:25 பூஜ்யத்திலிருந்து attention 2:25 மாடலைப் பயிற்றுவித்தல் 3:20 உருவாக்கம் மற்றும் மாதிரி எடுத்தல் 3:52 நீங்கள் சந்திக்கும் பிழைகள் 4:15 அடுத்து என்ன ஒரே Python கோப்பில் முழுமையான character-level GPT உருவாக்குகிறோம்: டோக்கனைசர், எம்பெடிங்குகள், காசல் self-attention, ஆறு டிரான்ஸ்ஃபார்மர் அடுக்குகள், இழப்பு மற்றும் பயிற்சி சுழற்சி. 201 வரிகள், 10,745,088 அளவுருக்கள், உண்மையான RTX 3080-ல் பயிற்றுவிக்கப்பட்டது. தேவையானவை - Python 3.10 அல்லது அதற்கு மேல் (இங்கு 3.13.5) மற்றும் PyTorch 2.x (இங்கு CUDA 11.8 உடன் 2.7.1) - 8 GB அல்லது அதற்கு மேல் உள்ள எந்த NVIDIA GPU அல்லது Colab-ல் இலவச T4; CPU-ல் இயங்கும் ஆனால் மிக மெதுவாக - P
无论你是想备战大模型算法面试、做科研实验基线，还是单纯想亲手跑通一次 Pre-training + Fine-tuning 的完整闭环，花一个周末把这 600 行代码敲一遍，胜过看十篇泛泛而谈的综述。 GitHub 仓库：karpathy/nanoGPT 配套手把手教学视频（Let's build GPT）：youtube.com 觉得有用？先 Bookmark（收藏） 留着周末跑代码，也欢迎 Repost（转发） 分享给正在啃 Transformer 源码的朋友！🚀
NanoGPT NanoGPT is another project by Andrej Karpathy. It provides a simple implementation for training and working with GPT-style language models. karpathy/nanoGPT
Isso daí é um µLM no máximo. Pra ter uma noção, o GPT-2 já tinha 124 milhões. E os hiperparâmetros da arquitetura são curiosamente muito próximos do tutorial básico nanoGPT do Karpathy: karpathy/nanogpt t.co
(This is a repo for building a character predictor and playing with it. It's toy, but it's an interesting toy. karpathy/nanogpt )