eugeneyan

How ML System Design Interviews Really Work, Part 1: The 7-Step Method, Scoring & Gotchas ▶ Part 2, case studies (fraud, ETA, feed ranking, LLM agent): youtu.be 🗺 Course map, jump to any lecture: youtu.be 📚 Full playlist: youtube.com How do you answer "design a system that decides which push notifications to send" in 45 minutes, and what is the interviewer actually scoring? This one-hour video teaches the ML system design interview from the ground up, with one running example and intuition first. It covers what the round tests and its common formats, then the seven steps on one question: clarify the goal and turn it into a decision, a label and a metric; design labels that survive delay, selection bias and leakage, and split by time; choose features by freshness and avoid training-serving skew; climb a model ladder from a baseline to gradient boosted trees to deep models; evaluate offline (ranking quality, precision and recall, calibration) and online (A/B tests with guardrails); and serve, monitor and retrain a model that changes its own data. Then how candidates are scored at different levels, how to manage the clock, the mistakes that sink strong candidates, how the same method changes for GenAI and LLM design questions, and how to practise. Video 2 applies the method to four real systems: payment fraud and credit, arrival-time prediction, feed ranking with ads and search, and an LLM support agent. References: Ali Aminian and Alex Xu, "Machine Learning System Design Interview" (ByteByteGo, 2023), ByteByteGoHq/ml-bytebytego ; Chip Huyen, "Designing Machine Learning Systems" (O'Reilly, 2022), chiphuyen/dmls-book ; Chip Huyen, "Machine Learning Systems Design" (2019), chiphuyen/machine-learning-systems-design ; Eugene Yan, "ML design docs" template, eugeneyan/ml-design-docs ; Eugene Yan, "applied-ml" (index of company ML engineering posts), eugeneyan/applied-ml ; D. Sculley et al., "Hidden Technical Debt in Machine Learning Systems" (NeurIPS 2015); Martin Zinkevich, "Rules of Machine Learning: Best Practices for ML Engineering" (Google). Narration: Qwen3-TTS (voice "Aiden"). Animation: ManimGL. Fonts: Google Sans Flex / Code (OFL). The example app and its numbers are hypothetical. The scorecard is a synthesis of public guides, not any company's official rubric. Chapters 0:00 1. What the round tests: two candidates, one question 6:42 2. Clarify and frame: from a business goal to a label 13:09 3. Data and labels: you only see what you sent 19:43 4. Features and a first model: fresh features beat a fancy model 26:21 5. Evaluation: offline picks candidates, online decides 33:28 6. Serving and the loop: drift, delayed labels and exploration 40:11 7. How you are scored: the scorecard, the clock and the levels 46:53 8. The gotchas: the mistakes that sink strong candidates 53:37 9. The GenAI variant, how to practise, and the whole method 👍 If this helped your interview prep, like and subscribe. 💬 Comment the ML design question you were asked (company + prompt) and I may cover it in a future video. #MachineLearning #SystemDesign #MLSystemDesign #InterviewPrep #MLEngineer #AIEngineering #LLM [ar] حقيقة مقابلات تصميم أنظمة تعلم الآلة، الجزء الأول: منهجية الخطوات السبع، نظام التقييم، والخفايا ▶ الجزء الثاني، دراسات حالة (الاحتيال، وقت الوصول المتوقع، ترتيب التغذية، وكيل التعلم الآلي): youtu.be 🗺 خريطة الدورة، الانتقال إلى أي محاضرة: youtu.be 📚 قائمة التشغيل الكاملة: youtube.com كيف تجيب على سؤال "صمم نظامًا يحدد الإشعارات التي يجب إرسالها" في 45 دقيقة، وما هي معايير التقييم الفعلية للمُحاور؟ يُعلّمك هذا الفيديو، الذي مدته ساعة واحدة، كيفية إجراء مقابلة تصميم نظام التعلم الآلي من الصفر، مع مثال عملي وشرح بديهي في البداية. يُغطي الفيديو ما تختبره هذه الجولة وتنسيقاتها الشائعة، ثم الخطوات السبع للإجابة على سؤال واحد: توضيح الهدف وتحويله إلى قرار، وتصنيف، ومقياس؛ تصميم تصنيفات تتحمل التأخير، وتحيز الاختيار، والتسريب، وتقسيمها حسب الوقت؛ اختيار الميزات بناءً على حداثتها وتجنب التحيز في خدمة التدريب؛ يتناول هذا الفيديو كيفية بناء نموذج متدرج من نموذج أساسي إلى أشجار معززة بالتدرج وصولاً إلى نماذج التعلم العميق؛ وتقييمه دون اتصال بالإنترنت (جودة الترتيب، والدقة، والاستدعاء، والمعايرة) وعبر الإنترنت (اختبارات A/B مع ضوابط محددة)؛ وتشغيله ومراقبته وإعادة تدريبه مع تغيير بياناته الخاصة. ثم يشرح كيفية تقييم المرشحين على مستويات مختلفة، وكيفية إدارة الوقت، والأخطاء التي تؤدي إلى فشل المرشحين الأقوياء، وكيف تختلف هذه الطريقة في أسئلة تصميم الذكاء الاصطناعي العام (GenAI) والتعلم الآلي (LLM)، وكيفية التدرب. يطبق الفيديو الثاني هذه الطريقة على أربعة أنظمة حقيقية: الاحتيال في المدفوعات والائتمان، والتنبؤ بوقت الوصول، وترتيب المحتوى في نتائج البحث والإعلانات، ووكيل دعم التعلم الآلي. المراجع: علي أمينيان وأليكس شو، "مقابلة تصميم نظام التعلم الآلي" (ByteByteGo، 2023)، ByteByteGoHq/ml-bytebytego تشيب هويين، "تصميم أنظمة التعلم الآلي" (أورايلي، ٢٠٢٢)، chiphuyen/dmls-book%D8%9B تشيب هويين، "تصميم أنظمة التعلم الآلي" (٢٠١٩)، chiphuyen/machine-learning-systems-design%D8%9B يوجين يان، قالب "وثائق تصميم التعلم الآلي"، eugeneyan/ml-design-docs%D8%9B يوجين يان، "applied-ml" (فهرس منشورات هندسة التعلم الآلي للشركات)، eugeneyan/applied-ml%D8%9B د. سكولي وآخرون، "الديون التقنية الخفية في أنظمة التعلم الآلي" (مؤتمر NeurIPS ٢٠١٥)؛ مارتن زينكفيتش، "قواعد التعلم الآلي: أفضل الممارسات لهندسة التعلم الآلي" (جوجل). التعليق الصوتي: Qwen3-TTS (بصوت "أيدن"). الرسوم المتحركة: ManimGL. الخطوط: Google Sans Flex / Code (OFL). التطبيق الموضح في المثال والأرقام المذكورة فيه افتراضية. بطاقة الأداء هي خلاصة لأدلة عامة، وليست معيارًا رسميًا لأي شركة. الفصول 0:00 1. ما يختبره هذا الاختبار: مرشحان، سؤال واحد 6:42 2. التوضيح والصياغة: من هدف العمل إلى التصنيف 13:09 3. البيانات والتصنيفات: لا ترى إلا ما أرسلته 19:43 4. الميزات والنموذج الأولي: الميزات الجديدة تتفوق على النموذج المتطور 26:21 5. التقييم: اختيار المرشحين يتم خارج الاختبار، والتقييم عبر الإنترنت 33:28 6. التقديم والحلقة: الانحراف، والتصنيفات المتأخرة، والاستكشاف 40:11 7. كيفية احتساب النقاط: بطاقة النتائج، والوقت، والمستويات 46:53 8. الأخطاء الشائعة: الأخطاء التي تُقصي المرشحين الأقوياء 53:37 9. نموذج GenAI، وكيفية التدرب عليه، والمنهجية كاملةً 👍 إذا ساعدك هذا الفيديو في التحضير للمقابلة، فأعجب به واشترك في القناة. 💬 علّق بسؤال تصميم التعلم الآلي الذي طُرح عليك (اسم الشركة + السؤال) وقد أتطرق إليه في فيديو لاحق. #MachineLearning #SystemDesign #MLSystemDesign #InterviewPrep #MLEngineer #AIEngineering #LLM [bn] এমএল সিস্টেম ডিজাইন ইন্টারভিউ আসলে যেভাবে কাজ করে, পর্ব ১: ৭-ধাপ পদ্ধতি, স্কোরিং এবং সম্ভাব্য সমস... ▶ পর্ব ২, কেস স্টাডি (ফ্রড, ETA, ফিড র‍্যাঙ্কিং, LLM এজেন্ট): youtu.be 🗺 কোর্স ম্যাপ, যেকোনো লেকচারে যান: youtu.be 📚 সম্পূর্ণ প্লেলিস্ট: youtube.com আপনি কীভাবে ৪৫ মিনিটে "এমন একটি সিস্টেম ডিজাইন করুন যা সিদ্ধান্ত নেয় কোন পুশ নোটিফিকেশন পাঠাতে হবে" এই প্রশ্নের উত্তর দেবেন, এবং ইন্টারভিউয়ার আসলে কত নম্বর দেন? এই এক ঘণ্টার ভিডিওটি একটি চলমান উদাহরণ এবং সাধারণ ধারণা দিয়ে শুরু থেকে এমএল সিস্টেম ডিজাইন ইন্টারভিউ শেখায়। এটি আলোচনা করে যে এই রাউন্ডে কী পরীক্ষা করা হয় এবং এর সাধারণ ফরম্যাটগুলো কী কী, তারপর একটি প্রশ্নের সাতটি ধাপ: লক্ষ্য স্পষ্ট করা এবং সেটিকে একটি সিদ্ধান্ত, একটি লেবেল এবং একটি মেট্রিক-এ পরিণত করা; এমন লেবেল ডিজাইন করা যা ডিলে, সিলেকশন বায়াস এবং লিকেজ মোকাবিলা করতে পারে এবং সময় অনুযায়ী ভাগ করতে পারে; নতুন ফিচার বেছে নেওয়া এবং ট্রেনিং-সার্ভিং স্কিউ এড়ানো; বেসলাইন থেকে গ্রেডিয়েন্ট বুস্টেড ট্রি হয়ে ডিপ মডেল পর্যন্ত একটি মডেল ল্যাডারে আরোহণ করা; অফলাইনে (র‍্যাঙ্কিং কোয়ালিটি, প্রিসিশন ও রিকল, ক্যালিব্রেশন) এবং অনলাইনে (গার্ডরেল সহ এ/বি টেস্ট) মূল্যায়ন করা; এবং এমন একটি মডেলকে সার্ভ, মনিটর ও রিট্রেইন করা যা তার নিজের ডেটা পরিবর্তন করে। এরপর, বিভিন্ন স্তরে প্রার্থীদের কীভাবে স্কোর করা হয়, কীভাবে ঘড়ি পরিচালনা করতে হয়, কোন ভুলগুলো শক্তিশালী প্রার্থীদের পিছিয়ে দেয়, GenAI এবং LLM ডিজাইন প্রশ্নের জন্য একই পদ্ধতি কীভাবে পরিবর্তিত হয়, এবং কীভাবে অনুশীলন করতে হয়। ভিডিও ২-এ চারটি বাস্তব সিস্টেমে এই পদ্ধতিটি প্রয়োগ করা হয়েছে: পেমেন্ট ফ্রড ও ক্রেডিট, পৌঁছানোর সময়ের পূর্বাভাস, বিজ্ঞাপন ও সার্চ সহ ফিড র‍্যাঙ্কিং, এবং একটি LLM সাপোর্ট এজেন্ট। রেফারেন্স: Ali Aminian and Alex Xu, "Machine Learning System Design Interview" (ByteByteGo, 2023), ByteByteGoHq/ml-bytebytego ; Chip Huyen, "Designing Machine Learning Systems" (O'Reilly, 2022), chiphuyen/dmls-book ; চিপ হুয়েন, "মেশিন লার্নিং সিস্টেমস ডিজাইন" (২০১৯), chiphuyen/machine-learning-systems-design ; ইউজিন ইয়ান, "এমএল ডিজাইন ডক্স" টেমপ্লেট, eugeneyan/ml-design-docs ; ইউজিন ইয়ান, "অ্যাপ্লাইড-এমএল" (কোম্পানির এমএল ইঞ্জিনিয়ারিং পোস্টের সূচী), eugeneyan/applied-ml ; ডি. স্কালি প্রমুখ, "হিডেন টেকনিক্যাল ডেট ইন মেশিন লার্নিং সিস্টেমস" (নিউরিপিএস ২০১৫); মার্টিন জিঙ্কেভিচ, "রুলস অফ মেশিন লার্নিং: বেস্ট প্র্যাকটিসেস ফর এমএল ইঞ্জিনিয়ারিং" (গুগল)। বর্ণনা: কুইন৩-টিটিএস (কণ্ঠ "এইডেন")। অ্যানিমেশন: ম্যানিমজিএল। ফন্ট: গুগল স্যান্স ফ্লেক্স / কোড (ওএফএল)। উদাহরণ অ্যাপ এবং এর সংখ্যাগুলো কাল্পনিক। স্কোরকার্ডটি পাবলিক গাইডগুলোর একটি সংশ্লেষণ, কোনো কোম্পানির আনুষ্ঠানিক রুব্রিক নয়। অধ্যায়সমূহ ০:০০ ১. এই রাউন্ড কী পরীক্ষা করে: দুজন প্রার্থী, একটি প্রশ্ন ৬:৪২ ২. স্পষ্ট করা এবং কাঠামোবদ্ধ করা: একটি ব্যবসায়িক লক্ষ্য থেকে একটি লেবেল পর্যন্ত ১৩:০৯ ৩. ডেটা এবং লেবেল: আপনি শুধু তাই দেখতে পাবেন যা আপনি পাঠিয়েছেন ১৯:৪৩ ৪. ফিচার এবং একটি প্রথম মডেল: নতুন ফিচার একটি আকর্ষণীয় মডেলকে হার মানায় ২৬:২১ ৫. মূল্যায়ন: অফলাইনে প্রার্থী বাছাই করা হয়, অনলাইনে সিদ্ধান্ত নেওয়া হয় ৩৩:২৮ ৬. সার্ভিং এবং লুপ: ড্রিফট, বিলম্বিত লেবেল এবং এক্সপ্লোরেশন ৪০:১১ ৭. আপনাকে কীভাবে স্কোর করা হয়: স্কোরকার্ড, ঘড়ি এবং লেভেলসমূহ ৪৬:৫৩ ৮. সম্ভাব্য ভুলগুলো: যে ভুলগুলো শক্তিশালী প্রার্থীদের ডুবিয়ে দেয় ৫৩:৩৭ ৯. GenAI ভ্যারিয়েন্ট, কীভাবে অনুশীলন করবেন এবং সম্পূর্ণ পদ্ধতি 👍 যদি এটি আপনার ইন্টারভিউ প্রস্তুতিতে সাহায্য করে থাকে, তাহলে লাইক এবং সাবস্ক্রাইব করুন। 💬 আপনাকে যে ML ডিজাইন প্রশ্নটি করা হয়েছিল (কোম্পানি + প্রশ্ন) তা কমেন্ট করুন এবং আমি হয়তো ভবিষ্যতের কোনো ভিডিওতে এটি নিয়ে আলোচনা করতে পারি। #MachineLearning #SystemDesign #MLSystemDesign #InterviewPrep #MLEngineer #AIEengineering #LLM [de-DE] Wie Interviews für ML-Systemdesign wirklich ablaufen, Teil 1: Die 7-Schritte-Methode, Bewertung u... ▶ Teil 2, Fallstudien (Betrug, ETA, Feed-Ranking, LLM-Agent): youtu.be 🗺 Kursübersicht, direkt zu jeder Lektion: youtu.be 📚 Vollständige Playlist: youtube.com Wie beantwortet man die Frage „Entwerfen Sie ein System, das entscheidet, welche Push-Benachrichtigungen versendet werden sollen“ in 45 Minuten, und wie bewertet der Interviewer das Ganze? Dieses einstündige Video erklärt das ML-Systemdesign-Interview von Grund auf – anhand eines praktischen Beispiels und intuitiver Erklärungen. Es behandelt die Testkriterien und gängigen Formate der Runde sowie die sieben Schritte zur Beantwortung einer Frage: Ziel klären und in eine Entscheidung, ein Label und eine Metrik umwandeln; Labels entwerfen, die Verzögerungen, Selektionsverzerrungen und Datenlecks standhalten und zeitlich aufgeteilt werden; Merkmale nach Aktualität auswählen und eine Diskrepanz zwischen Trainings- und Bereitstellungsdaten vermeiden; Wir lernen, wie man eine Modellleiter von einem Basismodell über Gradient-Boosting-Bäume bis hin zu tiefen Modellen erklimmt; wie man offline (Rankingqualität, Präzision und Trefferquote, Kalibrierung) und online (A/B-Tests mit Schutzmechanismen) evaluiert; und wie man ein Modell bereitstellt, überwacht und neu trainiert, das seine eigenen Daten verändert. Anschließend wird erklärt, wie Kandidaten auf verschiedenen Ebenen bewertet werden, wie man die Zeit optimal nutzt, welche Fehler starke Kandidaten aussortieren, wie sich dieselbe Methode für GenAI- und LLM-Designfragen anpasst und wie man sie übt. Video 2 wendet die Methode auf vier reale Systeme an: Zahlungsbetrug und Kreditprüfung, Ankunftszeitvorhersage, Feed-Ranking mit Werbung und Suche sowie einen LLM-Support-Agenten. Referenzen: Ali Aminian und Alex Xu, „Machine Learning System Design Interview“ (ByteByteGo, 2023), ByteByteGoHq/ml-bytebytego; Chip Huyen, „Designing Machine Learning Systems“ (O'Reilly, 2022), chiphuyen/dmls-book Chip Huyen, „Machine Learning Systems Design“ (2019), chiphuyen/machine-learning-systems-design; Eugene Yan, „ML design docs“-Vorlage, eugeneyan/ml-design-docs; Eugene Yan, „applied-ml“ (Index der Beiträge von Unternehmen zum Thema Machine Learning Engineering), eugeneyan/applied-ml; D. Sculley et al., „Hidden Technical Debt in Machine Learning Systems“ (NeurIPS 2015); Martin Zinkevich, „Rules of Machine Learning: Best Practices for ML Engineering“ (Google). Sprecher: Qwen3-TTS (Stimme „Aiden“). Animation: ManimGL. Schriftarten: Google Sans Flex / Code (OFL). Die Beispiel-App und ihre Zahlen sind fiktiv. Die Bewertungskriterien basieren auf öffentlich zugänglichen Leitfäden und entsprechen nicht den offiziellen Richtlinien eines Unternehmens. Kapitel 0:00 1. Was die Runde testet: Zwei Kandidaten, eine Frage 6:42 2. Klären und strukturieren: Vom Geschäftsziel zum Label 13:09 3. Daten und Labels: Sie sehen nur, was Sie gesendet haben 19:43 4. Features und ein erstes Modell: Neue Features schlagen ein ausgefeiltes Modell 26:21 5. Bewertung: Offline wählt Kandidaten aus, online entscheidet 33:28 6. Bereitstellung und die Schleife: Drift, verzögerte Labels und Exploration 40:11 7. Wie Sie bewertet werden: Die Scorecard, die Zeitvorgabe und die Level 46:53 8. Die Fallstricke: Die Fehler, die starke Kandidaten aus dem Rennen werfen 53:37 9. Die GenAI-Variante, wie man übt und die gesamte Methode 👍 Wenn Ihnen dieses Video bei der Interviewvorbereitung geholfen hat, liken und abonnieren Sie den Kanal. 💬 Kommentieren Sie die ML-Design-Frage, die Ihnen gestellt wurde (Unternehmen + Aufgabenstellung), und ich werde sie möglicherweise in einem zukünftigen Video behandeln. ... #MachineLearning #SystemDesign #MLSystemDesign #InterviewPrep #MLEngineer #AIEngineering #LLM [es-US] Cómo funcionan realmente las entrevistas de diseño de sistemas de ML, Parte 1: El método de 7 pas... ▶ Parte 2, estudios de caso (fraude, ETA, clasificación de feeds, agente LLM): youtu.be 🗺 Mapa del curso, acceso directo a cualquier lección: youtu.be 📚 Lista de reproducción completa: youtube.com ¿Cómo responder a la pregunta "diseñar un sistema que decida qué notificaciones push enviar" en 45 minutos? ¿Qué evalúa realmente el entrevistador? Este vídeo de una hora explica la entrevista de diseño de sistemas de aprendizaje automático desde cero, comenzando con un ejemplo práctico y una explicación intuitiva. Cubre qué evalúa la ronda y sus formatos comunes, y luego los siete pasos para responder a una pregunta: aclarar el objetivo y convertirlo en una decisión, una etiqueta y una métrica; diseñar etiquetas que resistan retrasos, sesgos de selección y fugas de información, y que se dividan por tiempo; elegir características según su actualidad y evitar la distorsión de datos de entrenamiento. Se analiza cómo evolucionar un modelo desde un modelo base hasta árboles de decisión potenciados por gradiente y modelos profundos; se evalúa offline (calidad de clasificación, precisión y exhaustividad, calibración) y online (pruebas A/B con parámetros de seguridad); y se implementa, monitoriza y reentrena un modelo que modifica sus propios datos. A continuación, se explica cómo se puntúan los candidatos en diferentes niveles, cómo gestionar el tiempo, los errores que perjudican a los candidatos más prometedores, cómo se adapta el mismo método a las preguntas de diseño de GenAI y LLM, y cómo practicar. El vídeo 2 aplica el método a cuatro sistemas reales: fraude en pagos y crédito, predicción de la hora de llegada, clasificación de feeds con anuncios y búsqueda, y un agente de soporte de LLM. Referencias: Ali Aminian y Alex Xu, «Machine Learning System Design Interview» (ByteByteGo, 2023), ByteByteGoHq/ml-bytebytego; Chip Huyen, «Designing Machine Learning Systems» (O'Reilly, 2022), chiphuyen/dmls-book; Chip Huyen, «Diseño de sistemas de aprendizaje automático» (2019), chiphuyen/machine-learning-systems-design; Eugene Yan, plantilla «Documentos de diseño de ML», eugeneyan/ml-design-docs; Eugene Yan, «applied-ml» (índice de publicaciones de ingeniería de aprendizaje automático de la empresa), eugeneyan/applied-ml; D. Sculley et al., «Deuda técnica oculta en sistemas de aprendizaje automático» (NeurIPS 2015); Martin Zinkevich, «Reglas del aprendizaje automático: Mejores prácticas para la ingeniería de ML» (Google). Narración: Qwen3-TTS (voz «Aiden»). Animación: ManimGL. Fuentes: Google Sans Flex / Code (OFL). La aplicación de ejemplo y sus cifras son hipotéticas. La tabla de puntuación es una síntesis de guías públicas, no una rúbrica oficial de ninguna empresa. Capítulos 0:00 1. ¿Qué evalúa la ronda?: dos candidatos, una pregunta 6:42 2. Clarificar y definir: del objetivo de negocio a la etiqueta 13:09 3. Datos y etiquetas: solo ves lo que enviaste 19:43 4. Funcionalidades y un primer modelo: las funcionalidades novedosas superan a un modelo sofisticado 26:21 5. Evaluación: la selección offline de candidatos, la decisión online 33:28 6. El ciclo de evaluación: deriva, etiquetas diferidas y exploración 40:11 7. Cómo se califica: la tarjeta de puntuación, el reloj y los niveles 46:53 8. Los errores clave: los errores que perjudican a los candidatos más fuertes 53:37 9. La variante GenAI, cómo practicar y el método completo 👍 Si esto te ayudó a prepararte para la entrevista, dale a "Me gusta" y suscríbete. 💬 Comenta la pregunta de diseño de ML que te hicieron (empresa + enunciado) y puede que la aborde en un futuro vídeo. #MachineLearning #SystemDesign #MLSystemDesign #InterviewPrep #MLEngineer #AIEngineering #LLM [fr-FR] Comment se déroulent vraiment les entretiens de conception de systèmes ML, partie 1 : la méthode ... ▶ Partie 2, études de cas (fraude, ETA, classement des flux, agent LLM) : youtu.be 🗺 Plan du cours, accès direct à une leçon : youtu.be 📚 Playlist complète : youtube.com Comment répondre à la question « Concevez un système qui décide quelles notifications push envoyer » en 45 minutes, et quels sont les critères d’évaluation de l’intervieweur ? Cette vidéo d’une heure vous apprend à préparer un entretien de conception de systèmes d’apprentissage automatique, en commençant par un exemple concret et une approche intuitive. Elle aborde les tests de l’entretien et leurs formats courants, puis les sept étapes pour répondre à une question : clarifier l’objectif et le transformer en décision, étiquette et métrique ; concevoir des étiquettes résistantes aux délais, aux biais de sélection et aux fuites de données, et segmentées par période ; choisir les caractéristiques en fonction de leur fraîcheur et éviter le déséquilibre entre l’entraînement et le déploiement ; Gravir les échelons de la modélisation, d'un modèle de base aux arbres de décision à gradient boosté, puis aux modèles profonds ; évaluer hors ligne (qualité du classement, précision et rappel, calibration) et en ligne (tests A/B avec garde-fous) ; et déployer, surveiller et réentraîner un modèle qui évolue avec ses propres données. Sont ensuite abordés : la notation des candidats à différents niveaux, la gestion du temps, les erreurs fatales pour les candidats les plus performants, l'adaptation de cette méthode aux questions de conception en IA générale et en apprentissage automatique, et la pratique. La vidéo 2 applique la méthode à quatre systèmes réels : fraude aux paiements et au crédit, prédiction des heures d'arrivée, classement de flux avec publicités et recherche, et un agent de support en apprentissage automatique. Références : Ali Aminian et Alex Xu, « Machine Learning System Design Interview » (ByteByteGo, 2023), ByteByteGoHq/ml-bytebytego ; Chip Huyen, « Designing Machine Learning Systems » (O'Reilly, 2022), chiphuyen/dmls-book ; Chip Huyen, « Machine Learning Systems Design » (2019), chiphuyen/machine-learning-systems-design ; Eugene Yan, « ML design docs », eugeneyan/ml-design-docs ; Eugene Yan, « applied-ml » (index des articles d'ingénierie ML de l'entreprise), eugeneyan/applied-ml ; D. Sculley et al., « Hidden Technical Debt in Machine Learning Systems » (NeurIPS 2015) ; Martin Zinkevich, « Rules of Machine Learning: Best Practices for ML Engineering » (Google). Narration : Qwen3-TTS (voix « Aiden »). Animation : ManimGL. Polices : Google Sans Flex / Code (OFL). L'application d'exemple et ses chiffres sont hypothétiques. Le tableau de bord est une synthèse de guides publics et non un référentiel officiel d'une entreprise. Chapitres 0:00 1. Objectif du tour : deux candidats, une question 6:42 2. Clarification et cadrage : de l’objectif commercial à l’étiquette 13:09 3. Données et étiquettes : vous ne voyez que ce que vous avez envoyé 19:43 4. Fonctionnalités et premier modèle : des fonctionnalités innovantes sont plus efficaces qu’un modèle sophistiqué 26:21 5. Évaluation : sélection hors ligne des candidats, décision en ligne 33:28 6. Déploiement et boucle : dérive, étiquettes différées et exploration 40:11 7. Comment vous êtes noté : la grille d’évaluation, le chronomètre et les niveaux 46:53 8. Les pièges : les erreurs fatales pour les meilleurs candidats 53:37 9. La variante GenAI, comment s’entraîner et la méthode complète 👍 Si cette vidéo vous a aidé à préparer votre entretien, n’hésitez pas à liker et à vous abonner. 💬 Commentez la question de conception ML qui vous a été posée (entreprise + sujet) et je pourrais l’aborder dans une prochaine vidéo. #MachineLearning #SystemDesign #MLSystemDesign #InterviewPrep #MLEngineer #AIEngineering #LLM [hi] ML सिस्टम डिज़ाइन इंटरव्यू वास्तव में कैसे होते हैं, भाग 1: 7-स्टेप मेथड, स्कोरिंग और मुख्य बातें ▶ भाग 2, केस स्टडी (धोखाधड़ी, ETA, फ़ीड रैंकिंग, LLM एजेंट): youtu.be 🗺 कोर्स मैप, किसी भी लेक्चर पर जाएं: youtu.be 📚 पूरी प्लेलिस्ट: youtube.com "एक ऐसा सिस्टम डिज़ाइन करें जो यह तय करे कि कौन सी पुश नोटिफिकेशन भेजनी हैं" इस सवाल का जवाब आप 45 मिनट में कैसे देंगे, और इंटरव्यू लेने वाला असल में किन अंकों को मापता है? यह एक घंटे का वीडियो एक उदाहरण और बुनियादी समझ के साथ, एमएल सिस्टम डिज़ाइन इंटरव्यू की पूरी जानकारी देता है। इसमें बताया गया है कि इंटरव्यू राउंड में किन चीज़ों का परीक्षण होता है और इसके सामान्य प्रारूप क्या हैं, फिर एक सवाल के सात चरण: लक्ष्य को स्पष्ट करें और उसे एक निर्णय, एक लेबल और एक मीट्रिक में बदलें; ऐसे लेबल डिज़ाइन करें जो देरी, चयन पूर्वाग्रह और रिसाव से बचे रहें, और समय के अनुसार विभाजित हों; नवीनता के आधार पर फ़ीचर चुनें और प्रशिक्षण-सेवा तिरछापन से बचें; बेसलाइन से ग्रेडिएंट बूस्टेड ट्रीज़ और फिर डीप मॉडल्स तक मॉडल लैडर पर चढ़ें; ऑफ़लाइन (क्वालिटी, प्रिसिजन और रिकॉल रैंकिंग, कैलिब्रेशन) और ऑनलाइन (गार्डरेल्स के साथ A/B टेस्ट) मूल्यांकन करें; और एक ऐसे मॉडल को सर्व, मॉनिटर और री-ट्रेन करें जो अपने डेटा को स्वयं बदलता है। फिर विभिन्न स्तरों पर उम्मीदवारों को कैसे स्कोर किया जाता है, समय का प्रबंधन कैसे किया जाता है, वे गलतियाँ जो मजबूत उम्मीदवारों को विफल कर देती हैं, GenAI और LLM डिज़ाइन प्रश्नों के लिए यही विधि कैसे बदलती है, और अभ्यास कैसे करें। वीडियो 2 इस विधि को चार वास्तविक प्रणालियों पर लागू करता है: भुगतान धोखाधड़ी और क्रेडिट, आगमन-समय भविष्यवाणी, विज्ञापनों और खोज के साथ फ़ीड रैंकिंग, और एक LLM सपोर्ट एजेंट। संदर्भ: अली अमीनियन और एलेक्स जू, "मशीन लर्निंग सिस्टम डिज़ाइन इंटरव्यू" (बाइटबाइटगो, 2023), ByteByteGoHq/ml-bytebytego ; चिप हुयेन, "डिज़ाइनिंग मशीन लर्निंग सिस्टम्स" (ओ'रेली, 2022), chiphuyen/dmls-book ; चिप हुयेन, "मशीन लर्निंग सिस्टम्स डिज़ाइन" (2019), chiphuyen/machine-learning-systems-design; यूजीन यान, "एमएल डिज़ाइन डॉक्स" टेम्पलेट, eugeneyan/ml-design-docs; यूजीन यान, "एप्लाइड-एमएल" (कंपनी एमएल इंजीनियरिंग पोस्ट का इंडेक्स), eugeneyan/applied-ml; डी. स्कली एट अल., "मशीन लर्निंग सिस्टम्स में छिपा तकनीकी ऋण" (न्यूरिप्स 2015); मार्टिन ज़िंकेविच, "मशीन लर्निंग के नियम: एमएल इंजीनियरिंग के लिए सर्वोत्तम अभ्यास" (गूगल)। नैरेटर: क्वेन3-टीटीएस (आवाज "एडेन")। एनिमेशन: मैनिमजीएल। फ़ॉन्ट: गूगल सैंस फ्लेक्स / कोड (ओएफएल)। उदाहरण ऐप और उसके आंकड़े काल्पनिक हैं। स्कोरकार्ड सार्वजनिक दिशानिर्देशों का संश्लेषण है, न कि किसी कंपनी का आधिकारिक मानदंड। अध्याय 0:00 1. राउंड का परीक्षण: दो उम्मीदवार, एक प्रश्न 6:42 2. स्पष्ट करना और रूपरेखा बनाना: व्यावसायिक लक्ष्य से लेबल तक 13:09 3. डेटा और लेबल: आप केवल वही देखते हैं जो आपने भेजा है 19:43 4. विशेषताएँ और पहला मॉडल: नई विशेषताएँ एक जटिल मॉडल से बेहतर होती हैं 26:21 5. मूल्यांकन: ऑफ़लाइन उम्मीदवारों का चयन करता है, ऑनलाइन निर्णय लेता है 33:28 6. सेवा और लूप: विचलन, विलंबित लेबल और अन्वेषण 40:11 7. आपको कैसे स्कोर किया जाता है: स्कोरकार्ड, घड़ी और स्तर 46:53 8. गलतियाँ जो अच्छे उम्मीदवारों को भी बाहर कर देती हैं 53:37 9. GenAI संस्करण, अभ्यास कैसे करें और पूरी विधि 👍 अगर इससे आपकी इंटरव्यू की तैयारी में मदद मिली, तो लाइक और सब्सक्राइब करें। 💬 आपको पूछे गए एमएल डिज़ाइन प्रश्न (कंपनी + प्रॉम्प्ट) पर टिप्पणी करें और मैं भविष्य के वीडियो में इस पर चर्चा कर सकता हूँ। #मशीन लर्निंग #सिस्टमडिजाइन #एमएलसिस्टमडिजाइन #इंटरव्यूप्रेप #एमएलइंजीनियर #एआईइंजीनियरिंग #एलएलएम [id] Seperti Apa Sebenarnya Wawancara Desain Sistem ML, Bagian 1: Metode 7 Langkah, Penilaian & Jebakan ▶ Bagian 2, studi kasus (penipuan, ETA, peringkat umpan, agen LLM): youtu.be 🗺 Peta kursus, lompat ke kuliah mana pun: youtu.be 📚 Daftar putar lengkap: youtube.com Bagaimana Anda menjawab "merancang sistem yang memutuskan notifikasi push mana yang akan dikirim" dalam 45 menit, dan apa yang sebenarnya dinilai oleh pewawancara? Video berdurasi satu jam ini mengajarkan wawancara desain sistem ML dari awal, dengan satu contoh yang berjalan dan intuisi terlebih dahulu. Video ini membahas apa yang diuji dalam putaran tersebut dan format umumnya, kemudian tujuh langkah pada satu pertanyaan: mengklarifikasi tujuan dan mengubahnya menjadi keputusan, label, dan metrik; merancang label yang bertahan dari penundaan, bias seleksi, dan kebocoran, serta pemisahan berdasarkan waktu; memilih fitur berdasarkan kesegaran dan menghindari kemiringan pelatihan-penyajian; menaiki tangga model dari baseline ke pohon yang ditingkatkan gradien hingga model yang dalam; Mengevaluasi secara offline (kualitas peringkat, presisi dan recall, kalibrasi) dan online (uji A/B dengan batasan); serta melayani, memantau, dan melatih ulang model yang mengubah datanya sendiri. Kemudian bagaimana kandidat diberi skor pada berbagai level, bagaimana mengelola waktu, kesalahan yang menggagalkan kandidat yang kuat, bagaimana metode yang sama berubah untuk pertanyaan desain GenAI dan LLM, dan bagaimana berlatih. Video 2 menerapkan metode ini pada empat sistem nyata: penipuan pembayaran dan kredit, prediksi waktu kedatangan, peringkat feed dengan iklan dan pencarian, dan agen dukungan LLM. Referensi: Ali Aminian dan Alex Xu, "Machine Learning System Design Interview" (ByteByteGo, 2023), ByteByteGoHq/ml-bytebytego ; Chip Huyen, "Designing Machine Learning Systems" (O'Reilly, 2022), chiphuyen/dmls-book ; Chip Huyen, "Desain Sistem Pembelajaran Mesin" (2019), chiphuyen/machine-learning-systems-design ; Eugene Yan, templat "dokumen desain ML", eugeneyan/ml-design-docs ; Eugene Yan, "applied-ml" (indeks posting rekayasa ML perusahaan), eugeneyan/applied-ml ; D. Sculley dkk., "Utang Teknis Tersembunyi dalam Sistem Pembelajaran Mesin" (NeurIPS 2015); Martin Zinkevich, "Aturan Pembelajaran Mesin: Praktik Terbaik untuk Rekayasa ML" (Google). Narasi: Qwen3-TTS (suara "Aiden"). Animasi: ManimGL. Font: Google Sans Flex / Code (OFL). Aplikasi contoh dan angka-angkanya bersifat hipotetis. Kartu skor merupakan sintesis dari panduan publik, bukan rubrik resmi perusahaan mana pun. Bab 0:00 1. Apa yang diuji dalam putaran ini: dua kandidat, satu pertanyaan 6:42 2. Klarifikasi dan kerangka: dari tujuan bisnis ke label 13:09 3. Data dan label: Anda hanya melihat apa yang Anda kirim 19:43 4. Fitur dan model pertama: fitur baru mengalahkan model yang canggih 26:21 5. Evaluasi: pemilihan kandidat secara offline, online yang memutuskan 33:28 6. Penyajian dan perulangan: pergeseran, label tertunda, dan eksplorasi 40:11 7. Bagaimana Anda dinilai: kartu skor, jam, dan level 46:53 8. Jebakan: kesalahan yang menjatuhkan kandidat yang kuat 53:37 9. Varian GenAI, cara berlatih, dan seluruh metode 👍 Jika ini membantu persiapan wawancara Anda, sukai dan berlangganan. 💬 Komentari pertanyaan desain ML yang ditanyakan kepada Anda (perusahaan + petunjuk) dan saya mungkin akan membahasnya di video mendatang. #MachineLearning #SystemDesign #MLSystemDesign #InterviewPrep #MLEngineer #AIEngineering #LLM [it] Come funzionano davvero i colloqui di System Design per il ML, Parte 1: Il metodo in 7 step, punt... ▶ Parte 2, casi di studio (frode, ETA, classificazione dei feed, agente LLM): youtu.be 🗺 Mappa del corso, vai a qualsiasi lezione: youtu.be 📚 Playlist completa: youtube.com Come si risponde alla domanda "progettare un sistema che decida quali notifiche push inviare" in 45 minuti e cosa valuta effettivamente l'intervistatore? Questo video di un'ora insegna il colloquio di progettazione di sistemi di machine learning dalle basi, con un esempio pratico e partendo dall'intuizione. Illustra cosa viene testato durante il colloquio e i suoi formati più comuni, quindi i sette passaggi per rispondere a una domanda: chiarire l'obiettivo e trasformarlo in una decisione, un'etichetta e una metrica; progettare etichette che resistano a ritardi, bias di selezione e fughe di informazioni, e suddividere in base al tempo; scegliere le funzionalità in base alla loro attualità ed evitare distorsioni tra training e erogazione. Salire una scala di modelli da un modello di base a modelli ad albero potenziati con gradiente fino a modelli profondi; valutare offline (qualità del ranking, precisione e recall, calibrazione) e online (test A/B con guardrail); e implementare, monitorare e riaddestrare un modello che modifica i propri dati. Successivamente, viene spiegato come vengono valutati i candidati a diversi livelli, come gestire il tempo, gli errori che possono compromettere candidati validi, come lo stesso metodo si adatta ai problemi di progettazione di GenAI e LLM e come fare pratica. Il Video 2 applica il metodo a quattro sistemi reali: frode nei pagamenti e credito, previsione dei tempi di arrivo, ranking dei feed con annunci e ricerca e un agente di supporto LLM. Riferimenti: Ali Aminian e Alex Xu, "Machine Learning System Design Interview" (ByteByteGo, 2023), ByteByteGoHq/ml-bytebytego; Chip Huyen, "Designing Machine Learning Systems" (O'Reilly, 2022), chiphuyen/dmls-book; Chip Huyen, "Machine Learning Systems Design" (2019), chiphuyen/machine-learning-systems-design; Eugene Yan, "ML design docs" template, eugeneyan/ml-design-docs; Eugene Yan, "applied-ml" (indice dei post aziendali sull'ingegneria del machine learning), eugeneyan/applied-ml; D. Sculley et al., "Hidden Technical Debt in Machine Learning Systems" (NeurIPS 2015); Martin Zinkevich, "Rules of Machine Learning: Best Practices for ML Engineering" (Google). Voce narrante: Qwen3-TTS (voce "Aiden"). Animazione: ManimGL. Caratteri: Google Sans Flex / Code (OFL). L'app di esempio e i relativi valori sono ipotetici. La scorecard è una sintesi di guide pubbliche, non una griglia di valutazione ufficiale di alcuna azienda. Capitoli 0:00 1. Cosa valuta il round: due candidati, una domanda 6:42 2. Chiarire e inquadrare: da un obiettivo aziendale a un'etichetta 13:09 3. Dati ed etichette: vedi solo ciò che hai inviato 19:43 4. Funzionalità e un primo modello: funzionalità innovative battono un modello sofisticato 26:21 5. Valutazione: offline seleziona i candidati, online decide 33:28 6. Distribuzione e ciclo: drift, etichette ritardate ed esplorazione 40:11 7. Come viene valutato il candidato: la scorecard, il cronometro e i livelli 46:53 8. Le insidie: gli errori che affossano i candidati più validi 53:37 9. La variante GenAI, come esercitarsi e l'intero metodo 👍 Se questo video ti è stato utile per la preparazione al colloquio, metti mi piace e iscriviti. 💬 Commenta con la domanda di progettazione ML che ti è stata posta (azienda + prompt) e potrei trattarla in un video futuro. #MachineLearning #SystemDesign #MLSystemDesign #InterviewPrep #MLEngineer #AIEngineering #LLM [iw] איך באמת נראים ראיונות לתכנון מערכות ML, חלק 1: שיטת 7 השלבים, ניקוד ומכשולים ▶ חלק 2, מקרי בוחן (הונאה, ETA, דירוג פיד, סוכן LLM): youtu.be 🗺 מפת קורס, קפיצה לכל הרצאה: youtu.be 📚 רשימת השמעה מלאה: youtube.com כיצד עונים על "תכנון מערכת שמחליטה אילו הודעות דחיפה לשלוח" ב-45 דקות, ומה באמת הציון של המראיין? סרטון זה, שאורכו שעה, מלמד את ראיון תכנון מערכת ML מהיסוד, עם דוגמה אחת ואינטואיציה תחילה. הוא מכסה את מה שהסבב בודק ואת הפורמטים הנפוצים שלו, ואז את שבעת השלבים בשאלה אחת: הבהרת המטרה והפיכתה להחלטה, תווית ומדד; תכנון תוויות ששורדות עיכוב, הטיה בבחירה ודליפה, ומחולקות לפי זמן; בחירת תכונות לפי טריות והימנעות מהטיה של הגשת אימון; טיפוס בסולם מודל מנקודת בסיס לעצים עם הגברת גרדיאנט למודלים עמוקים; להעריך במצב לא מקוון (איכות דירוג, דיוק וזיכרון, כיול) ומקוון (בדיקות A/B עם מעקות); ולשרת, לנטר ולאמן מחדש מודל שמשנה את הנתונים שלו. לאחר מכן, כיצד מועמדים מקבלים ניקוד ברמות שונות, כיצד לנהל את השעון, הטעויות שמטביעות מועמדים חזקים, כיצד אותה שיטה משתנה עבור שאלות עיצוב GenAI ותואר שני, וכיצד לתרגל. סרטון 2 מיישם את השיטה על ארבע מערכות אמיתיות: הונאת תשלומים ואשראי, חיזוי זמן הגעה, דירוג פיד עם מודעות וחיפוש, וסוכן תמיכה של תואר שני. מקורות: עלי אמיניאן ואלכס שו, "ראיון עיצוב מערכת למידת מכונה" (ByteByteGo, 2023), ByteByteGoHq/ml-bytebytego ; צ'יפ הויאן, "עיצוב מערכות למידת מכונה" (או'ריילי, 2022), chiphuyen/dmls-book ; צ'יפ הויאן, "עיצוב מערכות למידת מכונה" (2019), chiphuyen/machine-learning-systems-design ; יוג'ין יאן, תבנית "מסמכי עיצוב ML", eugeneyan/ml-design-docs ; יוג'ין יאן, "applied-ml" (אינדקס פוסטים של חברות בתחום הנדסת ML), eugeneyan/applied-ml ; ד. סקאלי ואחרים, "חוב טכני נסתר במערכות למידת מכונה" (NeurIPS 2015); מרטין זינקביץ', "חוקי למידת מכונה: שיטות עבודה מומלצות להנדסת ML" (גוגל). קריינות: Qwen3-TTS (קול "איידן"). אנימציה: ManimGL. גופנים: Google Sans Flex / Code (OFL). אפליקציית הדוגמה והמספרים שלה הם היפותטיים. כרטיס הניקוד הוא סינתזה של מדריכים ציבוריים, לא רובריקה רשמית של אף חברה. פרקים 0:00 1. מה הסבב בודק: שני מועמדים, שאלה אחת 6:42 2. הבהרה ומסגור: ממטרה עסקית לתווית 13:09 3. נתונים ותוויות: אתם רואים רק את מה ששלחתם 19:43 4. מאפיינים ומודל ראשון: מאפיינים חדשים מנצחים מודל מפואר 26:21 5. הערכה: במצב לא מקוון בוחר מועמדים, במצב מקוון מחליט 33:28 6. הגשה והלולאה: סחיפה, תוויות מושהות וחקירה 40:11 7. כיצד אתם מקבלים ציון: כרטיס הניקוד, השעון והרמות 46:53 8. התקלות: הטעויות שמטביעות מועמדים חזקים 53:37 9. גרסת GenAI, איך לתרגל, והשיטה כולה 👍 אם זה עזר לכם להתכונן לראיון, תנו לייק והירשמו. 💬 הגיבו על שאלת עיצוב הלמידה שנשאלתם (חברה + הנחיה) וייתכן שאכסה אותה בסרטון עתידי. #MachineLearning #SystemDesign #MLSystemDesign #InterviewPrep #MLEngineer #AIEngineering #LLM [ja] 機械学習システムデザイン面接の現実：第1部 7ステップの手法、評価基準、そして落とし穴 ▶ パート2、ケーススタディ（不正行為、ETA、フィードランキング、LLMエージェント）：youtu.be 🗺 コースマップ、各講義へジャンプ：youtu.be 📚 全プレイリスト：youtube.com 「プッシュ通知を送信するシステムを決定するシステムを設計してください」という質問に45分でどのように答えるべきか、そして面接官は実際に何を評価しているのか？この1時間のビデオでは、機械学習システム設計面接を基礎から、まずは具体的な例と直感的な理解から解説します。面接で問われる内容と一般的な形式を網羅し、1つの質問に対する7つのステップを解説します。具体的には、目標を明確にし、それを意思決定、ラベル、そして指標に変換する方法、遅延、選択バイアス、情報漏洩に耐えうるラベルを設計し、時間で分割する方法、そして鮮度に基づいて特徴量を選択し、トレーニングデータとサービングデータの偏りを避ける方法などです。ベースラインから勾配ブースティングツリー、そしてディープラーニングモデルへと段階的にモデルを構築し、オフライン（ランキング品質、精度、再現率、キャリブレーション）とオンライン（ガードレール付きA/Bテスト）で評価を行い、データ自体を変更するモデルの提供、監視、再学習を行います。さらに、候補モデルを異なるレベルでどのように評価するか、時間管理の方法、有力候補を脱落させるミス、GenAIとLLM設計問題における手法の変化、そして実践方法についても解説します。動画2では、決済詐欺とクレジット、到着時刻予測、広告と検索を含むフィードランキング、LLMサポートエージェントという4つの実システムにこの手法を適用しています。 参考文献：Ali Aminian and Alex Xu, "Machine Learning System Design Interview" (ByteByteGo, 2023), ByteByteGoHq/ml-bytebytego ; Chip Huyen, "Designing Machine Learning Systems" (O'Reilly, 2022), chiphuyen/dmls-book ; Chip Huyen著「機械学習システム設計」（2019年）、chiphuyen/machine-learning-systems-design%EF%BC%9BEugene Yan著「ML設計ドキュメント」テンプレート、eugeneyan/ml-design-docs%EF%BC%9BEugene Yan著「applied-ml」（企業MLエンジニアリング記事のインデックス）、eugeneyan/applied-ml%EF%BC%9BD. Sculley他著「機械学習システムにおける隠れた技術的負債」（NeurIPS 2015）；Martin Zinkevich著「機械学習のルール：MLエンジニアリングのベストプラクティス」（Google）。 ナレーション：Qwen3-TTS（音声「Aiden」）。アニメーション：ManimGL。フォント：Google Sans Flex / Code（OFL）。サンプルアプリとその数値は架空のものです。このスコアカードは、企業の公式評価基準ではなく、公開されているガイドをまとめたものです。 目次 0:00 1. ラウンドで問われること：候補者2名、質問1つ 6:42 2. 明確化と枠組み：ビジネス目標からラベルへ 13:09 3. データとラベル：送信したデータのみが表示されます 19:43 4. 特徴量と最初のモデル：新しい特徴量が高度なモデルに勝る 26:21 5. 評価：オフラインで候補者を選定し、オンラインで決定 33:28 6. サービングとループ：ドリフト、ラベルの遅延、探索 40:11 7. スコアリング方法：スコアカード、時間制限、レベル 46:53 8. 落とし穴：優秀な候補者を落選させるミス 53:37 9. GenAIのバリアント、練習方法、そしてメソッド全体 👍 この動画が面接対策に役立った場合は、いいねとチャンネル登録をお願いします。 💬 面接で聞かれた機械学習設計に関する質問（企業名＋設問）をコメント欄に書いてください。今後の動画で取り上げるかもしれません。 #機械学習 #システム設計 #機械学習システム設計 #面接対策 #機械学習エンジニア #AIエンジニアリング #LLM [ko] 머신러닝 시스템 디자인 면접의 실제: 1부 - 7단계 방법론, 평가 기준 및 주의사항 ▶ 파트 2, 사례 연구 (사기, 예상 도착 시간, 피드 순위, LLM 에이전트): youtu.be 🗺 강의 지도, 원하는 강의로 바로 이동: youtu.be 📚 전체 재생 목록: youtube.com "어떤 푸시 알림을 보낼지 결정하는 시스템을 설계하세요"라는 질문에 45분 안에 어떻게 답해야 할까요? 그리고 면접관은 실제로 무엇을 평가할까요? 이 1시간짜리 영상은 머신러닝 시스템 설계 면접을 기초부터, 하나의 예시와 직관적인 설명으로 풀어냅니다. 면접에서 무엇을 평가하는지, 일반적인 형식은 무엇인지 살펴본 후, 한 가지 질문에 대한 7단계 답변을 제시합니다. 목표를 명확히 하고 이를 결정, 레이블, 그리고 평가 기준으로 변환하는 방법, 지연, 선택 편향, 데이터 누출을 고려한 레이블 설계 및 시간 분할, 최신성을 기준으로 특징을 선택하고 학습-서비스 데이터 불균형을 방지하는 방법, 베이스라인 모델부터 그래디언트 부스팅 트리, 그리고 딥러닝 모델까지 단계적으로 발전시키는 방법 등을 다룹니다. 오프라인(순위 품질, 정밀도 및 재현율, 보정) 및 온라인(가드레일을 적용한 A/B 테스트) 평가를 수행하고, 자체 데이터를 변경하는 모델을 제공, 모니터링 및 재학습합니다. 그런 다음 다양한 수준에서 후보자를 평가하는 방법, 시간 관리 방법, 우수한 후보자를 탈락시키는 실수, 동일한 방법이 GenAI 및 LLM 설계 문제에 어떻게 다르게 적용되는지, 그리고 연습 방법을 살펴봅니다. 비디오 2에서는 이 방법을 네 가지 실제 시스템(결제 사기 및 신용, 도착 시간 예측, 광고 및 검색을 포함한 피드 순위, LLM 지원 에이전트)에 적용합니다. 참고 문헌: Ali Aminian 및 Alex Xu, "Machine Learning System Design Interview"(ByteByteGo, 2023), ByteByteGoHq/ml-bytebytego; Chip Huyen, "Designing Machine Learning Systems"(O'Reilly, 2022), chiphuyen/dmls-book; 칩 휴옌, "머신러닝 시스템 설계"(2019), chiphuyen/machine-learning-systems-design; 유진 얀, "ML 설계 문서" 템플릿, eugeneyan/ml-design-docs; 유진 얀, "applied-ml"(기업 ML 엔지니어링 게시물 색인), eugeneyan/applied-ml; D. 스컬리 외, "머신러닝 시스템의 숨겨진 기술 부채"(NeurIPS 2015); 마틴 진케비치, "머신러닝 규칙: ML 엔지니어링을 위한 모범 사례"(Google). 내레이션: Qwen3-TTS(음성 "에이든"). 애니메이션: ManimGL. 글꼴: Google Sans Flex / Code(OFL). 예시 앱과 수치는 가상입니다. 이 평가표는 공개된 가이드라인을 종합한 것이며, 특정 기업의 공식 평가 기준이 아닙니다. 목차 0:00 1. 평가 항목: 두 명의 지원자, 하나의 질문 6:42 2. 명확화 및 틀 설정: 비즈니스 목표에서 레이블 지정까지 13:09 3. 데이터 및 레이블: 제출한 데이터만 확인 가능 19:43 4. 특징 추출 및 첫 번째 모델 구축: 새로운 특징 추출이 정교한 모델보다 우수 26:21 5. 평가: 오프라인에서 지원자 선별, 온라인에서 최종 결정 33:28 6. 서비스 제공 및 루프: 드리프트, 지연된 레이블 지정 및 탐색 40:11 7. 점수 산정 방식: 점수표, 시간 제한 및 레벨 46:53 8. 함정: 유능한 지원자를 탈락시키는 실수 53:37 9. GenAI 변형, 연습 방법 및 전체 방법론 👍 이 영상이 면접 준비에 도움이 되었다면 좋아요와 구독 부탁드립니다. 💬 면접에서 받았던 머신러닝 설계 질문(회사명 + 질문 내용)을 댓글로 남겨주시면 다음 영상에서 다뤄보도록 하겠습니다. #머신러닝 #시스템디자인 #MLSystemDesign #InterviewPrep #MLEngineer #AIEngineering #LLM [ml] എം.എൽ സിസ്റ്റം ഡിസൈൻ അഭിമുഖങ്ങൾ യഥാർത്ഥത്തിൽ എങ്ങനെയാണ് നടക്കുന്നത്, ഭാഗം 1: 7-ഘട്ട രീതി, സ്കോറിം... ▶ ഭാഗം 2, കേസ് സ്റ്റഡീസ് (വഞ്ചന, ETA, ഫീഡ് റാങ്കിംഗ്, LLM ഏജന്റ്): youtu.be 🗺 കോഴ്‌സ് മാപ്പ്, ഏതെങ്കിലും പ്രഭാഷണത്തിലേക്ക് പോകുക: youtu.be 📚 പൂർണ്ണ പ്ലേലിസ്റ്റ്: youtube.com 45 മിനിറ്റിനുള്ളിൽ "ഏത് പുഷ് അറിയിപ്പുകൾ അയയ്ക്കണമെന്ന് തീരുമാനിക്കുന്ന ഒരു സിസ്റ്റം രൂപകൽപ്പന ചെയ്യുക" എന്ന് നിങ്ങൾ എങ്ങനെ ഉത്തരം നൽകും, അഭിമുഖം നടത്തുന്നയാൾ യഥാർത്ഥത്തിൽ എന്താണ് സ്കോർ ചെയ്യുന്നത്? ഒരു മണിക്കൂർ ദൈർഘ്യമുള്ള ഈ വീഡിയോ ML സിസ്റ്റം ഡിസൈൻ അഭിമുഖത്തെ അടിസ്ഥാനപരമായി പഠിപ്പിക്കുന്നു, ആദ്യം ഒരു റണ്ണിംഗ് ഉദാഹരണവും അവബോധവും. റൗണ്ട് ടെസ്റ്റുകളും അതിന്റെ പൊതുവായ ഫോർമാറ്റുകളും, തുടർന്ന് ഒരു ചോദ്യത്തിലെ ഏഴ് ഘട്ടങ്ങളും ഇത് ഉൾക്കൊള്ളുന്നു: ലക്ഷ്യം വ്യക്തമാക്കുകയും അതിനെ ഒരു തീരുമാനമായും ലേബലായും മെട്രിക് ആക്കുകയും ചെയ്യുക; കാലതാമസം, തിരഞ്ഞെടുപ്പ് പക്ഷപാതം, ചോർച്ച എന്നിവയെ അതിജീവിക്കുകയും സമയത്തിനനുസരിച്ച് വിഭജിക്കുകയും ചെയ്യുന്ന ലേബലുകൾ രൂപകൽപ്പന ചെയ്യുക; പുതുമ ഉപയോഗിച്ച് സവിശേഷതകൾ തിരഞ്ഞെടുത്ത് പരിശീലന-സേവന സ്കീ ഒഴിവാക്കുക; ഒരു ബേസ്‌ലൈനിൽ നിന്ന് ഗ്രേഡിയന്റ് ബൂസ്റ്റ് ചെയ്ത മരങ്ങളിലേക്ക് ആഴത്തിലുള്ള മോഡലുകളിലേക്ക് ഒരു മോഡൽ ഗോവണി കയറുക; ഓഫ്‌ലൈനിലും (റാങ്കിംഗ് ഗുണനിലവാരം, കൃത്യത, തിരിച്ചുവിളിക്കൽ, കാലിബ്രേഷൻ) ഓൺലൈനിലും (ഗാർഡ്‌റെയിലുകളുള്ള എ/ബി ടെസ്റ്റുകൾ) വിലയിരുത്തുക; സ്വന്തം ഡാറ്റ മാറ്റുന്ന ഒരു മോഡലിനെ സേവിക്കുക, നിരീക്ഷിക്കുക, വീണ്ടും പരിശീലിപ്പിക്കുക. തുടർന്ന് വ്യത്യസ്ത തലങ്ങളിൽ സ്ഥാനാർത്ഥികൾ എങ്ങനെ സ്കോർ ചെയ്യപ്പെടുന്നു, ക്ലോക്ക് എങ്ങനെ കൈകാര്യം ചെയ്യാം, ശക്തരായ സ്ഥാനാർത്ഥികളെ മുക്കിക്കളയുന്ന തെറ്റുകൾ, GenAI, LLM ഡിസൈൻ ചോദ്യങ്ങൾക്ക് ഒരേ രീതി എങ്ങനെ മാറുന്നു, എങ്ങനെ പരിശീലിക്കാം. വീഡിയോ 2 നാല് യഥാർത്ഥ സിസ്റ്റങ്ങളിൽ രീതി പ്രയോഗിക്കുന്നു: പേയ്‌മെന്റ് തട്ടിപ്പും ക്രെഡിറ്റും, എത്തിച്ചേരൽ സമയ പ്രവചനം, പരസ്യങ്ങളും തിരയലും ഉപയോഗിച്ചുള്ള ഫീഡ് റാങ്കിംഗ്, ഒരു LLM പിന്തുണാ ഏജന്റ്. റഫറൻസുകൾ: അലി അമിനിയനും അലക്സ് സുവും, "മെഷീൻ ലേണിംഗ് സിസ്റ്റം ഡിസൈൻ ഇന്റർവ്യൂ" (ByteByteGo, 2023), ByteByteGoHq/ml-bytebytego ; ചിപ്പ് ഹ്യൂയൻ, "ഡിസൈനിംഗ് മെഷീൻ ലേണിംഗ് സിസ്റ്റംസ്" (O'Reilly, 2022), chiphuyen/dmls-book ; ചിപ്പ് ഹ്യൂയൻ, "മെഷീൻ ലേണിംഗ് സിസ്റ്റംസ് ഡിസൈൻ" (2019), chiphuyen/machine-learning-systems-design ; യൂജിൻ യാൻ, "ML ഡിസൈൻ ഡോക്സ്" ടെംപ്ലേറ്റ്, eugeneyan/ml-design-docs ; യൂജിൻ യാൻ, "applied-ml" (കമ്പനി ML എഞ്ചിനീയറിംഗ് പോസ്റ്റുകളുടെ സൂചിക), eugeneyan/applied-ml ; ഡി. സ്കള്ളി തുടങ്ങിയവർ, "മെഷീൻ ലേണിംഗ് സിസ്റ്റങ്ങളിലെ മറഞ്ഞിരിക്കുന്ന സാങ്കേതിക കടം" (NeurIPS 2015); മാർട്ടിൻ സിങ്കെവിച്ച്, "മെഷീൻ ലേണിംഗിന്റെ നിയമങ്ങൾ: ML എഞ്ചിനീയറിംഗിനുള്ള മികച്ച രീതികൾ" (Google). ആഖ്യാനം: Qwen3-TTS (ശബ്ദം "Aiden"). ആനിമേഷൻ: ManimGL. ഫോണ്ടുകൾ: Google Sans Flex / Code (OFL). ഉദാഹരണ ആപ്പും അതിന്റെ നമ്പറുകളും സാങ്കൽപ്പികമാണ്. സ്കോർകാർഡ് പൊതു ഗൈഡുകളുടെ ഒരു സമന്വയമാണ്, ഏതെങ്കിലും കമ്പനിയുടെ ഔദ്യോഗിക റൂബ്രിക് അല്ല. അധ്യായങ്ങൾ 0:00 1. റൗണ്ട് ടെസ്റ്റുകൾ എന്തൊക്കെയാണ്: രണ്ട് സ്ഥാനാർത്ഥികൾ, ഒരു ചോദ്യം 6:42 2. വ്യക്തമാക്കുകയും ഫ്രെയിം ചെയ്യുകയും ചെയ്യുക: ഒരു ബിസിനസ്സ് ലക്ഷ്യത്തിൽ നിന്ന് ഒരു ലേബലിലേക്ക് 13:09 3. ഡാറ്റയും ലേബലുകളും: നിങ്ങൾ അയച്ചത് മാത്രമേ നിങ്ങൾക്ക് കാണാനാകൂ 19:43 4. സവിശേഷതകളും ഒരു ആദ്യ മോഡലും: പുതിയ സവിശേഷതകൾ ഒരു ഫാൻസി മോഡലിനെ മറികടക്കുന്നു 26:21 5. വിലയിരുത്തൽ: ഓഫ്‌ലൈൻ സ്ഥാനാർത്ഥികളെ തിരഞ്ഞെടുക്കുന്നു, ഓൺ‌ലൈൻ തീരുമാനിക്കുന്നു 33:28 6. സെർവിംഗും ലൂപ്പും: ഡ്രിഫ്റ്റ്, വൈകിയ ലേബലുകളും പര്യവേക്ഷണവും 40:11 7. നിങ്ങൾക്ക് എങ്ങനെ സ്കോർ ലഭിക്കുന്നു: സ്കോർകാർഡ്, ക്ലോക്ക്, ലെവലുകൾ 46:53 8. ഗോച്ചകൾ: ശക്തരായ സ്ഥാനാർത്ഥികളെ മുക്കുന്ന തെറ്റുകൾ 53:37 9. GenAI വേരിയന്റ്, എങ്ങനെ പരിശീലിക്കാം, മുഴുവൻ രീതിയും 👍 ഇത് നിങ്ങളുടെ അഭിമുഖ തയ്യാറെടുപ്പിനെ സഹായിച്ചെങ്കിൽ, ലൈക്ക് ചെയ്ത് സബ്‌സ്‌ക്രൈബ് ചെയ്യുക. 💬 നിങ്ങളോട് ചോദിച്ച ML ഡിസൈൻ ചോദ്യം (കമ്പനി + പ്രോംപ്റ്റ്) കമന്റ് ചെയ്യുക, ഭാവിയിലെ ഒരു വീഡിയോയിൽ ഞാൻ അത് ഉൾപ്പെടുത്തിയേക്കാം. #MachineLearning #SystemDesign #MLSystemDesign #InterviewPrep #MLEngineer #AIEngineering #LLM [nl-NL] Hoe ML-systeemontwerpinterviews echt werken, deel 1: De 7-stappenmethode, beoordeling & valkuilen ▶ Deel 2, casestudies (fraude, ETA, feed ranking, LLM agent): youtu.be 🗺 Cursusoverzicht, ga direct naar een willekeurige les: youtu.be 📚 Volledige afspeellijst: youtube.com Hoe beantwoord je de vraag "ontwerp een systeem dat bepaalt welke pushnotificaties verzonden moeten worden" in 45 minuten, en waar let de interviewer eigenlijk op? Deze video van een uur behandelt het ML-systeemontwerpinterview van A tot Z, met één doorlopend voorbeeld en intuïtie als uitgangspunt. Het behandelt wat er in de ronde getest wordt en de gebruikelijke formats, en vervolgens de zeven stappen voor één vraag: verduidelijk het doel en vertaal het naar een beslissing, een label en een meetwaarde; ontwerp labels die bestand zijn tegen vertraging, selectiebias en datalekken, en splitsen op basis van tijd; kies kenmerken op basis van actualiteit en vermijd scheefgroei in trainingsdata; Het proces omvat het doorlopen van een modelladder van een basismodel naar gradient boosted trees en vervolgens naar diepe modellen; het evalueren van modellen offline (kwaliteit, precisie en recall, kalibratie) en online (A/B-tests met guardrails); en het implementeren, monitoren en hertrainen van een model dat zijn eigen data wijzigt. Vervolgens wordt uitgelegd hoe kandidaten op verschillende niveaus worden beoordeeld, hoe de tijd wordt beheerd, welke fouten sterke kandidaten de das omdoen, hoe dezelfde methode verandert voor GenAI- en LLM-ontwerpvraagstukken, en hoe de methode in de praktijk kan worden gebracht. Video 2 past de methode toe op vier reële systemen: betalingsfraude en kredietverlening, aankomsttijdvoorspelling, feedranking met advertenties en zoekresultaten, en een LLM-ondersteuningsagent. Referenties: Ali Aminian en Alex Xu, "Machine Learning System Design Interview" (ByteByteGo, 2023), ByteByteGoHq/ml-bytebytego; Chip Huyen, "Designing Machine Learning Systems" (O'Reilly, 2022), chiphuyen/dmls-book; Chip Huyen, "Machine Learning Systems Design" (2019), chiphuyen/machine-learning-systems-design; Eugene Yan, "ML design docs" template, eugeneyan/ml-design-docs; Eugene Yan, "applied-ml" (index van bedrijfsgerelateerde ML-engineeringposts), eugeneyan/applied-ml; D. Sculley et al., "Hidden Technical Debt in Machine Learning Systems" (NeurIPS 2015); Martin Zinkevich, "Rules of Machine Learning: Best Practices for ML Engineering" (Google). Vertelling: Qwen3-TTS (stem "Aiden"). Animatie: ManimGL. Lettertypen: Google Sans Flex / Code (OFL). De voorbeeld-app en de bijbehorende cijfers zijn hypothetisch. De scorekaart is een synthese van openbare richtlijnen, geen officiële beoordelingscriteria van een bedrijf. Hoofdstukken 0:00 1. Wat de ronde test: twee kandidaten, één vraag 6:42 2. Verduidelijken en kaderen: van een bedrijfsdoel naar een label 13:09 3. Data en labels: je ziet alleen wat je hebt verzonden 19:43 4. Features en een eerste model: frisse features verslaan een geavanceerd model 26:21 5. Evaluatie: offline selecteert kandidaten, online beslist 33:28 6. Serving en de loop: drift, vertraagde labels en exploratie 40:11 7. Hoe je beoordeeld wordt: de scorekaart, de klok en de niveaus 46:53 8. De valkuilen: de fouten die sterke kandidaten de das omdoen 53:37 9. De GenAI-variant, hoe te oefenen en de volledige methode 👍 Als dit je heeft geholpen bij je interviewvoorbereiding, like en abonneer je. 💬 Reageer met de ML-ontwerpvraag die je kreeg (bedrijf + prompt) en misschien behandel ik die in een toekomstige video. #MachineLearning #SystemDesign #MLSystemDesign #InterviewPrep #MLEngineer #AIEngineering #LLM [pa] ML ਸਿਸਟਮ ਡਿਜ਼ਾਈਨ ਇੰਟਰਵਿਊ ਅਸਲ ਵਿੱਚ ਕਿਵੇਂ ਹੁੰਦੇ ਹਨ, ਭਾਗ 1: 7-ਪੜਾਵੀ ਵਿਧੀ, ਸਕੋਰਿੰਗ ਅਤੇ ਖ਼ਾਸ ਨੁਕਤੇ ▶ ਭਾਗ 2, ਕੇਸ ਸਟੱਡੀਜ਼ (ਧੋਖਾਧੜੀ, ETA, ਫੀਡ ਰੈਂਕਿੰਗ, LLM ਏਜੰਟ): youtu.be 🗺 ਕੋਰਸ ਮੈਪ, ਕਿਸੇ ਵੀ ਲੈਕਚਰ 'ਤੇ ਜਾਓ: youtu.be 📚 ਪੂਰੀ ਪਲੇਲਿਸਟ: youtube.com ਤੁਸੀਂ 45 ਮਿੰਟਾਂ ਵਿੱਚ "ਇੱਕ ਸਿਸਟਮ ਡਿਜ਼ਾਈਨ ਕਰੋ ਜੋ ਇਹ ਫੈਸਲਾ ਕਰਦਾ ਹੈ ਕਿ ਕਿਹੜੀਆਂ ਪੁਸ਼ ਸੂਚਨਾਵਾਂ ਭੇਜਣੀਆਂ ਹਨ" ਦਾ ਜਵਾਬ ਕਿਵੇਂ ਦਿੰਦੇ ਹੋ, ਅਤੇ ਇੰਟਰਵਿਊ ਲੈਣ ਵਾਲਾ ਅਸਲ ਵਿੱਚ ਕੀ ਸਕੋਰ ਕਰ ਰਿਹਾ ਹੈ? ਇਹ ਇੱਕ ਘੰਟੇ ਦਾ ਵੀਡੀਓ ML ਸਿਸਟਮ ਡਿਜ਼ਾਈਨ ਇੰਟਰਵਿਊ ਨੂੰ ਸ਼ੁਰੂ ਤੋਂ ਸਿਖਾਉਂਦਾ ਹੈ, ਪਹਿਲਾਂ ਇੱਕ ਚੱਲ ਰਹੀ ਉਦਾਹਰਣ ਅਤੇ ਅਨੁਭਵ ਦੇ ਨਾਲ। ਇਹ ਕਵਰ ਕਰਦਾ ਹੈ ਕਿ ਗੋਲ ਟੈਸਟ ਕੀ ਹਨ ਅਤੇ ਇਸਦੇ ਆਮ ਫਾਰਮੈਟ, ਫਿਰ ਇੱਕ ਸਵਾਲ 'ਤੇ ਸੱਤ ਕਦਮ: ਟੀਚਾ ਸਪੱਸ਼ਟ ਕਰੋ ਅਤੇ ਇਸਨੂੰ ਇੱਕ ਫੈਸਲੇ, ਇੱਕ ਲੇਬਲ ਅਤੇ ਇੱਕ ਮੈਟ੍ਰਿਕ ਵਿੱਚ ਬਦਲੋ; ਡਿਜ਼ਾਈਨ ਲੇਬਲ ਜੋ ਦੇਰੀ, ਚੋਣ ਪੱਖਪਾਤ ਅਤੇ ਲੀਕੇਜ ਤੋਂ ਬਚਦੇ ਹਨ, ਅਤੇ ਸਮੇਂ ਅਨੁਸਾਰ ਵੰਡਦੇ ਹਨ; ਤਾਜ਼ਗੀ ਦੁਆਰਾ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦੀ ਚੋਣ ਕਰੋ ਅਤੇ ਸਿਖਲਾਈ-ਸੇਵਾ ਕਰਨ ਵਾਲੇ ਸਕਿਊ ਤੋਂ ਬਚੋ; ਇੱਕ ਬੇਸਲਾਈਨ ਤੋਂ ਗਰੇਡੀਐਂਟ ਬੂਸਟਡ ਟ੍ਰੀਜ਼ ਤੋਂ ਡੂੰਘੇ ਮਾਡਲਾਂ ਤੱਕ ਇੱਕ ਮਾਡਲ ਪੌੜੀ ਚੜ੍ਹੋ; ਔਫਲਾਈਨ (ਰੈਂਕਿੰਗ ਗੁਣਵੱਤਾ, ਸ਼ੁੱਧਤਾ ਅਤੇ ਯਾਦ, ਕੈਲੀਬ੍ਰੇਸ਼ਨ) ਅਤੇ ਔਨਲਾਈਨ (ਗਾਰਡੇਲਾਂ ਨਾਲ A/B ਟੈਸਟ) ਦਾ ਮੁਲਾਂਕਣ ਕਰੋ; ਅਤੇ ਇੱਕ ਮਾਡਲ ਦੀ ਸੇਵਾ, ਨਿਗਰਾਨੀ ਅਤੇ ਮੁੜ ਸਿਖਲਾਈ ਦਿਓ ਜੋ ਆਪਣਾ ਡੇਟਾ ਬਦਲਦਾ ਹੈ। ਫਿਰ ਉਮੀਦਵਾਰਾਂ ਨੂੰ ਵੱਖ-ਵੱਖ ਪੱਧਰਾਂ 'ਤੇ ਕਿਵੇਂ ਸਕੋਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਘੜੀ ਦਾ ਪ੍ਰਬੰਧਨ ਕਿਵੇਂ ਕਰਨਾ ਹੈ, ਉਹ ਗਲਤੀਆਂ ਜੋ ਮਜ਼ਬੂਤ ​​ਉਮੀਦਵਾਰਾਂ ਨੂੰ ਡੁੱਬਦੀਆਂ ਹਨ, GenAI ਅਤੇ LLM ਡਿਜ਼ਾਈਨ ਪ੍ਰਸ਼ਨਾਂ ਲਈ ਇੱਕੋ ਤਰੀਕਾ ਕਿਵੇਂ ਬਦਲਦਾ ਹੈ, ਅਤੇ ਅਭਿਆਸ ਕਿਵੇਂ ਕਰਨਾ ਹੈ। ਵੀਡੀਓ 2 ਵਿਧੀ ਨੂੰ ਚਾਰ ਅਸਲ ਪ੍ਰਣਾਲੀਆਂ 'ਤੇ ਲਾਗੂ ਕਰਦਾ ਹੈ: ਭੁਗਤਾਨ ਧੋਖਾਧੜੀ ਅਤੇ ਕ੍ਰੈਡਿਟ, ਆਗਮਨ-ਸਮੇਂ ਦੀ ਭਵਿੱਖਬਾਣੀ, ਇਸ਼ਤਿਹਾਰਾਂ ਅਤੇ ਖੋਜ ਨਾਲ ਫੀਡ ਰੈਂਕਿੰਗ, ਅਤੇ ਇੱਕ LLM ਸਹਾਇਤਾ ਏਜੰਟ। ਹਵਾਲੇ: ਅਲੀ ਅਮੀਨੀਅਨ ਅਤੇ ਐਲੇਕਸ ਜ਼ੂ, "ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਸਿਸਟਮ ਡਿਜ਼ਾਈਨ ਇੰਟਰਵਿਊ" (ਬਾਈਟਬਾਈਟਗੋ, 2023), ByteByteGoHq/ml-bytebytego ; ਚਿੱਪ ਹੁਏਨ, "ਡਿਜ਼