מורה פרטי ללמידה עמוקה
למידה עמוקה הוא קורס שקל לעבור בלי להבין: הספריות עושות את רוב העבודה, ואפשר להריץ מודל שמתכנס בלי לדעת למה. הפער מתגלה במבחן, שבו מבקשים לגזור backpropagation ביד, או ברגע שמודל לא מתאמן וצריך להחליט מה לשנות. אני מגיע לתחום הזה גם מצד העבודה המעשית ולא רק מצד הקורס, ולכן השיעורים מחברים בין המתמטיקה שמאחורי הרשת לבין מה שבאמת עובד בפועל.
נקרא גם רשתות נוירוניםneural networksdeep learningלמידת מכונה
איפה סטודנטים נתקעים בלמידה עמוקה
ההסבר תמיד מתחיל מאיפה שאתה נמצא — אלה כמה מהנקודות שחוזרות הכי הרבה.
- 01
backpropagation — לגזור את הנגזרות ביד ולהבין מה בדיוק הרשת מעדכנת
- 02
המתמטיקה שמאחורי הרשת: גרדיאנטים, כלל השרשרת וכפל מטריצות בממדים הנכונים
- 03
פונקציות הפעלה ופונקציות מחיר — למה בוחרים כל אחת, ומה קורה כשהגרדיאנט נעלם
- 04
אימון שלא מתכנס — להחליט אם הבעיה בנתונים, בקצב הלמידה, בארכיטקטורה או בבאג
- 05
Overfitting ורגולריזציה — dropout, batch norm ו-augmentation, ומתי כל אחד עוזר
- 06
ארכיטקטורות (CNN, RNN, Transformer) — להבין מה כל אחת פותרת, לא רק איך קוראים לה
הנושאים שנכסה בלמידה עמוקה
לא סילבוס מלא — הנושאים שבהם רוב הסטודנטים צריכים עזרה, ושמהם מגיעות רוב הנקודות במבחן.
- 01
היסודות המתמטיים
גרדיאנטים, כלל השרשרת, כפל מטריצות ו-backpropagation — כולל גזירה ידנית של רשת קטנה, שזה מה שנשאל במבחן.
- 02
אימון רשת בפועל
פונקציות מחיר, אופטימייזרים, קצב למידה וגודל אצווה — ואיך מאבחנים אימון שלא עובד במקום לנחש.
- 03
ארכיטקטורות
CNN לתמונות, RNN לרצפים, ומנגנון תשומת הלב ו-Transformers — מה כל אחת פותרת ולמה היא בנויה ככה.
- 04
מהקורס לפרויקט
ליווי בפרויקט או במטלה מעשית: בחירת הגישה, הכנת הנתונים, אימון, הערכה וכתיבת המסקנות.
שאלות על שיעורים פרטיים בלמידה עמוקה
לא למבחן. ברוב הקורסים נשאלות שאלות שדורשות לגזור ולהסביר ולא רק להריץ. נעבוד בדיוק על החיבור בין הקוד למתמטיקה שמאחוריו.
כן, וזה החלק שהכי מעניין ללוות: מבחירת הגישה, דרך הכנת הנתונים והאימון, ועד להסביר למה התוצאה יצאה כמו שיצאה.
כן. צריך נגזרות ואלגברה לינארית ברמה בסיסית, וזה בדיוק מה שנחזק תוך כדי — על החומר של הקורס ולא בנפרד ממנו.
כן. העקרונות זהים וההבדלים הם בעיקר ב-API, אז נעבוד בספרייה שבה הקורס שלך נלמד.