Big Data Pipeline Engineering

Course Overview

בעולם שבו מידע זורם מכל כיוון – אפליקציות, אתרים, מערכות מכירות וחיישנים – האתגר הגדול ביותר הוא לאסוף את הכל למקום אחד בצורה מסודרת ובטוחה.

קורס זה נועד ללמד אתכם איך לבנות את ה"אינסטלציה" של עולם הנתונים: מערכת של צינורות דיגיטליים (Data Pipelines) שיודעים לקחת מידע גולמי ומבולגן ולהפוך אותו למידע איכותי שניתן לקבל ממנו החלטות עסקיות. נתמקד בתהליכי ה-ETL המודרניים (שליפה, עיבוד וטעינה), שהם הלב הפועם של כל ארגון טכנולוגי.

נלמד כיצד לוודא שהנתונים בדרך אינם "מזוהמים" וכיצד להפעיל כלים טכנולוגיים שחושפים את האמת מאחורי המספרים.

נבין איך בונים מערכות שמזהות חריגות ודפוסים חשודים בזמן אמת בתוך מיליוני עסקאות דיגיטליות. נלמד להשתמש בחתימות דיגיטליות ובמתודולוגיות אימות כדי להבטיח שהמידע שמגיע למחסן הנתונים הוא מקורי ולא עבר מניפולציה.