Data Engineer

פתח תקווה בסמוך לרכבת הקלה/חיפה (בהתאם לרצון המועמד/ת)| משרה מלאה | היברידי

במסגרת התפקיד:

• אינטגרציית נתונים ופיתוח פייפליין: תכנון, בנייה ותחזוקה של פייפליינים יציבים המחברים בין מקורות נתונים מגוונים, כולל בסיסי נתונים, APIs, פלטפורמות ענן ומערכות צד שלישי. אחריות על תהליכי חילוץ, שינוי והטענה (ETL), תוך הבטחת דיוק, עקביות ואמינות הנתונים.

• אחסון נתונים וארכיטקטורה: שיתוף פעולה עם צוותים חוצי-תחומים לתכנון ואופטימיזציה של מערכות אחסון ואחזור נתונים. יישום פתרונות מחסן נתונים התומכים בביצוע שאילתות וניתוח יעילים, תוך הקפדה על שיטות עבודה מיטביות במידול נתונים.

• איכות נתונים וממשל נתונים: ניטור איכות הנתונים והטמעת נהלי ממשל נתונים לשמירה על שלמות נתונים גבוהה. עבודה על ניקוי, אימות ופרופילינג של נתונים להבטחת דיוק ושלמות.

• כוונון וביצועים: אופטימיזציה שוטפת של פייפליינים וביצועי בסיסי נתונים לשיפור יעילות עיבוד הנתונים הכוללת. זיהוי ופתרון צווארי בקבוק ובעיות ביצועים בתשתית הנתונים.

• טכנולוגיות וכלי אינטגרציה: שמירה על עדכניות בכלים וטכנולוגיות אינטגרציה חדשות. הערכה והמלצה על כלים ופלטפורמות מתאימים לשיפור תהליכי האינטגרציה.

• ניסיון מוכח של שנה לפחות כ-Data Engineer, עם דגש חזק על אינטגרציה ותהליכי ETL.

• ניסיון בפיתוח ב- Python ועם Spark / Pyspark – חובה

• שליטה בשפות תכנות כמו Python, Java או Scala לצורכי עיבוד ואינטגרציית נתונים (Python מועדף).

• הבנה מעמיקה של מושגי מידול נתונים וטכנולוגיות בסיסי נתונים כמו SQL, NoSQL, ופתרונות ביג דאטה.

• היכרות עם כלי אינטגרציה ופלטפורמות נתונים בענן, כגון Databricks, AirFlow, Kafka, Spark, AWS, Glue – חובה.

• ידע בממשל נתונים, אבטחת נתונים ועקרונות פרטיות נתונים.

• מיומנויות פתרון בעיות מצוינות ויכולת להתמודד עם בעיות הקשורות לנתונים.

• כישורי תקשורת ושיתוף פעולה חזקים לעבודה יעילה עם צוותים חוצי-תחומים, כולל מדעני נתונים, אנליסטים ובעלי עניין עסקיים.