יום בחייו: השגרה היומית של מפתח ביג דאטה
השגרה היומית של מפתח ביג דאטה תלויה לרוב בתחומי האחריות שלו בתוך הארגון ובפרויקטים שהוא מנהל באותו הזמן. הינה כמה דוגמאות למשימות שגרתיות שהרבה מפתחי ביג דאטה עוסקים בהן:
- הטמעת מערכות ותשתיות בארגון שמטרתן לסנן מידע, לעבד אותו או לאחסן אותו לפי הפרוטוקול הנדרש וביעילות מרבית
- אופטימיזציה וניהול של מסדי נתונים שונים שהארגון משתמש בהם ושל אלגוריתמים בתחום הנתונים
- פתרון בעיות המשבשות את רצף העבודה בתחום הנתונים, בשיתוף פעולה עם צוותי QA או עם צוותים שונים בתחום הפיתוח בארגון
- ניהול פרויקטים בתחום הדאטה, מעקב אחר ההתקדמות שלהם וקיום תקשורת עם הצוותים והמנהלים הרלוונטיים
תחומי האחריות של מפתח בעולם ה-Big Data
עולם הנתונים של כל ארגון הוא רחב, ומפתח ביג דאטה צריך להיות אחראי על לא מעט עניינים:
- אחסון, עיבוד וניתוח נתונים – המפתח הוא זה שאחראי על אחסון הנתונים בצורה יעילה בארגון, על עיבוד כמות גדולה של נתונים בזמן הקצר ביותר ובשימוש בתשתיות המפותחות ביותר ועל ניתוח שלהם כדי לשפר את פעילות הארגון ולהגדיל את התפוקה והרווחים שלו
- פיתוח ותיעוד של קודים ואלגוריתמים – האחריות על הקודים והאלגוריתמים המתעסקים באחסון, בעיבוד ובניתוח של נתונים בכל הארגון היא של מפתח ביג דאטה, בשיתוף פעולה עם הצוותים הרלוונטיים
- ניהול פרויקטים – יש לא מעט פרויקטים הקשורים לביג דאטה בארגון, והם באחריות של המפתח
- פתרון בעיות ואבטחה – כל בעיה בפעילות השוטפת של התשתיות הרלוונטיות, לרבות אבטחת המידע של הארגון, צריכה לקבל את תשומת ליבו של המפתח ושל אנשי המקצוע המשיקים הרלוונטיים כמו צוותי QA ואנשי סייבר
האתגרים של מפתח בעולם הדאטה
העניין הרב שבפיתוח ביג דאטה מגיע מלא מעט אתגרים שהמפתחים צריכים להתמודד איתם על בסיס יום יומי:
- טיפול בכמות נתונים עצומה – ככל שהארגון מסועף ובעל היקף רחב יותר, כך כמות המידע שהמפתחים צריכים להתמודד עימה גדלה, וזה אומר שנדרש מאמץ רב יותר לפיתוח הכלים הנכונים ולפתרון בעיות בצורה הממוקדת והיעילה ביותר
- אבטחת מידע – מידע רב בפרט ומידע בכלל דורש גם רמת אבטחת מידע מספקת כדי למנוע נזקים לעסק ולתשתית העבודה. המפתחים עובדים בשיתוף פעולה עם צוותי הסייבר וההגנה כדי לוודא שהאיומים מינימליים
- אבטחת איכות – המערכות והקודים שהמפתחים עובדים עליהם צריכים להיות יעילים ושהמידע העובר בהם ומתקבל מהם נכון ואמין. את העבודה הזו הם עושים בעצמם ובשיתוף פעולה עם צוותי QA
- שיתוף פעולה רב תחומי – העבודה של מפתחי ביג דאטה דורשת מהם לשתף פעולה עם צוותים ומנהלים רבים מתחומים משיקים בארגון כולו, כדי ליצור שטף עבודה נכון ויעיל
- ניהול משאבים – המידע המעובד הוא רב אבל המשאבים של הארגון מוגבלים (רבים ככל שיהיו), וזהו תפקידו של המפתח לוודא שניצול המשאבים נכון, יעיל וגם חסכוני במידת האפשר
- התמודדות עם גידול בכמות המידע – ככל שהארגון מתפתח, כך גם כמות המידע שהוא מקבל וצורך גדולה יותר. המפתח צריך לדעת להתאים את יכולות התשתיות לגידול הפוטנציאלי הזה
היתרונות של מפתח ביג דאטה
אז למה בעצם כדאי להיכנס לעבודה בתחום ביג דאטה? הינה כמה יתרונות מרכזיים:
- עבודה בתחום חדש ומעניין – העולם של ביג דאטה נחשב חדש יחסית והוא הבסיס להמון פיתוחים חדשניים בשנים האחרונות בתחום ההייטק, המשפיעים רבות על אופי העבודה של ארגונים שלמים ועל הדרכים שבהן אנחנו מתקדמים מבחינה טכנולוגית. מפתחי ביג דאטה עוזרים לפתח מוצרים חדשים ואת הפן העסקי של הארגון לצד פיתוח התשתיות שעליהן הוא מתבסס. כמות החידושים בתחום גדולה ובכל יום תוכלו ללמוד נושא חדש או לקרוא על חידוש מעניין וטרנדי
- מסלולי תעסוקה רבים – מפתחי ביג דאטה מתעסקים בעבודתם בנושאים רבים בתחום, וגם כשתרצו להתקדם תגלו שיש לכם המון מסלולים לבחור מהם. בהמשך נפרט את כל אפיקי הקריירה הרלוונטיים למפתחי ביג דאטה בכירים
- ביקוש עצום – כתחום חדש המציג יעילות רבה ופיתוחים מדהימים, הביקוש לאנשי מקצוע המבינים בנושא הוא גבוה מאוד, והם משתכרים סכומים יפים מאוד. מייד נדבר על השכר הממוצע של מפתח בתחום
שכר מפתח Big Data
השכר החודשי של מפתח ביג דאטה מתחיל הוא כ-20,000 ש"ח בערך, וככל שהוותק נצבר כך גם השכר עולה בצורה ניכרת. כבר לאחר 5 שנות ניסיון מפתחים יכולים לקבל שכר של 30,000 ש"ח לפחות. חשוב לזכור שהשכר משתנה לפי גורמים כמו החברה הספציפית שבה עובדים והאזור הגאוגרפי שבו העבודה נמצאת, הכישורים שהמפתחים מביאים איתם לתפקיד וניסיון בתפקידים קודמים אחרים ועוד. מפתחים בכירים בתחום, ובייחוד כאלו שקיבלו על עצמם אחריות ניהולית או תחומי אחריות מרובים סביב תחת מספר כובעים, נהנים מתוספת שכר יפה לשכר הממוצע המרשים גם כך.
מפתח ביג דאטה: דרישות התפקיד
חושבים שתפקיד של ביג דאטה יכול להתאים לכם? הינה כמה מדרישות הבסיס לכניסה לתחום:
- השכלה מקצועית רלוונטית, לרבות קורס ביג דאטה או תואר ראשון לפחות בתחום מדעי המחשב או בתחום משיק אחר
- ידע וניסיון בתחומים טכניים קריטיים: פיתוח אלגוריתמים ותכנות בשפות שונות כמו פיית'ון, ג'אווה ו-SQL, ניתוח סטטיסטי, ארכיטקטורת נתונים
- בדרך כלל נדרשת היכרות עם מסגרות עבודה לעיבוד ביג דאטה כמו Hadoop, Spark ועוד
- לרוב דורשים גם ניסיון בפיתוח פרונט אנד או בק אנד
- כישורים בין אישיים: יכולת עבודה בצוות, יכולת עמידה בלחצים, יכולת תעדוף משימות, יכולת תקשורת טובה ויכולת למידה מהירה ובפרט למידה עצמית
נתונים נוספים שמעניקים יתרון משמעותי:
- ניסיון מעשי בעבודה עם טכנולוגיות ביג דאטה
- היכרות עם מערכות לכריית נתונים, למשל RapidMiner, SAS ו-SPSS
- היכרות עם כלי BI כגון Tableau, QlikView ו-Power BI
- ניסיון או ידע בתחומים משיקים כמו בינה מלאכותית או למידת מכונה
מסלול ההתקדמות של מפתח Big Data
מסלול הקריירה ממש לא נעצר בתחום הפיתוח של ביג דאטה, ובין שתבחרו להישאר בתחום ולהתפתח עוד או לעבור לתחום משיק אחר בעולם הנתונים האפשרויות רבות ומגוונות. תוכלו לנהל צוות של מפתחים בעולם הדאטה ואפילו צוות של מנהלים, לעבור לתכנון ארכיטקטורת הנתונים בארגון שלכם, להיכנס לעולם למידת המכונה המיוחד, להיות מנהלי מוצר המשתמשים רבות בנתונים הנתמכים בעבודתם של מפתחי ביג דאטה ואפילו לייעץ בנושא הטמעת פתרונות ביג דאטה בארגונים אחרים. הביקוש למפתחי ביג דאטה ולכאלו הבקיאים בכל התשתיות הדרושות לו רק גדל עם הזמן, וככל שיש לכם יותר ידע בנושא כך אפשרויות ההתקדמות שלכם יהיו רבות ומעניינות יותר.
לסיכום
מפתח ביג דאטה הוא תפקיד מבוקש, ורסטילי ומעניין, הפותח בפני העוסקים בו הזדמנויות רבות לשכר מספק ולעבודה מאתגרת. יש לו תחומי אחריות רבים והוא טומן בחובו גם לא מעט אתגרים להתמודד איתם מדי יום. עם זאת לתפקיד הזה יש פוטנציאל עצום להזניק קדימה כל חברה וארגון.
