אחד התפקידים החשובים בתחום המידע והניהול שלו הוא מפתח Big Data, שאחראי על הסדר של המידע בארגון ועל היכולת שלו להשתמש בו בצורה יעילה לפעולות השגרה השונות. בכל מקום יש כמויות נתונים רבות שצריך לאחסן בצורה נכונה ומסודרת, ולספק כלים מקצועיים לשליפה מהירה של הנתונים, לעיבוד שלהם ולמטרות נוספות. זהו אחד התפקידים המבוקשים ביותר בעולם ההייטק, והשכר הממוצע מתאים לביקוש. בואו להכיר קצת יותר את עולם הביג דאטה ואת האנשים העובדים בו.

יום בחייו: השגרה היומית של מפתח ביג דאטה

השגרה היומית של מפתח ביג דאטה תלויה לרוב בתחומי האחריות שלו בתוך הארגון ובפרויקטים שהוא מנהל באותו הזמן. הינה כמה דוגמאות למשימות שגרתיות שהרבה מפתחי ביג דאטה עוסקים בהן:

  • הטמעת מערכות ותשתיות בארגון שמטרתן לסנן מידע, לעבד אותו או לאחסן אותו לפי הפרוטוקול הנדרש וביעילות מרבית
  • אופטימיזציה וניהול של מסדי נתונים שונים שהארגון משתמש בהם ושל אלגוריתמים בתחום הנתונים
  • פתרון בעיות המשבשות את רצף העבודה בתחום הנתונים, בשיתוף פעולה עם צוותי QA או עם צוותים שונים בתחום הפיתוח בארגון
  • ניהול פרויקטים בתחום הדאטה, מעקב אחר ההתקדמות שלהם וקיום תקשורת עם הצוותים והמנהלים הרלוונטיים

 

תחומי האחריות של מפתח בעולם ה-Big Data

עולם הנתונים של כל ארגון הוא רחב, ומפתח ביג דאטה צריך להיות אחראי על לא מעט עניינים:

  • אחסון, עיבוד וניתוח נתונים – המפתח הוא זה שאחראי על אחסון הנתונים בצורה יעילה בארגון, על עיבוד כמות גדולה של נתונים בזמן הקצר ביותר ובשימוש בתשתיות המפותחות ביותר ועל ניתוח שלהם כדי לשפר את פעילות הארגון ולהגדיל את התפוקה והרווחים שלו
  • פיתוח ותיעוד של קודים ואלגוריתמים – האחריות על הקודים והאלגוריתמים המתעסקים באחסון, בעיבוד ובניתוח של נתונים בכל הארגון היא של מפתח ביג דאטה, בשיתוף פעולה עם הצוותים הרלוונטיים
  • ניהול פרויקטים – יש לא מעט פרויקטים הקשורים לביג דאטה בארגון, והם באחריות של המפתח
  • פתרון בעיות ואבטחה – כל בעיה בפעילות השוטפת של התשתיות הרלוונטיות, לרבות אבטחת המידע של הארגון, צריכה לקבל את תשומת ליבו של המפתח ושל אנשי המקצוע המשיקים הרלוונטיים כמו צוותי QA ואנשי סייבר

 

האתגרים של מפתח בעולם הדאטה

העניין הרב שבפיתוח ביג דאטה מגיע מלא מעט אתגרים שהמפתחים צריכים להתמודד איתם על בסיס יום יומי:

  • טיפול בכמות נתונים עצומה – ככל שהארגון מסועף ובעל היקף רחב יותר, כך כמות המידע שהמפתחים צריכים להתמודד עימה גדלה, וזה אומר שנדרש מאמץ רב יותר לפיתוח הכלים הנכונים ולפתרון בעיות בצורה הממוקדת והיעילה ביותר
  • אבטחת מידע – מידע רב בפרט ומידע בכלל דורש גם רמת אבטחת מידע מספקת כדי למנוע נזקים לעסק ולתשתית העבודה. המפתחים עובדים בשיתוף פעולה עם צוותי הסייבר וההגנה כדי לוודא שהאיומים מינימליים
  • אבטחת איכות – המערכות והקודים שהמפתחים עובדים עליהם צריכים להיות יעילים ושהמידע העובר בהם ומתקבל מהם נכון ואמין. את העבודה הזו הם עושים בעצמם ובשיתוף פעולה עם צוותי QA
  • שיתוף פעולה רב תחומי – העבודה של מפתחי ביג דאטה דורשת מהם לשתף פעולה עם צוותים ומנהלים רבים מתחומים משיקים בארגון כולו, כדי ליצור שטף עבודה נכון ויעיל
  • ניהול משאבים – המידע המעובד הוא רב אבל המשאבים של הארגון מוגבלים (רבים ככל שיהיו), וזהו תפקידו של המפתח לוודא שניצול המשאבים נכון, יעיל וגם חסכוני במידת האפשר
  • התמודדות עם גידול בכמות המידע – ככל שהארגון מתפתח, כך גם כמות המידע שהוא מקבל וצורך גדולה יותר. המפתח צריך לדעת להתאים את יכולות התשתיות לגידול הפוטנציאלי הזה

 

היתרונות של מפתח ביג דאטה

אז למה בעצם כדאי להיכנס לעבודה בתחום ביג דאטה? הינה כמה יתרונות מרכזיים:

  • עבודה בתחום חדש ומעניין – העולם של ביג דאטה נחשב חדש יחסית והוא הבסיס להמון פיתוחים חדשניים בשנים האחרונות בתחום ההייטק, המשפיעים רבות על אופי העבודה של ארגונים שלמים ועל הדרכים שבהן אנחנו מתקדמים מבחינה טכנולוגית. מפתחי ביג דאטה עוזרים לפתח מוצרים חדשים ואת הפן העסקי של הארגון לצד פיתוח התשתיות שעליהן הוא מתבסס. כמות החידושים בתחום גדולה ובכל יום תוכלו ללמוד נושא חדש או לקרוא על חידוש מעניין וטרנדי
  • מסלולי תעסוקה רבים – מפתחי ביג דאטה מתעסקים בעבודתם בנושאים רבים בתחום, וגם כשתרצו להתקדם תגלו שיש לכם המון מסלולים לבחור מהם. בהמשך נפרט את כל אפיקי הקריירה הרלוונטיים למפתחי ביג דאטה בכירים
  • ביקוש עצום – כתחום חדש המציג יעילות רבה ופיתוחים מדהימים, הביקוש לאנשי מקצוע המבינים בנושא הוא גבוה מאוד, והם משתכרים סכומים יפים מאוד. מייד נדבר על השכר הממוצע של מפתח בתחום

 

שכר מפתח Big Data

השכר החודשי של מפתח ביג דאטה מתחיל הוא כ-20,000 ש"ח בערך, וככל שהוותק נצבר כך גם השכר עולה בצורה ניכרת. כבר לאחר 5 שנות ניסיון מפתחים יכולים לקבל שכר של 30,000 ש"ח לפחות. חשוב לזכור שהשכר משתנה לפי גורמים כמו החברה הספציפית שבה עובדים והאזור הגאוגרפי שבו העבודה נמצאת, הכישורים שהמפתחים מביאים איתם לתפקיד וניסיון בתפקידים קודמים אחרים ועוד. מפתחים בכירים בתחום, ובייחוד כאלו שקיבלו על עצמם אחריות ניהולית או תחומי אחריות מרובים סביב תחת מספר כובעים, נהנים מתוספת שכר יפה לשכר הממוצע המרשים גם כך.

 

מפתח ביג דאטה: דרישות התפקיד 

חושבים שתפקיד של ביג דאטה יכול להתאים לכם? הינה כמה מדרישות הבסיס לכניסה לתחום:

  • השכלה מקצועית רלוונטית, לרבות קורס ביג דאטה או תואר ראשון לפחות בתחום מדעי המחשב או בתחום משיק אחר
  • ידע וניסיון בתחומים טכניים קריטיים: פיתוח אלגוריתמים ותכנות בשפות שונות כמו פיית'ון, ג'אווה ו-SQL, ניתוח סטטיסטי, ארכיטקטורת נתונים
  • בדרך כלל נדרשת היכרות עם מסגרות עבודה לעיבוד ביג דאטה כמו Hadoop, Spark ועוד
  • לרוב דורשים גם ניסיון בפיתוח פרונט אנד או בק אנד
  • כישורים בין אישיים: יכולת עבודה בצוות, יכולת עמידה בלחצים, יכולת תעדוף משימות, יכולת תקשורת טובה ויכולת למידה מהירה ובפרט למידה עצמית

נתונים נוספים שמעניקים יתרון משמעותי:

  • ניסיון מעשי בעבודה עם טכנולוגיות ביג דאטה
  • היכרות עם מערכות לכריית נתונים, למשל RapidMiner, SAS ו-SPSS
  • היכרות עם כלי BI כגון Tableau, QlikView ו-Power BI
  • ניסיון או ידע בתחומים משיקים כמו בינה מלאכותית או למידת מכונה

 

מסלול ההתקדמות של מפתח Big Data

מסלול הקריירה ממש לא נעצר בתחום הפיתוח של ביג דאטה, ובין שתבחרו להישאר בתחום ולהתפתח עוד או לעבור לתחום משיק אחר בעולם הנתונים האפשרויות רבות ומגוונות. תוכלו לנהל צוות של מפתחים בעולם הדאטה ואפילו צוות של מנהלים, לעבור לתכנון ארכיטקטורת הנתונים בארגון שלכם, להיכנס לעולם למידת המכונה המיוחד, להיות מנהלי מוצר המשתמשים רבות בנתונים הנתמכים בעבודתם של מפתחי ביג דאטה ואפילו לייעץ בנושא הטמעת פתרונות ביג דאטה בארגונים אחרים. הביקוש למפתחי ביג דאטה ולכאלו הבקיאים בכל התשתיות הדרושות לו רק גדל עם הזמן, וככל שיש לכם יותר ידע בנושא כך אפשרויות ההתקדמות שלכם יהיו רבות ומעניינות יותר.

 

לסיכום

מפתח ביג דאטה הוא תפקיד מבוקש, ורסטילי ומעניין, הפותח בפני העוסקים בו הזדמנויות רבות לשכר מספק ולעבודה מאתגרת. יש לו תחומי אחריות רבים והוא טומן בחובו גם לא מעט אתגרים להתמודד איתם מדי יום. עם זאת לתפקיד הזה יש פוטנציאל עצום להזניק קדימה כל חברה וארגון.

סינון מתקדם איפוס סינון

סינון מתקדם איפוס סינון
טווח שכר
גודל חברה
ליד קו רכבת
אישור
מצאנו 50 תוצאות לחיפוש שעשית במקצוע: מפתח Big Data
הגדרת סוכן חכם

Data Engineer

לחברת Start-up יציבה ומצליחה, המפתחת אפליקציות בתחום ה- Mobile Ordering, דרוש/ה Data Engineer. במסגרת התפקיד, פיתוח תהליכי ETL למערכות Big Data ב-Python עבודה עם טכנולוגיות Mongo, Elasticsearch , Big Data, MySQL

מה צריך:

4+ שנות ניסיון בתכנון ויישום מערכות Data
2+ שנות ניסיון בעבודה עם Python
SQL ברמה גבוהה כולל שאילתות מורכבות ו-Stored Procedures
ניסיון עם אחד או יותר מהטכנולוגיות- Redshift, Elasticsearch, Mongo, Mysql, hive, athena, Spark
השכלה אקדמאית
  • Big Data
  • PYTHON

על החברה:

חברה המפתחת פלטפורמת Mobile להזמנות מזון וכן מערכת מקבילה לניהול אפליקציית שליחים עבור השוק האמריקאי.
  • תן ביס/סיבוס

מקצוע:

מפתח BI
מספר משרה: 79025
יותר מידע

Senior Big Data Developer

לחברת אינטרנט גלובאלית מובילה בתחומה העוסקת ב-Online Marketing ומתמחה ב-Shopping Comparison דרוש/ה Senior Big Data Developer מנוסה! הזדמנות להיכנס לצוות העומדת בקדמת הטכנולוגיה, סביבה צעירה ותנאים מעולים!

מה צריך:

ניסיון של לפחות 5 שנים בתכנות SCALA / JAVA
ניסיון של שנתיים לפחות spark - חובה
ניסיון מעשי עם נתונים וטכנולוגיות קוד פתוח כמו Kafka, Redshift, Airflow, Cloudwatch, Flink וכו '.
ניסיון במסגרות עיבוד זרם כמו Flink
יכולות שאילתות SQL חזקות וניסיון מעשי עם DBs SQL ו- NoSql
התנסות מעשית על פיתוח AWS - יתרון
  • AWS
  • Big Data

על החברה:

חברת הייטק גלובאלית עוסקת ב-Online Marketing ומתמחה ב-Shopping Comparison.
עובדים עם הטכנולוגיות הכי מתקדמות וחדישות בשוק.

מקצוע:

מתכנת Java
מספר משרה: 79862
יותר מידע

Big Data Developer

דרוש/ה Big Data Developer לחברת סטארט אפ מבוססת ויציבה בתחום ה-Marketing automation. החברה פיתחה אלגוריתם שעוזר לאנשי שיווק להגיע לקהל יעד מתאים ועובדת עם לקוחות גדולים בארה"ב.

מה צריך:

תואר BSc / MSc במדעי המחשב/ בתחום קשור/ רקע מקביל מיחידות טכנולוגיות בצבא.
5 + שנות ניסיון בעבודה על יישומים בקנה מידה גדול בסביבת SaaS.
ניסיון באחד מהבאים: Storm / Spark / Flink / Samza.
ניסיון באחת משפות התכנות הבאות: Python / Java / C# (.Net) / C++ / Ruby
הכרת מערכות Unix / Linux ו סקריפטים של SHELL.
  • Big Data

על החברה:

חברת סטארט אפ מבוססת ויציבה, בתחום המרקטינג אוטומיישן. פיתחו אלגוריתם שעוזר לאנשי שיווק להגיע לקהל יעד מתאים.
  • לאחר גיוס הון
  • תן ביס/סיבוס

מקצוע:

C# developer
מספר משרה: 78562
  • השרון
  • טווח שכר 27K - 37K
  • מספר משרה: 78562
יותר מידע

Big Data Tech Lead

דרוש/ה Big Data Tech Lead לחברת הייטק בתחום הפינטק. מפתחים כלים לחיזוי אנליטי בתחום הפיננסי. הלקוחות הם בנקים וחברות אשראי בכל העולם. הזדמנות להשתלב בתפקיד מאתגר עם מגוון אפשרויות ללמוד ולהתפתח מקצועית.

מה צריך:

לפחות 7 שנות ניסיון בפיתוח לצד שרת
ניסיון בעבודה עם SQL/NoSQL
כמו כן, ניסיון בעבודה עם הטכנולוגיות: Spark, Flink, Redis, Kafka
ניסיון בפיתוח ב- JAVA
סביבת LINUX
תואר BSc או MSc במדעי המחשב
  • Big Data
  • Java

על החברה:

חברת הייטק בתחום ה Fintech, מפתחים כלים לחיזוי אנליטי בתחום הפיננסי. הלקוחות הם בנקים, חברות אשראי בכל העולם. ישנם שני מוצרים עיקריים: הראשון עושה אוטימיזציה לתמחור והשני פרסונליזציה ע"פ לקוח. תעשיה: Fintech
מספר משרה: 78438
יותר מידע

Data Engineer

לחברה ישראלית המפתחת מערכות שמנסות לבטל את הצורך במעבדים גרפיים וניתנת ליישום על גבי מעבדים קיימים דרוש/ה מהנדס/ת נתונים בעלי מוטיבציה. במסגרת התפקיד מחקר ופיתוח של רעיונות ואלגוריתמים חדשים בתחום הראייה הממוחשבת וה- Deep Learning. כולל ביצוע אופטימיזציות, חישובים ומחקר, תגר תכנון ופיתוח תהליכי ETL מורכבים.

מה צריך:

תואר ראשון במדעי המחשב, הנדסה או דומה
ניסיון של לפחות 4 שנים בפיתוח תוכנה, מתוכם לפחות שנתיים בהנדסת נתונים ועיצוב תהליכי צינור נתונים
ניסיון בPYTHON
פיתח ETL מורכב תהליכים בשימוש בכלים כמו Spark, Hive, Luigi, Hadoop
ניסיון בעבודה עם שירותי ענן (GCP / AWS / Azure)
ניסיון עם מסדי נתונים שונים של SQL (MySQL, PostgreSQL) ו- NoSQL (MongoDB, Redis, BigQuery וכו ').
  • PYTHON

על החברה:

חברה ישראלית המפתחת מערכות עזר לנהג מבוססות אלגוריתמים ו AI
בין המשקיעות בחברה: סמסונג וסוני.
החברה כי השלימה סבב גיוס סיד בגובה 1.6 מיליון דולר
מספר משרה: 79855
יותר מידע

Senior backend big-data engineer

חברה גלובאלית המספקת שירותי הפצת תוכנות באינטרנט והתאמת הפרסומות הרלוונטיות לאפליקציות מחפשת מפתח/ת Big Data מנוסה שייצטרף/שתצטרף אליה! במסגרת התפקיד: הצטרפות לצוות מפתחים מוכשרים, עבודה עם טכנולוגיות מהמתקדמות ביותר, פיתוח ותחזוקת בסיסי נתונים בקנה מידה גדול.

מה צריך:

3 שנות ניסיון בפיתוח Backend מבוסס JVM
1+ שנות ניסיון מוכח בפיתוח ואופטימיזציה של: Spark streaming / Presto / Hive
הבנה של hadoop / yarn eco system
יכולות חזקות בכתבית קוד, עיצוב ו-debugging
ניסיון עם Linux/ Unix
ניסיון עם תשתיות מבוססות ענן
ניסיון מעשי עם סביבת RTB - יתרון
ניסיון עם Akka- יתרון
  • Big Data
  • Java
  • PYTHON

על החברה:

חברה גלובאלית המפתחת ומשווקת פתרונות מוניטיזציה מתקדמים מבוססי AI ו - Machine Learning ליצירת תוכן פרסונלי.
  • שעות גמישות
  • תן ביס/סיבוס

מקצוע:

מתכנת Java
מספר משרה: 78740
יותר מידע

Big Data Developer

חברת היי-טק גלובלית המפתחת מוצרי TV Platform אינטראקטיביים מחפשת Big Data Developer שיצטרף/תצטרף לצוות המנצח שלה! במסגרת התפקיד עיצוב ופיתוח תוכנה, עבודה עם Elasticsearch and CouchDB/ Mongo ,עבודה עם צוותי הפיתוח השונים.

מה צריך:

3 שנות ניסיון בפיתוח
1-2 שנות ניסיון בפיתוח תכנה (Perl/ Python, Java/ Scala)
ניסיון פיתוח בסביבת Unix, Linux
ניסיון עם SQL
ניסיון והבנה ב- Teradata ו- Hadoop כולל כתיבת שאילתות
ניסיון עם Hive, HDFS, Spark או Flume, Kafka.
ניסיון והבנה של ארכיטקטורה
  • Big Data
  • LINUX

על החברה:

חברת היי-טק גלובלית ומובילה בקנה מידה עולמי, המפתחת מוצרי TV Platform אינטראקטיביים.
  • איזון עבודה / בית
  • תן ביס/סיבוס
  • פעילות ספורט

מקצוע:

מתכנת Java
מספר משרה: 77755
  • השרון
  • טווח שכר 28K - 36K
  • מספר משרה: 77755
יותר מידע

Senior Software Engineer

לחברת סטארט-אפ בתחום תשתיות הוידאו דרוש/ה מהנדס/ת בכיר/ה.

מה צריך:

10+ שנים בפיתוח תוכנה
תואר ראשון במדעי המחשב או שווה ערך
נסיון של 3 שנים לפחות בפיתוח לצד ה Server בשפת node.js
מיומנויות לפיתרון בעיות ומיומנויות חשיבה אנליטיות
מיומנות ב- JavaScript, , Redis
ניסיון מוכח של אספקת כמויות גדולות של קוד מורכב ואיכותי
התנסות בכתיבת תשתיות וספריות
  • Angular
  • Big Data
  • Cloud
  • Node.js
  • React

על החברה:

חברת START-UP בתחום תשתיות ה-VIDEO העושה שימוש באלגוריתמיקה לטובת הורדת עומס מהשרתים.

מקצוע:

C# developer
מספר משרה: 80237
יותר מידע

Cloud Architect

עבור חברת Cyber גלובלית המפתחת ומספקת פתרונות לאבטחת רשתות ארגוניות דרוש/ה Cloud Architect. החברה נסחרת בנאסד"ק וממוקמת במקום העשירי בעולם בתחום ה-Cyber.

מה צריך:

8+ שנות ניסיון בפיתוח תוכנה
2+ שנות ניסיון בהקמת מערכת AWS ,Cloud services בהיקפים גדולים
B.Sc\M.Sc במדעי המחשב/ שווה ערך.
ניסיון בהובלת צוותי פיתוח - יתרון
נסיון מחברות גלובליות גדולות - יתרון
  • AWS
  • Cloud

על החברה:

מפתחים תוכנה בתחום של אבטחת מידע וניהול רשתות
מספר משרה: 80991
יותר מידע

Big Data Engineer

עבור חברת Cyber גלובלית המפתחת ומספקת פתרונות לאבטחת רשתות ארגוניות דרוש/ה Big Data Engineer. החברה נסחרת בנאסד"ק וממוקמת במקום העשירי בעולם בתחום ה-Cyber.

מה צריך:

3+ שנות ניסיון בפיתוח Java/Scala
ניסיון בעבודה עם טכנולוגיות BigData כגון: Spark, Kafka, Scala.
ניסיון בעבודה עם AWS.

על החברה:

מפתחים תוכנה בתחום של אבטחת מידע וניהול רשתות
מספר משרה: 80852
יותר מידע

בטבלאות השכר המסכמות את השנה האחרונה בתחום הנדסת התוכנה ובמגוון המשרות בהייטק בכלל, בולט שיפור גדול בשכרם של אנשי הביג דאטה – 19-23 אלף ₪ בחודש עבור תוכניתן Big Data  מתחיל ו- 27-34 אלף ₪ בחודש תוך 6-10 שנים. איך תבלטו בין כל שאר המועמדים בדרך לתפקיד הבא שלכם? בעזרת המומחיות של דיאלוג. מוכנים לעשות את הצעד הבא בקריירה שלכם? תנו לנו להביא אתכם לשם.

רוצה שאנחנו נעבוד בשבילך?

עם הסוכן החכם שלנו אפשר לקבל רק את ההצעות שמעניינות אותך, ישר למייל