מדריך AWS Glue

AWS Glue לזיהוי אנומליות, איכות נתונים וניפוי תקלות

AWS Glue מכסה חלק גדול משטח הבקרה של ETL: תזמור מנוהל, כללי איכות נתונים, בדיקות מדדים היסטוריות ותצפיתיות בזמן ריצה. הוא אינו מחליף שיקול דעת הנדסי, אך הוא יכול לקצר משמעותית את הדרך מתסמין לשורש הבעיה.

יישמו בקרות Glue צפו במרכז ה-ETL

למה Glue מתאים היטב לבקרות ETL

Glue משלב הרצת ETL ללא שרתים, קטלוג מרוכז, יצירת jobs ויזואלית ומבוססת קוד, וניטור מובנה. זה חשוב כי זיהוי אנומליות עובד היטב רק כאשר זמן הריצה של הפייפליין, המדדים ההיסטוריים וכללי האיכות נמצאים קרוב מספיק זה לזה כדי להיות שמישים.

מבט מעשי: Glue מסייע בבדיקות נפח עסקאות, אכיפת איכות נתונים וניפוי תקלות תפעולי. הוא אינו פועל כבודק קוד סטטי עבור הסקריפטים שלכם.

מה Glue מכסה היטב

נפח עסקאות

עקבו אחר ספירת שורות או אירועים לעומת היסטוריה עדכנית כדי לתפוס ירידות פתאומיות, קפיצות או דפוסים יומיים חריגים לפני שסומכים על טבלאות בהמשך.

איכות נתונים

בדקו שלמות, ייחודיות, רעננות, שלמות רפרנציאלית ועוד תנאים רבים כחלק מה-job של ה-ETL עצמו.

ניפוי תקלות בזמן ריצה

השתמשו ברישום לוגים בזמן אמת, בנראות התקדמות ובניטור jobs כדי לצמצם כשלים לשלב ה-job, ה-transform או נתיב הסקריפט הרלוונטי.

בדיקות ספירת עסקאות ואנומליות היסטוריות

אם חשוב לכם לזהות אנומליות בעסקאות, האות הראשון הוא כמעט תמיד נפח. ב-Glue Data Quality, כלל ספירת שורות בהשוואה להרצות היסטוריות הוא לעיתים קרובות הדרך המהירה ביותר לזהות פיד עליון שבור או טעינה חלקית.

Rules = [
  IsComplete "transaction_id",
  IsUnique "transaction_id",
  RowCount > avg(last(3))
]

Analyzers = [
  DistinctValuesCount "customer_id",
  ColumnLength "status"
]

התבנית הזו משתמשת ב-baseline נגלל כך שההרצה הנוכחית מושווית להיסטוריה עדכנית במקום למספר קבוע יחיד. זה הופך אותה לשימושית הרבה יותר עבור דפוסי ימי חול ושונות עונתית.

איכות נתונים ואיתור רשומות כושלות מדויקות

Glue Data Quality אינו מוגבל לציוני צבירה בלבד. הוא יכול להעריך כללים בזמן ריצה, ובמקרים נתמכים, לסייע לכם לזהות את הרשומות המדויקות שנכשלו.

מועמדים טובים לכללים

- מזהה עסקה חייב להיות שלם וייחודי
- סטטוס חייב להישאר בתוך קבוצה מותרת
- חותמת זמן של תשלום חייבת להיות רעננה מספיק עבור ה-SLA
- מפתחות זרים חייבים להתאים לממדי ייחוס

למה זה חשוב

- ניתוח שורש בעיה מהיר יותר
- טבלאות הסגר נקיות יותר
- מטענים טובים יותר להתראות עבור מהנדסים ואנליסטים
- פחות הרצות חוזרות עיוורות לאחר כשלים חלקיים

כיצד Glue עוזר לכם למצוא בעיות בנתיב הקוד

Glue יכול לחשוף את ה-transform או שלב ה-job הכושל דרך לוגים וטלמטריה של jobs, ו-Glue Studio יכול לסייע לכם לנפות תקלות או לערוך את הסקריפט שמאחורי job ויזואלי. זה שימושי, אך שונה מבדיקת קוד אוטומטית.

import com.amazonaws.services.glue.log.GlueLogger

val logger = new GlueLogger
logger.info(s"Starting curated load for batch=$batchId")
logger.error(s"Validation failed for source=$sourceName")

הבחנה חשובה: Glue מצוין בחשיפת כשלים בזמן ריצה, רשומות בעייתיות ומדדים חשודים. הוא אינו תחליף לבדיקות יחידה, בדיקת קוד או ניתוח סטטי בפייפליין ה-CI שלכם.

מחסנית בקרות Glue הגיונית

1. קטלוג

השתמשו ב-crawlers ובקטלוג כדי לתקנן מטא-נתוני טבלאות.

2. Job

הריצו את ה-ETL ב-Glue Studio או ב-jobs מבוססי סקריפט של Glue.

3. איכות

העריכו היסטוריית ספירת שורות, שלמות, ייחודיות וכללי תחום.

4. תצפיתיות

השתמשו בלוגים, באותות התקדמות ובהתראות כדי לאתר כשלים במהירות.

מדריכי ETL קשורים

השוו פלטפורמות, תכננו זיהוי אנומליות רחב יותר, או בנו נתיבי ETL מותאמים ב-Scala.

חזרה למרכז ה-ETL

Platform Comparison