AWS Glue لاكتشاف الشذوذ وجودة البيانات وتصحيح الأخطاء

لماذا يُعد Glue مناسباً بقوة لضوابط ETL

يجمع Glue بين تنفيذ ETL بدون خوادم، وكتالوج مركزي، وإنشاء المهام بصرياً وبالكود، ومراقبة مدمجة. هذا مهم لأن اكتشاف الشذوذ يعمل بشكل جيد فقط عندما يكون وقت تشغيل خط الأنابيب، والمقاييس التاريخية، وقواعد الجودة قريبة بما يكفي من بعضها البعض لتكون قابلة للتنفيذ.

ما الذي يغطيه Glue بشكل جيد

فحوصات عدد المعاملات والشذوذ التاريخي

إذا كنتم مهتمين بشذوذ المعاملات، فإن الإشارة الأولى هي دائماً تقريباً الحجم. في Glue Data Quality، تُعد قاعدة عدد الصفوف مقارنةً بالتشغيلات التاريخية غالباً الطريقة الأسرع لاكتشاف تغذية بيانات مصدرية معطلة أو تحميل جزئي.

Rules = [
  IsComplete "transaction_id",
  IsUnique "transaction_id",
  RowCount > avg(last(3))
]

Analyzers = [
  DistinctValuesCount "customer_id",
  ColumnLength "status"
]

يستخدم هذا النمط خط أساس متجدد بحيث تتم مقارنة التشغيل الحالي بالسجل التاريخي الحديث بدلاً من رقم ثابت واحد. هذا يجعله أكثر فائدة بكثير لأنماط أيام الأسبوع والتباين الموسمي.

جودة البيانات وتحديد السجلات الفاشلة بدقة

لا يقتصر Glue Data Quality على النتائج الإجمالية فقط. يمكنه تقييم القواعد في وقت التشغيل، وفي الحالات المدعومة، مساعدتكم في تحديد السجلات الدقيقة التي فشلت.

كيف يساعدكم Glue في إيجاد المشكلات في مسار الكود

يمكن لـ Glue إظهار التحويل الفاشل أو مرحلة المهمة الفاشلة من خلال السجلات وبيانات القياس عن بُعد للمهام، ويمكن لـ Glue Studio مساعدتكم في استكشاف الأخطاء أو تعديل السكربت خلف مهمة بصرية. هذا مفيد، لكنه يختلف عن مراجعة الكود الآلية.

import com.amazonaws.services.glue.log.GlueLogger

val logger = new GlueLogger
logger.info(s"Starting curated load for batch=$batchId")
logger.error(s"Validation failed for source=$sourceName")