كيف تبدأ في بناء ETL مخصص باستخدام Scala

متى تكون Scala مناسبة لـ ETL

تكون Scala مفيدة بشكل خاص عندما تكون منطقية ETL معقدة بما يكفي بحيث توفّر التجريدات القوية والمكتبات القابلة لإعادة الاستخدام وفحوصات وقت الترجمة جهد صيانة حقيقيًا. كما أن التكامل مع Apache Spark طبيعي جدًا.

What Spark, Hadoop, and HDFS Actually Are

These technologies are related, but they are not the same layer of the stack.

ابدأ بالبنية الصحيحة

Do You Have to Use Spark?

No. Spark is powerful, but it is not the mandatory starting point for every ETL pipeline.

هيكل المشروع

يمكن لمشروع ETL بسيط قائم على Spark أن يبدأ بـ build.sbt وفئة main واحدة وبنية src/main/scala تقليدية. عدّل إصدارات المثال لتناسب بيئة الكلاستر المستهدفة.

name := "custom-etl"

version := "0.1.0"

scalaVersion := "2.13.17"

val sparkVersion = "4.1.2" // Replace to match your target cluster

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-sql" % sparkVersion % "provided",
  "com.typesafe" % "config" % "1.4.3",
  "org.scalatest" %% "scalatest" % "3.2.19" % Test
)

هيكل job أساسي

حتى الـ job الصغير يجب أن يستقبل مسارات الإدخال والإخراج كوسائط، وينشئ SparkSession، ويطبق سلسلة تحويلات واضحة، ويكتب إلى تنسيق حتمي مثل Parquet.

package dev.ryware.etl

import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions.{col, to_timestamp}

object CustomEtlJob {
  def main(args: Array[String]): Unit = {
    val inputPath = args(0)
    val outputPath = args(1)

    val spark = SparkSession.builder()
      .appName("custom-etl-job")
      .getOrCreate()

    val curated = spark.read
      .option("header", "true")
      .csv(inputPath)
      .filter(col("transaction_id").isNotNull)
      .withColumn("amount", col("amount").cast("decimal(18,2)"))
      .withColumn("updated_at", to_timestamp(col("updated_at")))

    curated.write
      .mode("overwrite")
      .parquet(outputPath)

    spark.stop()
  }
}

When Postgres Is Enough and When to Move to a Warehouse

Raw database size matters, but query concurrency, data shape, retention, and the cost of long analytical scans matter more.

What If the Source Files Are XML and You Need XPath?

Spark can process XML, but the best approach depends on how irregular the documents are and how much XPath logic you need.

ما الذي يجب إضافته لاحقًا للإنتاج