DatabricksのDeclarative Pipelineでは、データ品質を担保するためのルール(Expectations)を宣言的に定義できます。ただ、実装方法として「SQL(YAMLに近い形式)」と「Python(DLTなどを活用)」の2つの選択肢があり、どちらを選ぶべきか迷う方も多いのではない ...
Today, at its annual Data + AI Summit, Databricks announced that it is open-sourcing its core declarative ETL framework as Apache Spark Declarative Pipelines, making it available to the entire Apache ...