2021年11月10日と11日の2日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2021」がオンラインで開催されました。そこで齋藤氏と尾野氏が「LINEデータプラットフォームにおけるApache Icebergの導入」というテーマで、データ処理と ...

長年にわたり、データエンジニアリングコミュニティはオープンテーブルフォーマットの未来について議論してきました。Delta LakeのDatabricksとの密接な統合が勝者となるのか？ Apache Hudiのストリーミング世界での早期採用が持ちこたえるのか？ それともApache ...

本日は、Open Data Formats/オープンデータフォーマット（Delta Lake、Apache Iceberg、Apache Hudi）で、普及し始めた2つのフォーマット（DeltaとIceberg、Hudi）について、調査してみました。 Open Data Formatは、その文脈から、Open Table Formats, Open File Formatsなどと言われることも ...