Airflow

Apache Airflowで実装するDAG間の実行タイミング同期処理

こんにちは。 今年4月にエニグモに入社したデータエンジニアの谷元です。 この記事は Enigmo Advent Calendar 2020 の20日目の記事です。 目次 はじめに そもそも同期処理とは? Airflowによる同期処理 検証時のコード サンプルをAirflow画面で見ると? 同期…

Apache Airflow で実現するSQL ServerからBigQueryへのデータ同期

はじめに この記事はEnigmo Advent Calendar 2018の11日目です。 Enigmoでは、データウェアハウス(DWH)としてBigQueryを使っていて、サービスのアクセスログやサイト内の行動ログ、データベースのデータをBigQueryへ集約させています。 データベースからBi…