Airflow

エニグモにおける開発生産性分析の取り組み

こんにちは、サービスエンジニアリング本部の平井です。 こちらはEnigmo Advent Calendar 2023の20日目の記事です。 私は、エンジニア部門で取り組んでいる開発生産性分析について紹介します。 開発生産性分析を試みた経緯 現在、エニグモでは開発組織体制の…

データ基盤の処理最適化によるBigQueryコスト削減

こんにちは。データエンジニアの谷元です。 この記事は Enigmo Advent Calendar 2022 の21日目の記事です。 目次 はじめに どうしてデータ基盤を最適化する必要があるの? どうしたら改善できるの? 現状のデータ基盤のおさらい 主要なBUYMA基幹データの最新…

Apache Airflowで実装するDAG間の実行タイミング同期処理

こんにちは。 今年4月にエニグモに入社したデータエンジニアの谷元です。 この記事は Enigmo Advent Calendar 2020 の20日目の記事です。 目次 はじめに そもそも同期処理とは? Airflowによる同期処理 検証時のコード サンプルをAirflow画面で見ると? 同期…

Apache Airflow で実現するSQL ServerからBigQueryへのデータ同期

はじめに この記事はEnigmo Advent Calendar 2018の11日目です。 Enigmoでは、データウェアハウス(DWH)としてBigQueryを使っていて、サービスのアクセスログやサイト内の行動ログ、データベースのデータをBigQueryへ集約させています。 データベースからBi…