BigQuery

データ基盤の処理最適化によるBigQueryコスト削減

こんにちは。データエンジニアの谷元です。 この記事は Enigmo Advent Calendar 2022 の21日目の記事です。 目次 はじめに どうしてデータ基盤を最適化する必要があるの? どうしたら改善できるの? 現状のデータ基盤のおさらい 主要なBUYMA基幹データの最新…

セッショナイズで機械学習モデルの精度を改善した話

データから機械的な(ボットのような)アクセスを除外したことで、機械学習モデルの精度が改善しました。そもそも気づいた経緯や検出方法、除外した結果について紹介いたします。

dbt x BigQueryを使ってみた

こんにちは、エニグモでデータサイエンティストをしている堀部です。 昨年末から使い始めたdbt x BigQueryについて共有します。 BigQuery歴2年、SQL歴5年ほどになります。 QUALIFY句が好きです。 dbtを使い始めたきっかけ 使ってみてよかった点 前処理〜特徴…

BigQueryとAirtableをGASとZapierで自動連携してNPSアンケートチェックを効率化した話

こんにちは、エニグモカスタマーマーケティング事業本部で出品審査などを担当している杉山です。この記事はEnigmo Advent Calendar 2021の10日目の記事です。 昨年のアドベントカレンダーでは、日頃の担当業務についてWantedlyで書きましたが、今回は開発者…

SQL Server、BigQuery、Redshift 日付型の比較&リファレンス

この記事はEnigmo Advent Calendar 2020 の14日目の記事です。 はじめに こんにちは、エニグモ 嘉松です。 簡単な自己紹介ですが、BUYMAのプロモーションやマーケティングを行っている事業部に所属して、その中のデータ活用推進室という部署で会社のデータ活…

Apache Airflow で実現するSQL ServerからBigQueryへのデータ同期

はじめに この記事はEnigmo Advent Calendar 2018の11日目です。 Enigmoでは、データウェアハウス(DWH)としてBigQueryを使っていて、サービスのアクセスログやサイト内の行動ログ、データベースのデータをBigQueryへ集約させています。 データベースからBi…