これはシンプルな方法ですが、「table_a」が非常に大きい場合に問題があります。例えば、table_aのサイズが500GBだとして、100個のIDを調べると、単純計算で50TBのデータを処理することになります。データが大きければ大きいほど、処理コストも高くなります。 特定のカラムを選択しても、例えば ...

この記事は、 BigQuery Advent Calendar 2022の 25日目です。 こんにちは。ユビレジで遊撃サーバーチームに所属している濱口です。普段は開発基盤や分析基盤の整備をメインでやっています。 今回は、先日 BigQuery のレガシーな日付別テーブルについて試行錯誤する ...

近年ではRedashやMetabaseのようなBIツールを簡単に導入でき、さらにはMySQLはバージョン8. 0からwindow関数が利用できるようになり、より分析的なSQLを記述する機会が増えた読者もいるかも知れません。このような分析に利用するSQLを記述をすると、どうしても ...

ログインして、InfoQのすべての体験をアンロックしましょう！お気に入りの著者やトピックの最新情報を入手し、コンテンツと交流し、限定リソースをダウンロードできます。 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with ...

今回からは、SQL Data Warehouseのアーキテクチャを詳しく紹介します。SQL Data Warehouseのアーキテクチャを理解すれば、データベースのチューニングなども役に立ちます。今回のテーマは「テーブルの分散」に関わるSQL Data Warehouseのアーキテクチャです。 SQL Data ...

翔泳社では、「独習」「徹底入門」「スラスラわかる」「絵で見てわかる」「一年生」などの人気シリーズをはじめ、言語や開発手法、最新技術を解説した書籍を多数手がけています。プロジェクトマネジメントやチームビルティングといった管理職向けの ...