おとといくらいからGoogle Big Queryを始める
BigQueryとはなんぞやという話し方始めましょう。
まず「BigQuery」とはGoogleが提供しているクラウドのデータベースです。
エクセルやスプレッドシートにはセル上限というものが存在します。
しかしエクセルやスプレッドシートは人間が手でポチポチしている分にはいいんですが…
エクセルやスプレッドシートでビッグデータを扱うのはパソコンが止まるので「BigQuery」をセットアップしました。
Googleが提供しているクラウドでビッグデータをクラウド上で計算してくれます。
世界中に点在しているGoogleサーバー上にデータを保管させてとにかく計算をしまくります。
必要なものはクレジットカード
基本的にGoogleの計算力をお借りして莫大なビッグデータを処理します。
なのでクレジットカードは必須です。
そもそもコンピュータは世界中に存在しているので、基本的に日本のサーバ上で処理を行う必要はないわけです。
日本が昼だったら、ブラジルは夜。
だったら日本で計算しないで、南米のGoogleインスタンスで計算すればよくない？っていうお話です。
なので莫大な処理を世界のグリッドコンピュータに投げてしまいましょう。
CloudSQLの管理画面はこんな感じで配置するとよさげです。
データベースの実態やSQL文のエラーなどを一覧で見ることができます。
これくらい画面を大胆に使っているとパソコンのモニタ大きくてよかったなと思います。
なので、ばしばしクラウドで処理をしていきましょう。
管理画面では支払金額やリクエストAPI上限などを確認できます
なんでこんなダッシュボードがあるのか？というと基本的にクラウドコンピュータを使用していますのでお金が発生します。
Googleの持っているクラウド資源を使わせてもらっていますからね。
クレジットカードから使用分に応じてお金が引き落とされますが0.09ドルの請求だったりするのでお金の心配はする必要がありません。
どちらかというとリクエストAPI回数というのが重要です。
私は基本的にAPI(Application Programming Interface)で主要なGoogleの資源にアクセスします。
Gmailやスプレッドシートといったサービスにアクセスするには１日当たりの上限が存在します。
日本とGoogleの北アメリカ間サーバ間でゼロコンマのスピードでAPIを提供してくれるのでシームレスにデータの処理を行うことができます。
日本の電車などが遅延があるようにGoogleにもデータ処理の遅延があります。
status.cloud.google.com
引用：
https://status.cloud.google.com/
Googleクラウドにはステータスダッシュボードが存在して正常にサービスを提供しているかという情報が確認できます。
電車の遅延やNTTドコモとかの障害がよくニュースになりますが、ぶっちゃけGoogleのほうが障害を出しているだろうと思っています。
でもなんでこんなに安定に動作しているかというと、システムが多重化され影響が最小限になるようになっていると思います。
日本のシステムは豪華一点主義なので大本営がやられると終わります。
日本のシステムは基本的に冗長的に考えられていないので「戦艦大和」の沈没のように主艦が落ちるともう取り返しがつかないのです。
でもアメリカは小さいボートで攻め込んでくるわけです。
別に１隻の駆逐艦やUボートが沈没しても全体としては大きく支障はないわけです。
