かずきち。の日記

サーバサイドエンジニアのつぶやき

AdBlockの解除のご協力ありがとうございます!

1日10円運用も全然可能!さくっとGoogleクラウド・CloudSQLでビッグデータ処理し始めてみた!

f:id:kazukichi_0914:20211125223013g:plain

おとといくらいからGoogle Big Queryを始める

BigQueryとはなんぞやという話し方始めましょう。

まず「BigQuery」とはGoogleが提供しているクラウドのデータベースです。
エクセルやスプレッドシートにはセル上限というものが存在します。
しかしエクセルやスプレッドシートは人間が手でポチポチしている分にはいいんですが…
エクセルやスプレッドシートビッグデータを扱うのはパソコンが止まるので「BigQuery」をセットアップしました。
Googleが提供しているクラウドビッグデータクラウド上で計算してくれます。
世界中に点在しているGoogleサーバー上にデータを保管させてとにかく計算をしまくります。

必要なものはクレジットカード

基本的にGoogleの計算力をお借りして莫大なビッグデータを処理します。
なのでクレジットカードは必須です。

f:id:kazukichi_0914:20211125224400g:plain

そもそもコンピュータは世界中に存在しているので、基本的に日本のサーバ上で処理を行う必要はないわけです。

日本が昼だったら、ブラジルは夜。

だったら日本で計算しないで、南米のGoogleインスタンスで計算すればよくない?っていうお話です。
なので莫大な処理を世界のグリッドコンピュータに投げてしまいましょう。

CloudSQLの管理画面はこんな感じで配置するとよさげです。

f:id:kazukichi_0914:20211125223632g:plain

データベースの実態やSQL文のエラーなどを一覧で見ることができます。
これくらい画面を大胆に使っているとパソコンのモニタ大きくてよかったなと思います。
なので、ばしばしクラウドで処理をしていきましょう。

管理画面では支払金額やリクエスAPI上限などを確認できます

f:id:kazukichi_0914:20211125225049g:plain

なんでこんなダッシュボードがあるのか?というと基本的にクラウドコンピュータを使用していますのでお金が発生します。
Googleの持っているクラウド資源を使わせてもらっていますからね。
クレジットカードから使用分に応じてお金が引き落とされますが0.09ドルの請求だったりするのでお金の心配はする必要がありません。

どちらかというとリクエスAPI回数というのが重要です。
私は基本的にAPI(Application Programming Interface)で主要なGoogleの資源にアクセスします。
Gmailスプレッドシートといったサービスにアクセスするには1日当たりの上限が存在します。
日本とGoogleの北アメリカ間サーバ間でゼロコンマのスピードでAPIを提供してくれるのでシームレスにデータの処理を行うことができます。
日本の電車などが遅延があるようにGoogleにもデータ処理の遅延があります。

status.cloud.google.com
引用:
https://status.cloud.google.com/

Googleクラウドにはステータスダッシュボードが存在して正常にサービスを提供しているかという情報が確認できます。
電車の遅延やNTTドコモとかの障害がよくニュースになりますが、ぶっちゃけGoogleのほうが障害を出しているだろうと思っています。
でもなんでこんなに安定に動作しているかというと、システムが多重化され影響が最小限になるようになっていると思います。
日本のシステムは豪華一点主義なので大本営がやられると終わります。

f:id:kazukichi_0914:20211125230404j:plain

日本のシステムは基本的に冗長的に考えられていないので「戦艦大和」の沈没のように主艦が落ちるともう取り返しがつかないのです。
でもアメリカは小さいボートで攻め込んでくるわけです。
別に1隻の駆逐艦Uボートが沈没しても全体としては大きく支障はないわけです。

そんなわけで今日からGoogleクラウドを始めてみました。

Google本体よりも正直面白い気がしています。
自分はAmazonも好きだけどコーディングはGoogleが好きです。
なぜなら困った時に検索すればだいたい助けてくれますからね。
とりあえず今日からGCP(GoogleCloudPlatform)の開発環境を作ったのでこれからコツコツ触っていこうと思います。