かずきち。の日記

サーバサイドエンジニアのつぶやき

TensorFlowをさくっと準備して、BigQueryで遊んでみたら数時間で数万円が軽く吹っ飛んだ

TensorFlowとは?

人工知能というと範囲が広いです。
昔はコンピュータは決められた1+1=2などは簡単に計算ができ自動化できますが、人間のように過去から学ぶみたいな事はできなかったわけです。
でも日本の会社って人工知能とはかけ離れていて、2021年でも人間が人手で処理をしていて

「日本…大丈夫か?」っていうのが本音です。

大学にいたときは最先端の分野に触れられるんですけど…
会社に入ると急に江戸時代じゃなかろうか?みたいな謎な慣習があります。

f:id:kazukichi_0914:20211212220602g:plain

日本の会社は先輩・後輩の関係は絶対というか、上の者には逆らうなみたいな雰囲気を出していますからね。
まー最先端のことをやりたいなら家で誰にも文句を言われない環境でやろう!

ということで、情報爆発の時代にふさわしく、pipコマンドで簡単にTensorFlowの環境を作ってみました。

f:id:kazukichi_0914:20211212213726g:plain

簡単に環境構築ができました。
でもこれって家のパソコンの電気代をめっちゃ食うなーということで、
この操作を自分でパソコンでやるのは大変なので、安いインスタンスのためにGoogleCloud上に環境構築してみました。
意外に簡単に構築できて大満足です。

データ処理を一晩終えて

f:id:kazukichi_0914:20211212214820g:plain

一晩開けてコンソールを見てみると、データの処理量が「PB」って書いてあります。

f:id:kazukichi_0914:20210928220049g:plain

Pってなんだろう?
嫌な予感がします。
キロバイト、メガバイト、ギガバイト、テラバイト…のなにか次の単位なんだろうなというのは軽く想像ができます。

PB=「ペタバイト」

一晩で一気にペタバイトの計算量をしてくれちゃったようです。
でもこんな情報量、お高いんじゃない?
リミット1万円をつけておいてよかったなと安心しています。
この調子だとGoogleに思いっきり課金するやつ出てくるだろと思い、検索してみました。

無料プランのはずがたった1日の利用で750万円をGoogleから請求された企業が破産寸前に

gigazine.net
引用:
https://gigazine.net/news/20201211-google-firebase-72k-burn/

1日で750万円課金の事例とかあるようです。
恐ろしいですね。
GoogleCloudを使いこなす前に、課金体系をよく勉強しないと破産しますね。

GCPの教科書

GCPの教科書

Amazon

これは今までのプログラミング感覚で実装するぞということで速攻で本を購入しました。
これはなんとなくパソコンに入れる代物ではなく、きちんと準備をしないと即死案件ということがよくわかりました。

TwitterでもGoogleCloudの被害者の投稿は多いようです。

f:id:kazukichi_0914:20211212220124g:plain
引用:
https://twitter.com/shin5ok/status/1464222850198700032

しかもTwitterでもセンシティブな内容が含まれる可能性のあるメディアですと忠告を受けている。
そりゃセンシティブな内容ですからね。

小さなデータセットならエクセルやスプレッドシートで計算できちゃうので…
やるならビッグデータで遊びたいのが本音ですが、いきなりビッグデータに手を出すと破産するというジレンマがあるわけですね。
次の日、「Googleクラウドで事故りました」って上司に報告したら、経費で補填してくれるとのことです。
九死に一生を得ました…
車の運転の練習とかより、これは生死に関わるのできちんと勉強しよう。