クラウドソリューション・インフラ構築・最適化
Microsoft Azure、AWS、Google Cloud、あるいは御社のプライベートクラウドへのAIの展開。環境をコードとして書き起こすので、動いているものはすべて誰かが決めたものになり、かかっている費用はすべて見えるようになります。
お金の行き先
アクセスが来なかったローンチのために用意されたサイズのインスタンス。誰も止めなかったテスト環境。誰も何も言わなかったから永遠に残されているログ、そして一日一度しか動かないモデルのために時間単位で課金されるGPU。どれも決定ではありません。誰も見直さなかった初期設定です。費用がかかりすぎている環境は、たいてい誰も全体を説明できない環境でもあり、それが守りにくさの原因にもなっています。
アカウント、ネットワーク、クラスタ、権限のすべてをコードとして定義し、レビューを通して変更します。存在するものは誰かが決めたもので、その決定は履歴に残っています。
忙しい午後にコンソールでつくられ、知っているのは一人の担当者と請求書だけというリソース。その人が辞めるか、請求書が届くまでは、問題なく動きます。
提供内容
五つの領域です。多くの関与は、いまお金か睡眠のどちらかをいちばん奪っている領域から始まります。
Microsoft Azure、AWS、Google CloudでのAIワークロード。データを置いてよい場所や、プロバイダーが提供するモデルといった理由があるときは、複数にまたがって。マルチクラウドは、ほとんどの環境がたどり着く偶然ではなく、決定であるべきです。
環境にはTerraform、その上で動くものにはHelm。御社のリポジトリに置き、アプリケーションのコードと同じレビューを通して適用します。リポジトリから環境を作り直せることが、それが理解されていることの唯一の本当の証明です。
サービスの数と変化の速さが見合うときはDockerとKubernetesを、見合わないときはもっと簡素なものを。Kubernetesは本物の問題を解決しますが、それ自身の問題も持ち込みます。選ぶ理由は前者であるべきです。
御社の外に出してはいけないデータのために、あるいは自社のハードウェアで動かしたいモデルのために。コード、レビュー、監視という同じ実践を、たまたま御社のものであるインフラの上で行います。
すべてのリソースに持ち主とワークロードのタグを付け、予算とアラートは支出の後ではなく前に設定し、何がなぜ動いているかを定期的に確かめます。目標はいちばん安い請求書ではなく、すべての行に理由がある請求書です。
進め方
すべてのアカウント、リソース、請求書の行、そしてそれぞれの持ち主。環境と請求書が並べて読まれるのは、これが初めてということも少なくありません。その二つのずれが、仕事の出発点です。
各ワークロードをどこで、なぜ動かすのか。何に耐えなければならず、それにいくらかかるのか。可用性はワークロードごとに、停止一時間が実際に御社にもたらす損失と照らし合わせて選びます。
環境をTerraformとHelmで表現し、アプリケーションのコードと同じようにレビューします。次の変更は、コンソールで過ごす午後ではなく、一本のプルリクエストになります。
三段階目で、環境は記述され、すべての変更がレビューを通るようになります。 残りの二つが、その状態を保ち、請求書を正直に保ちます。
利用者が気づくことへのアラートと、どの行がどのワークロード、どのチームのものかを示すコストのレポート。驚きは、経理部門ではなくダッシュボードが見つけるべきです。
コード、手順書、アクセス権を御社の手に。そして当社なしで次の変更ができるチームを。外部の一社しか運用できない環境は、最初の環境の、より高価な版にすぎません。
はっきり言うと
ナインが一つ増えるごとに、冗長性、リージョンの追加、そしてアラートに応える起きている人が必要になり、そのたびに前より高くつきます。ですから正直な目標は、停止一時間が御社にもたらす損失によって、ワークロードごとに決まります。どちらも値段を確かめていない数字をこのページに載せるより、それを御社と一緒に割り出したいと考えています。
その前に
Microsoft Azure、AWS、Google Cloud、そしてプライベートクラウドやオンプレミスの環境。その上での構築と運用にはTerraform、Docker、Kubernetes、Helmを使います。たいていの正解は、御社のデータとチームがすでにいるプラットフォームです。費用を抑えるためのクラウド移行は、移行そのものの費用に耐えられないことがほとんどです。ページ上部の図のラベルは仕事の種類を表しており、そこに描かれたコンプライアンス基準は当社が取得している認証ではなく、監視も当社が昼夜を問わず提供するサービスではありません。
おそらく、ありません。複数のクラウドにまたがる環境のほとんどは、買収や偶然でそうなったもので、重複したスキルとツールでその代償を払っています。規制、顧客、あるいは必要なモデルがそれを求めるときには、意図して行う価値があります。そしてそのときの仕事は、二つ目のクラウドを一つ目と同じくらい、退屈なほど安定して運用することです。
データか経済性がそれを求める場合には。御社の外に出せないデータで常に動くモデルなら、自社のハードウェアのほうが安く簡単になることがあります。たまにしか動かないモデルなら、たいていそうはなりません。誰かがサーバーを発注する前に、その計算を御社と一緒に行います。
触る前に、それぞれの行が何のためにあるのかを確かめることです。節約の大半は地味なところから生まれます。誰も使っていないリソース、ローンチのために選んだサイズ、誰も設定しなかった保持期間。それらはほかのすべてと同じレビュー済みのコードで取り除くので、どの変更も元に戻せます。
エンタープライズAIソリューションは取り組み全体です。どのユースケースに、どのモデルを使い、どう統制し、MLOpsをどう回すか。こちらはその足元にある地盤です。アカウント、ネットワーク、クラスタ、そして請求書。多くのAIの取り組みには両方が必要ですが、どちらか一方で足りるチームもあるので、別のページにしています。エンタープライズAIソリューション。