DATA MANAGEMENT
AIとアーカイブの双方に適したストレージ
AIについて確かに言えるのは、学習に大量のデータが必要だということです。大規模言語モデル(LLM)、画像生成、推奨アルゴリズムのために入力できるデータが多ければ多いほど、精度の高い結果につながります。しかし、AIは単にビッグデータを読み込めるだけでなく、私たちが所有する膨大な量のデータを理解するのにも役立ちます。
AIは、インデックス作成、カタログ化、画像認識を通じて強力な検索エンジンとなり、企業におけるデータの扱い方を再定義しました。つまり、AIエンジンを利用できるようになった途端に、ほぼすべての企業データが価値あるものとして見なされるようになったのです。長期アーカイブの「コールド」なデータでさえ、AIモデルを通せば貴重な洞察を得られる可能性があります。
アクティブアーカイブにおけるコールドデータの種類
もちろん、組織にはアーカイブ以外にもさまざまなデータがあります。特にメディアを多用する組織では、新しいデータや積極的に利用するデータが絶えず流れ込む状況に対処する必要があります。しかし、コールドデータ資産を徹底的に理解し、その戦略的価値を最大限に引き出すことも重要です。
Active Archive Allianceの年次レポートによると、コールドデータは主に以下の3つに分類されます。
履歴データ:過去のプロジェクトや分析のために収集されたが、現在は積極的に使用および学習されていないデータ。更新されたデータによって置き換えられた、旧バージョンのデータも含まれる。
長期コンプライアンスデータ:参照またはコンプライアンスの目的で保存されているが、進行中のAIタスクでは積極的にアクセスされないデータ。規制遵守や法的要件のほか、長期的な分析のために収集されたデータが含まれる。
実験データ:主要なワークフローの一部としてではなく、実験目的または予備調査に使用されるデータ。これらのデータセットは参照用として保管されるが、実験が終了すると定期的にアクセスされることはない。
AIに適したアーカイブ環境を作成するコツは、AIパイプラインの各段階に適切なストレージを選択することです。Wasabiでは、データの取り込みとアーカイブの段階に重点を置いています。ストレージに求められるのは、効率的に拡張して膨大なメディアアーカイブを収容できることです。また、人間とAIの両方にシームレスなオンデマンドアクセスを提供しながら、低コストで実用的に実装できることも重要です。Wasabiは、これらの要素をすべて兼ね備えたクラウドオブジェクトストレージを提供します。さらにWasabiはこの度、Active Archive Allianceに最新のクラウドオブジェクトストレージベンダーとして参加いたします。
コスト要因
アーカイブに携わる方であれば、「安価で大容量」という表現で販売されるアーカイブストレージを目にしたことがあるかもしれません。「安価で大容量」なクラウドストレージは、テラバイトあたりの初期コストが低いかもしれませんが、予期しない隠れたコストが発生し、全体の価格が急上昇することがよくあります。
クラウドオブジェクトストレージの領域では、ストレージに支払う料金をはるかに上回るデータアクセス料金や利用料金が発生する可能性があります。実際に、Wasabi 2025 Cloud Storage Index Reportによると、ストレージ料金の半分近くがストレージ以外の料金に充てられていたケースも確認されています。安価なコールドストレージ層では、データアクセスのインスタンスごとに料金が請求されます。そのため、1,000件あたりわずか1セントなど、少額の料金設定の場合でも、合計額がすぐに膨らんでしまいます。
こう言ったケースは、特にAIを扱う際に当てはまります。AIは、新しいモデルの学習や微調整の目的で、アーカイブデータへ定期的にアクセスします。AIを活用したアクティブアーカイブ戦略を検討している組織は、クラウドストレージを選択する際、お買い得に見える製品にも注意を払う必要があります。データへのアクセスやデータ移動に高額な料金を課して予算を圧迫することのないストレージプロバイダーを検討しましょう。
Wasabiを選ぶメリット
Wasabi Hot Cloud Storageは、高い可用性・コスト効率・安全性を備えたクラウドオブジェクトストレージです。私たちは、価格・パフォーマンス・サイバーレジリエンスを兼ね備えてアクティブアーカイブに最適なソリューションを提供します。
可用性:AIワークロードで即座にデータへアクセスし、使用できるストレージを提供。
料金:APIリクエスト料やデータの下り転送料が無料なうえ、TBあたりのストレージ料金を低く設定。これにより、お手頃かつ予測可能な月間ストレージ価格を実現。
サイバーレジリエンス:物理、データ、アカウントの各セキュリティレベルにおいて多層的なゼロトラスト方式を採用し、お客様のアーカイブを安全に保存。
Wasabiは、Active Archive Allianceの最新クラウドストレージプロバイダーとして、お手頃な価格で高いパフォーマンスを提供します。3月19日に開催されたAI Virtual Showcaseでは、AIとアクティブアーカイブの関係性について講演いたしますので、ぜひご来場ください。
昨今のAIチームは、クラウドオブジェクトストレージで増え続けるデータを保存および管理し、AIモデルのトレーニング、微調整、運用に役立てています。この理由は非常に明快で、機械学習パイプライン、検索拡張生成(RAG)、推論を含むAIワークロードの多くが非構造化データを好み、オブジェクトストレージはこういった煩雑な情報やメタデータの保存に最適であるためです。現在、画像・動画・メール・文書・センサーログなどの非構造化データが、企業データの80%以上を占めています。しかし残念ながら、こうしたデータの多くはサイロ化しているか、AI向けではないシステムに保存されている場合がほとんどです。そのため、貴重なデータを一元管理することができるクラウドオブジェクトストレージがAIチームの関心を集めています。クラウドオブジェクトストレージは高い拡張性とコスト効率を備え、非構造化データを簡単にAIへ適応させることができます。本ブログでは、クラウドオブジェクトストレージがAIワークロードに適している理由についてご説明します。1. AI導入のコストとリスクを削減AIイニシアチブの立ち上げには、コンピューティング、ストレージ、人材への多大な投資が必要です。従来のオンプレミスインフラでは、特にストレージに関して初期段階で多額の設備投資が求められる傾向があります。これは、初めてAIを導入するチームにとって現実的とは言えません。一方、クラウドオブジェクトストレージの場合は設備投資(CapEx)の代わりに従量課金制を採用しており、ニーズに応じてストレージコストを調整できます。これにより、新しい高価なインフラに全財産を投じずとも、パイロット運用、新しいモデルのテスト、戦略の調整が容易に行えます。AIの実験段階でクラウドオブジェクトストレージを使用することで、ハードウェア構築のコスト負担がない状態で迅速に作業を開始できます。2. 予算内での拡張を実現AIワークロードは大量のデータを消費し、非常に動的になる傾向があります。そのため、プロジェクトが進化し、新たな変数が導入されるにつれて、ビジョンモデル、大規模言語モデル(LLM)、微調整のサイズが肥大化することがよくあります。これによって、データ量だけでなく求められる容量も予測できないほど急増する可能性があります。クラウドはこのような成長にも対応し、柔軟に拡張します。例えば、来週に容量を2倍にする必要がある場合でも、クラウドオブジェクトストレージを使えば業務を中断せずに対応することが可能です(オブジェクトストレージを使用してデータの急増を管理する方法はこちら)。ただし、AIワークロードはAPIを集中的に消費する可能性があるため、クラウドオブジェクトストレージプロバイダーを選択する際には注意が必要です。再トレーニング、推論、パイプライン自動化が同じデータセットから繰り返し行われると、APIリクエストなどの手数料が急速に増加する恐れがあります。お手頃かつ予測可能なコストで大規模なAIデータを保管するには、使用量に基づいたシンプルな価格設定のプロバイダーを探す必要があります。3. いかなる場所でも最高のコンピューティングリソースを活用最新のAIワークロードはモジュール化されています。多くの場合、チームはクラウドでコンピューティングを実行したのち、別のクラウドでオーケストレーション処理を行い、内部および外部ソースからデータを取得します。そのため、コンピューティングとストレージを単一の環境に閉じ込める手法はもはや現実的ではありません。そこで、ストレージをコンピューティングから分離すれば、各ワークロードに最適なツールとクラウドを柔軟に使用できるようになります。S3互換のオブジェクトストレージは、パブリッククラウド、ハイブリッド展開、特殊なGPU環境ともスムーズに連携します。これにより、制限のない状態で、特定のニーズや市場に応じてコンピューティング環境とストレージ環境を組み合わせることが可能になります。クラウドオブジェクトストレージは、AIアーキテクチャに含まれるGPUファーストのクラウド、オンプレミスのデータセンター、コンテナ化されたアプリ、連携済みのデータパイプラインを柔軟に結び付けます。4. データサイロを解消し、AIパイプラインにデータを供給AIモデルには、単なるデータだけでなく、コンテキストが豊富な大量の非構造化データも必要です。しかし多くの組織では、こういったデータはAIワークフローに接続されていないレガシーシステム、部門サーバー、コールドアーカイブなどに閉じ込められています。オブジェクトストレージは、こうしたサイロを解消するのに役立ちます。オブジェクトストレージで大規模な非構造化データの取り込みを行うことで、AIパイプラインの各フェーズ(トレーニング、微調整、推論など)にわたって画像、動画、ログ、ドキュメントなどの資産にアクセスできるようになります。また、フラットなメタデータ主導アーキテクチャにより、特定のデータサブセットを迅速かつ効率的にタグ付け、クエリ、取得できるため、場所やタイミングを問わずAIモデルに必要な情報を容易かつ正確に提供することが可能です。AI向けに企業データを統合する際は、クラウドオブジェクトストレージを利用することでデータを使いやすくアクセスしやすい環境が実現します。5. AI資産を保護し、レジリエンスを確保独自のモデルを構築する場合でも、機密性の高い顧客データを使用して微調整する場合でも、コンプライアンスや将来の再トレーニングのために出力をアーカイブする場合でも、取り扱うコンテンツの保護は必須です。クラウドオブジェクトストレージは、データの耐久性、不変性、地理的な冗長性を強力にサポートします。また、オブジェクトロック、バージョン管理、ネイティブ暗号化(保存時および転送中)などの機能によって、データの改ざんや不正アクセスを防ぎます。さらに、GDPR、HIPAA、FERPAなどの業界標準および規制へも準拠します。こういった状態を保つことは、AIチームにとって単なるセキュリティ以上のものを意味します。AIモデルを再構築、再トレーニング、または再検証する必要がある場合、クラウド内に信頼性が高くイミュータブルなデータソースがあるかどうかは非常に重要です。スケーラブルで持続可能なAIの基盤ストレージ戦略は、AIイニシアチブの速度、コスト、成功に大きな影響を与えます。大規模言語モデル(LLM)の試験運用や、企業全体における検索拡張生成(RAG)ベースのアプリケーション拡張などを行う際は、それに対応しうるインフラが必要です。クラウドオブジェクトストレージは、昨今のAIに合わせて構築されています。また、大規模な非構造化データを処理し、あらゆるコンピューティング環境と簡単に統合でき、多額の先行投資も必要ありません。さらに、取り込みから推論、アーカイブに至るまで、データパイプラインの進化に合わせて適応できる柔軟性も備わっています。多くのプラットフォームがオブジェクトストレージを提供していますが、すべてがAI向けに最適化されているわけではありません。ハイパースケーラーを利用した場合、複雑な価格設定で下り転送料やAPIリクエスト料金がかかり、コストが予測不可能になる傾向があります。これにより、実験が停滞し、総所有コストが押し上がる可能性があります。一方、Wasabiは高性能かつS3互換のクラウドオブジェクトストレージによってこれらの障壁を排除します。また、Wasabiでは従量課金制を採用しており、容量に対して定額料金が設定されているため、下り転送料やAPIリクエスト料などの手数料は一切かかりません。Wasabiのセキュリティに対する多層防御アプローチでは、不変性と、業界初の機能であるマルチユーザー認証が手数料なしでご利用いただけます。これにより、たとえ管理者であっても、複数の承認なしにストレージバケットやアカウント全体を削除することができなくなり、重要なAIデータの保護がさらに強化されます。こういった条件を加味して、より多くのチームがデータ集約型のAIイニシアチブをサポートする際にWasabiを選択しています。...
データは今やビジネスにおける主要な通貨となっており、それゆえに攻撃者の主要な標的となっています。ランサムウェアの増加、内部脅威の深刻化、そしてコンプライアンス要件の厳格化に伴い、企業は攻撃者に決して侵害されることのない安全策を必要としています。12月2日(火)、Wasabiは「Covert Copy(コバート コピー)」を発表しました。これはWasabi Hot Cloud Storageの特許出願中の新機能であり、ユーザーが選択したストレージバケットに対して、ロックされた不可視(隠し)コピーを作成できるようにするものです。この保護されたコピーにより、万が一ランサムウェア攻撃を受けたとしても、重要なデータは手つかずのまま確実に守られます。エンタープライズクラスの保護を、シンプルかつ手頃な価格でランサムウェア攻撃の主な手口は、ビジネスに不可欠な機密データの持ち出しと、それに続くデータの暗号化や破壊です。被害を最大化し、可能な限り高額な身代金を搾取するために、バックアップデータまでもが攻撃対象となっています。これまで、他のクラウドプロバイダーで「仮想エアギャップ」を実装するには、高度なセキュリティ知識やシステム知識に加え、複雑なツール、ポリシー、ルールの管理が必要でした。その結果、多くの顧客はリソースや時間を費やすよりも、リスクを受け入れることを選んでしまっていました。Covert Copyは、導入の合理化、つまりシンプルにすることでその複雑さを無くします。これはWasabi Hot Cloud Storageに含まれる機能であるため、ユーザーは保護したいデータを選択し、数回クリックするだけで保護プロセスを開始できます。ストレージレベルでの高度なデータ保護のセットアップと運用がシームレスに行えるため、ユーザーは何を保護すべきかを驚くほど簡単に選択できます。Covert...
クラウドストレージは、あらゆる組織、特にマネージドサービスプロバイダー(MSP)がサポートするビジネスにとって基盤となる要素です。MSPとは、テクノロジー導入の最前線に立ち、常時接続のオンデマンド環境でクライアントと顧客のやり取りをサポートする役割を指します。最新のCloud Storage Indexによると、過去5年間で72%の組織がクラウドオブジェクトストレージを使用しています。今ではクラウドを単に導入するだけでなく、それに伴う説明責任も求められるようになり、より難解な課題に対応しなければなりません。また、昨今のデータ利用に合わせて構築されていないプラットフォームではクラウドストレージの請求額が予想を上回る傾向にあり、投資利益率(ROI)を検証する必要が生じています。私たちはこの状況に対応するトップクラスのMSPの現状を知るべく、Vanson Bourne社との提携により、大規模かつ複雑な環境を管理するMSPのシニアリーダーたちにインタビューを行いました。そこで得られた情報は驚くほど率直で、一貫性があり、時に困難な課題も伴うものでした。信頼性が高く、コスト効率に優れたクラウドストレージをサービスに組み込む際、MSPが直面する5つの厳しい現実を分析してみましょう。1. データ量は急増しており、その勢いは未だ衰えずデータの増加は減速していません。2024年、クラウドに保存されているデータ量は3.6ゼタバイトにのぼります。IDCは、2028年までにその量は3倍になると予測しています。AIの導入、コンプライアンス、ハイブリッドワークなど、データ増加の原因は多岐にわたります。それが何であれ、大量のデータ生成への早急な対応が求められていることに変わりはありません。インタビューを受けたMSPは、前年比15~20%のストレージ増加を行っていることがわかりました。リモートでの連携、セキュリティログ、AIモデルのトレーニングなどにビッグデータを使用する目的で、ストレージの需要が高まっています。2. 多くのMSPが依然として単一のエコシステムに留まっている多くのMSPは、単一のベンダーに依存しないアプローチを採用し、業界・インフラ・デジタル成熟度が異なるクライアントに幅広く対応しながら増大するデータ需要に対処しています。一方、各ベンダーのプラットフォームはそれぞれ目的が異なります。たとえば、AzureはMicrosoftベースのスタックを多用する企業に適しています。GCPはAI対応のワークロードと分析に秀でています。AWSは多くの場合、汎用ワークロードを強化します。ワークロードのパフォーマンス、コンプライアンス、コスト効率を両立させるには、こういったサービスを適切に組み合わせる必要があります。しかし現実には、MSPのストレージワークロードの70~75%はまだAWS上で実行されています。その理由は、AWSからの移行に高額なコストがかかるためです。データの移動、ワークロードの再調整、ベンダーの完全な切り替えを行う場合は「退出税」として下り転送料を支払う必要があります。もし、ビジネスにより適した別のプラットフォームを見つけたとしても、コストが高額になるため、クラウド移行が困難になる可能性があります。3. データアクセスおよびデータ利用の増加による予算オーバー2024年、MSPの80%がクラウドストレージ料金が予算オーバーになったと回答しています。また、この予算の半分は容量ではなく手数料に充てられたことが判明しました。データは日常的な操作で頻繁にアクセスされるため、コストが急速に増加します。85%の回答者が少なくとも月に1回バックアップデータを復元83%の回答者が少なくとも月に1回アーカイブデータにアクセスバックアップを復元、災害復旧計画のテスト実行、クライアントのアーカイブデータ取得などを行う場合、そのたびにAPI料金、下り転送料、階層移行コストが発生します。そのため、アーキテクチャを変更しない限り、クライアントのニーズに応じるためにより多くの料金を支払うことになります。4. コストを優先することでデータが無防備な状態にCloud Storage Indexでは毎年、セキュリティの重要性を強調していますが、組織の現状は異なるようです。実際に、ランサムウェア、誤削除、内部脅威に対する最も重要な安全対策の一つである不変性(オブジェクトロック)を実際に取り入れているMSPは半数以下でした。この理由は、オブジェクトロックなどのコア保護を有効にするとストレージコストが高くなるためと思われます。オブジェクトロック関連のコストオブジェクトロックを設定するためのPUTリクエスト保持設定を確認するためのGET/HEADリクエストライフサイクルポリシーが変更または拡張された場合のPOST/DELETEリクエストプレミアム機能を追加しないと最低限のセキュリティを得られない状態では、ベストプラクティスやコンプライアンスに対応できず、データの脆弱性が増すことになります。5....
