技術パートナー

Snowflakeのデータストレージに役立つWasabi

Wed Sep 13 2023By Luke Boland

昨今、世界中がマルチクラウドへと移行しています。多くの企業では、ワークロード、アプリケーション、データなどを複数のプラットフォームに分散させることで、特定ベンダーへ過度に依存することなく、コストやリスクを減らそうという働きが見られます。このような環境を実現するのが、マルチクラウドです。

先日、クラウドデータプラットフォームのリーダー企業であるSnowflakeでは、Wasabi Hot Cloud Storageのサポートが追加されました。これにより、非構造化データ(ビジネス文書、ビデオ、電子メール、オーディオファイルなど)、半構造化データ(JSON、Avro、ORC、Parquet、XMLファイルなど)保存を大規模なクラウド企業に代わってユーザー自身が行えるようになりました。Wasabiは様々な種類のデータに対応しているため、Snowflakeのデータレイク・ソリューションにも大きく貢献しています。

Snowflakeのサービスはクラウドベースのデータ分析を提供することに特化しており、ユーザーはリアルタイムの洞察を確認しながら、ビジネスを包括的に理解することができます。

さらに、Snowflakeでデータレイクを構築しているユーザーは、Wasabiの「外部ステージ」を作成できるようになりました。Snowflakeでは、ストレージ内におけるデータファイルの場所を「ステージ」と呼びます。ステージには、内部・外部の二種類があります。内部ステージはユーザーが保持するSnowflakeアカウントの一部であり、テーブルからデータファイルをロードおよびアンロードする際、中間の格納場所として使用されます。つまり、データを取り込むフェーズにおいて、ユーザーがファイルを配置するフォルダとお考えください。一方、外部ステージはSnowflakeサービスの外部に置くができ、ユーザーが所有、管理、支払いを行います。このステージのストレージ消費に関する料金は、Snowflakeではなく、AWS、Google、Microsoft、もしくはWasabiから請求されます。

SnowflakeにWasabiの外部ステージが追加されたことで、ユーザーは以下ふたつのユースケースに対応できるようになりました。

  1. 非構造化データを保存し、Snowflakeのデータベーステーブルへの入力に使用する

  2. Snowflakeの外部テーブルを保存し、他のユーザーと共有する

Enterprise-Cloud-Storage-Pyramid


外部テーブルとSnowflakeのクロスクラウド機能によって、特定のクラウドやリージョンに限定されない状態でデータを保存することができるようになりました。このようなマルチクラウド環境は、金融サービス、メディア、エンタメ、医療など、連携が不可欠な業界・事例においてとても役立ちます。例えば、AWS上でSnowflakeを実行しながら外部テーブルをWasabiに保存しているユーザーは、異なるリージョンおよびクラウド上でSnowflakeを実行している他のユーザーとそのテーブルを共有することができます。これが、真のマルチクラウド設計です。

Snowflakeのデータレイクにおいて、外部ステージとしてWasabiを活用すると、データのアップロードに余分なAWS S3料金が発生することもありません。こういった料金は、非常に高くつく場合があります。例えば、医療機関では、医師の手書きメモのPDF、保険証や処方箋のスクリーンショット、コールセンターの録音などを保存することがあります。こういったデータは膨大な量に相当するため、アップロード代として高額なAWS S3料金が請求されるかもしれません。さらに、AWS S3バケット内のオブジェクトに対するLISTリクエストにも費用が掛かります。一方、WasabiではAPIリクエストに対する料金が一切発生しません。そのため、請求書に書かれた金額を見て驚かされることがなくなります。Wasabiのクラウドストレージにかかるコストは予測可能なため、予算が立てやすくなります。

データファイルがWasabiの外部ステージにアップロードされると、Simple Notification Service (SNS)からSnowpipe(Snowflakeにおいて継続的にデータをロードする機能)へ通知が届き、新規ファイルとしてAWSアカウント内のSnowflakeデータベーステーブルへ自動的にコピーされます。

Snowpipe


組織では、生の非構造化データを安価な形で保存しながら、必要に応じて後から構造を追加する必要があります。こうすることでビジネスインテリジェンスのニーズへ迅速に対応できるほか、データが元の形式で必要になった際にも困らないよう、データの忠実性も確保されます。

Wasabiでは、テラバイトあたりの料金は月額6.99ドルです。これは、AWS S3、Azure Blob、Googleのオブジェクトストレージにかかる金額よりもおよそ80%安価です。AWS S3では、使用するリージョンによってテラバイトあたり毎月20ドル~25ドルの費用が掛かります。

先述したとおり、外部ステージを使用する際は、AWS、Azure、Google、Cloudflare R2ではAPI料金・オペレーション料金が適用されます。Wasabiでは、APIリクエストにかかる料金が無償化されています。

パートナーや顧客、リモートワーカーが外部テーブルを共有しながら非構造化データを入力する場合、 AWS、Azure、Googleでは下り転送料が発生します。マルチクラウド環境に移行したくても、この下り転送料がネックになることがよくあります。下り転送料を回避しようとして、データの共有や外部からのアクセスを制限すると、本来得られるはずだった価値やビジネスインテリジェンスに関する洞察を失うことになります。一方、Wasabiでは下り転送料なしでマルチクラウド環境を実現することができます。これによってSnowflakeユーザーは、特定の要件(費用対効果、地理的な範囲、コンプライアンス要件、特殊なサービスなど)に基づきながら、異なるクラウドプロバイダーを活用することができます。

SnowflakeにおけるWasabiの活用に関して、より詳しい情報はこちらのWasabi Knowledge Base articleをご確認ください。

data protection
技術パートナーよりスマートなストレージ、より強力なセキュリティ:Veeam Data PlatformとWasabi Hot Cloud Storageの連携

エアギャップバックアップとは?理想の隔離環境を実現する方法を解説

ランサムウェア攻撃は年々巧妙化し、近年ではバックアップインフラそのものが攻撃対象となっています。こうした脅威への備えとして注目されているのが「エアギャップバックアップ」です。本記事ではエアギャップの基本から物理エアギャップの課題、クラウド上で同等の隔離を実現する論理エアギャップの仕組みまでを解説します。エアギャップバックアップとはエアギャップバックアップとは、本番環境とバックアップデータの間にネットワーク的・物理的な「隔たり(gap)」を設けることで、攻撃者がバックアップに到達できない状態を作るセキュリティ手法です。万一ランサムウェアが社内ネットワークに侵入しても、エアギャップで隔離されたバックアップは影響を受けないため、確実な復旧が可能になります。エアギャップは、バックアップの基本原則である「3-2-1ルール」をさらに強化する手段としても有効です。3-2-1ルールでは、3つのデータコピーを2種類の異なるメディアに保存し、1つをオフサイトに保管することが推奨されていますが、このオフサイトコピーをエアギャップ環境に置くことで、保護レベルを大きく引き上げることができます。なお、エアギャップには大きく分けて「物理的エアギャップ」と「論理的エアギャップ」の2種類があります。以下では、それぞれの仕組みと特徴について詳しく見ていきましょう。物理エアギャップの仕組みと運用課題物理エアギャップはエアギャップの原型ともいえる手法で、長年にわたり多くの企業で使用されてきました。しかし最近では、データ量の増大やビジネスにおける即時復旧の要件が高まる中で、運用上の限界が顕在化しつつあります。物理エアギャップの仕組み物理エアギャップとは、バックアップデータをテープや外付けディスクなどのリムーバブルメディアに保存し、ネットワークから「物理的に切り離して」オフサイト(外部倉庫など)に保管する方法です。バックアップメディアとネットワークの間に物理的な接続経路が一切存在しないため、ネットワーク経由による不正アクセスを完全に排除できます。アクセスを確実に遮断できるというセキュリティの高さから、金融・医療・公共機関など厳格なデータ保護が求められる分野で長年採用されてきました。物理エアギャップが抱える運用課題物理エアギャップには、いくつかの構造的な課題があります。最も大きいのが復旧速度の問題です。テープメディアの搬送や読み込みには時間がかかり、RTO(目標復旧時間)が長期化します。ビジネスの即時復旧が求められる現代において、この遅延は大きなリスクです。運用面でも、テープの搬送スケジュール管理、保管倉庫の維持費用、メディアの経年劣化チェックなど手作業の工程が多く、ヒューマンエラーのリスクが伴います。保存できるデータの容量はテープメディアの物理容量に依存するため、データ量が急増した際にスケールアップが難しい場合もあります。論理エアギャップとは?クラウドで実現する隔離環境物理エアギャップの課題を解消するアプローチとして注目されているのが、論理エアギャップです。ここでは、その基本的な仕組みと、実効性を確保するために求められる要件を整理します。論理エアギャップの基本的な仕組み論理エアギャップとは、物理的なメディアの切り離しに代えて、暗号化・アクセス制御・ネットワークセグメンテーションなどのソフトウェア制御によって「仮想的な隔離」を実現する手法です。バックアップデータはクラウドストレージ上にオンラインで保持されますが、厳格な認証と制御を経なければアクセスできない設計となっています。テープの搬送や保管といった物理プロセスを排除しつつ、物理エアギャップに匹敵する堅牢な隔離環境を実現します。論理エアギャップで求められる要件論理エアギャップが物理エアギャップに匹敵する防御力を発揮するには、いくつかの要件を満たす必要があります。要件内容不変性(イミュータビリティ)Object Lock等の仕組みにより、書き込み後のデータを改ざん・削除できない状態にするMUA(マルチユーザー認証)単一アカウントの認証情報が漏洩しても、複数担当者の承認なしには削除操作を実行できない仕組みにする可視性の制御攻撃者がバックアップの存在を発見・列挙できないようにするこれらの要件を高い水準で満たすほど、物理エアギャップに迫る堅牢性を確保できます。Wasabi Covert Copyで論理エアギャップを構築する方法クラウドストレージ上に論理エアギャップを構築するには、複雑なツールやポリシー設定が必要になることが少なくありません。Wasabi Hot Cloud Storageの「Covert Copy」は、こうした手間をなくし、わずか数クリックで論理エアギャップ環境を構築できる機能です。>Covert Copy |...

サイバーレジリエンスに向けた予算編成でCIOが押さえるべき7つのポイント

常に変化する環境の中で、テクノロジー予算を組むのは簡単なことではありません。昨今、セキュリティコストは増加し、AIやデータ関連のプログラムは加速しています。総予算を増やさずにインフラ、運用、人員配置のすべてを拡張することが求められるうえ、取締役会、規制当局、保険会社に対して、トラブル発生時でも事業を継続できることの証明を提出する必要もあります。こうしたプレッシャーの中心にあるのが、サイバーレジリエンスです。サイバーレジリエンスとは、重大なインシデントを吸収し、統制された形で復旧させ、何が起きたかを証明するものであり、ビジネスの継続を左右する存在です。また、サイバーレジリエンスはストレージ容量のコスト、バックアップおよび災害復旧ソフトウェア、専門サービス、外部監査、保険更新など、予算の各項目にも明確に現れます。そのため、これはデータ保護の問題であると同時に、組織のコスト策定にも大きく関わっています。CIOが取締役会に予算を提示する際、単にツールへの投資を主張するだけでは不十分です。そのツールによってコストが計画通りに推移すること、組織が障害に耐え復旧できること、そしてデータが検証に耐えうることを示さなければなりません。サイバーレジリエンスが明確に組み込まれていない場合、それがビジネスの基本条件であるという認識が薄まり、単に「あれば望ましいもの」として追いやられてしまいます。こういった文脈を踏まえて、サイバーレジリエンスを運用に組み込めるよう考察してみましょう。本ブログでは、CIOが予算計画を立てる際に役立つ7つのポイントをご紹介します。各テーマは、一般的な支出分野と、それが支えるべきレジリエンスの成果を結び付けています。CIOとして方針を決定する立場にある方も、承認を得るために計画を提示するリーダーの方も、予算を策定する際にぜひご活用ください。1.サイバーレジリエンスを運用要件の中核にする今や、サイバーインシデントは絶えず発生しうるリスクとなっています。そのため、取締役会、規制当局、保険会社は、事業が障害に耐え、管理された形で復旧できることの証明を求めています。こういった状況のなか、CIOは、不変コピー、複数ユーザー承認、職務分離、テスト済みの復旧といった具体的なレジリエンス対策を提示しながら、それらが業務システムをどのように保護しているかを説明できなければなりません。こうした根拠が示されない場合、インシデントによる影響の深刻化、保険の更新ストップ、リスク管理に対する信頼の低下などに陥ります。2.予期せぬ出費を排除し、ストレージコストを安定化させるクラウドストレージ予算はかつて背景的なコストとして扱われていましたが、今やIT予算の中でも特に安定させにくい項目の一つになっています。業界のベンチマーク調査(英語)によると、クラウドストレージ費用の大部分は、容量そのものではなく、下り転送料・API利用料・データ取得料の変動に由来していることが明らかになりました。このような変動によってストレージコストが予期せず増加すると、組織は予算内に収めるためにベストプラクティスを削減せざるを得なくなり、あらゆるサイバーレジリエンス計画を損なうことになります。ストレージ料金が予測可能であれば、財務部門は予算を把握でき、CIOは意図的かつ統制された形でレジリエンスに投資することができます。3.AIによるデータ増加を見据えたストレージ計画を立てるAIや機械学習を利用すると、ストレージ容量に絶え間ない負荷がかかります。学習データ、作業用データセット、アーカイブされたモデル、ログ、推論結果は急速に増加し続け、その多くは再利用・監査・再学習のために保持する必要があります。そのため、容量計画においては、生成されるデータ量、データの保持期間、保護の方法を明確に考慮しなければなりません。AIを前提にストレージを計画すれば、期待するスピードでビジネスを進められます。そうでない場合、プロジェクトは停滞し、モデルの進化速度にAIデータのレジリエンスが追いつかなくなります。4.ストレージ効率をイノベーションと近代化の資本に変える多くのCIOは、総予算を増やすことなくAI・分析・近代化・セキュリティを改善することが求められています。これを実現するには、日々の支出を調整して余地を生み出す必要があります。これに対して、ストレージ階層の簡素化、重複システムの廃止、見えにくいコストの削減を行うことで、単なるコスト削減にとどまらず、サイバーレジリエンスを維持しながら戦略的な取り組みへ予算を割り振ることができます。このように捉えると、ストレージ効率はレジリエンス強化と将来的な変革に役立つ資本となります。これが明確でない場合、せっかく利益を捻出できても一般経費に回収され、新しい取り組みは後回しにされてしまいます。5.ハードウェアの過剰購入から、適切な規模のオンデマンド容量へ移行する数年先を見越してストレージハードウェアを購入するという手法は、変化の激しい現在の環境には適していません。ワークロードの移行、新しいサービスの立ち上げ、プラッフォーム間のデータ移動が行われると、ある場所では容量が余り、別の場所では不足する事態に陥ります。こう言った状況は、資本の無駄遣いやプロジェクト遅延につながる恐れがあります。ストレージが段階的に拡張できれば、成長に関する意思決定は緊急対応ではなく通常のガバナンスの一環として行えます。サイバーレジリエンスの観点でも、重要なワークロードの実行場所に合わせて柔軟に保護と復旧を整合させることができ、不適切な過剰保護や保護不足のリスクを低減できます。6.適切なトレーサビリティとガバナンスで監査に対応する規制当局、監査当局、顧客は今や、データを単に暗号化するだけでなく、エンドツーエンドで適切に扱われている証拠を求めています。つまり、データの来歴、保持期間、アクセス履歴、保存場所を示す必要があります。これに伴い、CIOが重視すべき点も、データの暗号化から、データの収集・処理・保存・破棄がGDPR、HIPAA、AI関連の開示要件を満たしているかどうかに移りました。このレベルの可視性が欠けている場合、セキュリティとコンプライアンスの整合性が失われ、監査の長期化やコスト増加を招くとともに、手作業で証拠を収集することになります。こういった組織は、データの完全性とともに信頼も失います。7.重要データと財務データを同等の基準で管理する昨今の取締役会や監査委員会はデータを中核的な資産と見なす傾向にあり、重要な記録、モデル、ログが改ざんや削除されないという証拠を求めるようになりました。そのためCIOは、監査に耐えうる統制を設計する必要があります。具体的な対応策としては、独立した管理で論理的にエアギャップ化されたコピー、破壊的な操作に対する複数ユーザー承認(英語)、明確な職務分離などが挙げられます。これらが欠けている場合、監査で問題が露呈し、デジタル記録への信頼が低下します。その結果、是正作業が増え、M&Aや資金調達といったプロセスも遅延し複雑化します。予算に関する議論への影響これまでに挙げたポイントは、最初から予算計画に組み込まれて初めて意味を持ちます。そのためには、ツールや容量の問題ではなく、経営陣が理解できるビジネステーマへと議論をシフトする必要があります。ストレージ、バックアップ、保護に関する予算項目を成果と明確に結び付けることで、一貫性のあるレジリエンス戦略として提示できるようになります。実際にCIOが行うのは、個々の製品の必要性を単に主張することではなく、各テーマを具体的な根拠で裏付けることです。目標は、詳細な説明がなくても財務部門や取締役会の精査に耐えうる予算案を提示することです。サイバーレジリエンスの価値を示すことができれば、大きな説得力とともに予算を獲得できるようになります。容量にかかる料金と下り転送料・API料・データ取得料を分け、クラウドストレージ支出の推移を把握することで、コスト変動の原因を明らかにする。過去1年間の支出を日常的な運用費と新規投資に分け、ストレージのコスト削減がAI、データ、システム刷新の取り組みと明確に結びついていることを可視化する。AIデータの増加に関する前提条件を整え、学習データ、モデル、ログに必要な容量や保持期間を明確にする。直近のテスト結果に基づく復旧とレジリエンスに、RTO(目標復旧時間)やRPO(目標復旧時点)、および予算投資によって改善される項目リストを含める。監査、保険会社、規制当局は、保存データの暗号化だけでなく、トレーサビリティ、完全性、管理設計を重視していることを把握する。容量と利用率の状況を見極め、明らかな過剰購入、遊休資産、新規プロジェクトの制約となる問題点を明らかにする。このように活用すれば、予算は単にストレージ容量を正当化するためのものではなく、有効なサイバーレジリエンスとガバナンスを確立し、AI対応の環境を支える存在となります。まとめ本ブログで取り上げたリストの中から、組織の課題に沿ったテーマを2~3つ選び、次回の予算協議の軸に据えてください。そして、それぞれのテーマについて対処すべきリスクと必要な投資額を把握し、それらがレジリエンスの向上とAIおよびデータイニシアチブの支援につながるという根拠を明確に示しましょう。これを継続すれば、サイバーレジリエンスは単なる背景ではなく、データの信頼性と復旧性を支える中核になります。それは、予算においては説明可能なコミットメントに、役員会においては組織が負う価値のあるリスクに、AIやデータ施策においては管理と両立してビジネスを前進させる存在になります。こうして、CIOは自信を持ってサイバーレジリエンスを重視した予算編成を支持できるようになります。...

オンプレ回帰が増えている理由とは?クラウド併用の最適解を解説

業界を問わずクラウドファーストが一般的になった今、逆にオンプレミス(以下、オンプレ)に回帰する動きが注目を集めています。クラウド利用料の高騰を受け、経営層から「オンプレに戻したほうが安いのではないか?」と問われて、比較検討を迫られている情シス担当者も多いのではないでしょうか。本記事では、オンプレ回帰が増えている理由を整理したうえで、全面的にオンプレ環境へ戻すことのリスクと、現実的な最適解としてのハイブリッド構成について解説します。オンプレ回帰とはオンプレ回帰(Cloud Repatriation)とは、一度クラウドに移行したシステムやデータを、再びオンプレ環境に戻す動きを指します。海外では2020年頃から注目を集め始めたとされており、日本でも近年急速に関心が高まっています。オンプレ回帰が増えている主な理由企業がクラウドからオンプレ環境への回帰を検討する背景には、コスト・セキュリティ・パフォーマンスに関連する3つの課題があります。それぞれ詳しく見ていきましょう。クラウド利用料の想定外の高騰クラウドサービスの多くは従量課金制を採用しており、データ量の増加に比例して費用が膨らみやすい構造になっています。特に見落とされがちなのは、クラウドからデータを取り出す際に発生するエグレス(下り転送)料金です。バックアップのリストアやデータ分析のために大量のデータを転送すると、想定外の高額請求につながるケースが少なくありません。さらに、AWS・Azureなど主要クラウドはドル建てで課金されるため、円安局面では為替の影響でコスト負担がさらに増大します。こうしたコストの不透明さが、多くの企業にオンプレ回帰を促す要因の一つとされています。セキュリティ・コンプライアンス要件の厳格化金融・医療・公共分野など機密性の高いデータを扱う業界では、データの保管場所やアクセス制御を自社の基準で厳格に管理したいというニーズが高まっています。クラウドプロバイダーとの契約だけでは自社のセキュリティポリシーを完全には満たせないと判断し、オンプレ環境への回帰を選択する企業もあります。経済安全保障やデータ主権に対する意識の高まりも、こうした動きを後押しする要因の一つです。パフォーマンスとカスタマイズ性への不満大量データ処理や低遅延が求められるワークロードでは、クラウド環境では細かいチューニングがしにくく、期待どおりのパフォーマンスが得られないケースがあります。近年はAI活用やデータ分析といった高負荷処理のニーズが急増しており、パフォーマンス面の課題がより顕在化しています。このため、「どのワークロードをどの環境で動かすべきか」を柔軟に判断できるオンプレ環境の自由度を再評価する動きも広がっています。全面的なオンプレ回帰が現実的でない理由オンプレ回帰にメリットがあるとはいえ、すべてのシステムをオンプレ環境に戻すのは簡単ではありません。全面回帰に踏み切る前に押さえておくべきリスクを整理します。初期投資と調達リードタイムの壁オンプレ環境を一から構築するには、サーバ・ネットワーク機器・ストレージなどのハードウェア調達に多額の初期投資が必要です。特に中堅・中小企業にとってはキャッシュフローへの影響が大きいことから、クラウドのコスト高騰を理由にオンプレ環境に全面回帰する判断は容易ではないでしょう。加えて、機器の選定から設置・稼働まで数か月単位のリードタイムがかかることも少なくありません。運用負荷と人材不足の問題オンプレ環境では、保守・監視・セキュリティパッチの適用・障害対応など、継続的な運用管理の負担がクラウド利用時よりも大きくなります。日本の中堅・中小企業では社内ITインフラを管理できるスタッフが慢性的に不足しているのが現状です。オンプレ回帰することでスタッフの負担増や属人化が進めば、人件費が増大して当初の目的を達せられない恐れがあります。拡張性・BCP対応の制約オンプレ環境はスケールアップ・スケールアウトに物理的な制約があり、データ量の急増やビジネスの拡大に対して柔軟に対応しにくい面があります。また、災害対策(BCP)の観点でも、オンプレ環境のみではデータの遠隔保管や冗長化に限界があります。自然災害リスクの高い日本においては、データの保管先を分散できる仕組みを持っておくことが不可欠です。適材適所のハイブリッド構成が現実的な最適解ここまで見てきたように、全てをオンプレ環境に戻すのも、全てをクラウドに置き続けるのも、それぞれにリスクがあります。そこで現実的な最適解と言えるのが、ワークロードの特性に応じてオンプレ環境とクラウドを使い分ける「ハイブリッド構成」です。重要なのは「オンプレかクラウドか」の二者択一ではなく、それぞれの強みを活かして適材適所で組み合わせるという発想です。具体的には、高速処理や低遅延が求められる演算系ワークロードはオンプレ環境や既存クラウドで稼働させ、増え続ける大容量データの保管にはコスト効率の高いクラウドストレージを活用するという振り分けが考えられます。こうした役割分担により、初期投資や運用負荷を抑えながら、クラウドのコスト肥大化も防ぐことができるでしょう。このハイブリッド戦略を成功させるカギは、特にコストが膨らみやすいストレージ領域の最適化にあります。ストレージコストの課題をWasabiで解決するハイブリッド構成でストレージコストを最適化するなら、料金体系がシンプルなクラウドストレージの選定が重要です。ここではWasabi Hot Cloud Storageの特長を紹介します。>Wasabi Hot Cloud Storageエグレス料金ゼロの料金体系主要クラウドでは、データを取り出すたびに従量課金のエグレス料金が発生し、月々のコストが予測しにくいという課題があります。Wasabi Hot Cloud...