Google Cloud Storage (GCS)には、サイト配信やスタティックファイル配信の機能があります。AWSのS3と似た機能です。
Google Cloud CLIをインストールすると、gcloud storage rsyncコマンドを利用してローカルファイル一式を同期できます。
index.htmlや404などのWebサイト向け設定は、 スタティックホスト で解説しています。
画像やCSSなどの静的ファイルの日常運用は以下のような流れになります。(なお、ここでは SDKのセットアップ やバケットの初期設定は割愛しています)
準備:プロジェクトの確認
まず、gcloudコマンドでバケットを置くプロジェクトを指定します。
$ gcloud config set project some_project_id
プロジェクトを1つしか使用していない場合は問題になりませんが、複数のプロジェクトを操作するアカウントでは適切なプロジェクトを選択しておくことが必要です。
現在アクティブなプロジェクトを確認するには、gcloud config listコマンドのproject欄の出力を使えます。
gcloud storage rsyncでファイル転送
下記のコマンド例のように、gcloud storage rsyncコマンドを用いて、ローカルホストのsrc_dirをsome_bucket内のdest_dirとして同期できます。
$ gcloud storage rsync src_dir gs://some_bucket/dest_dir --recursive --delete-unmatched-destination-objects
--recursiveはサブディレクトリも含めて同期する指定です。--delete-unmatched-destination-objectsを付けると、ローカル側に存在しないファイルを転送先から削除し、Google Cloud Storage上の内容をローカル側に合わせられます。削除を行いたくない場合は、このオプションを外します。
gcloud storageは転送を標準で並列実行するため、従来のgsutil -mに相当する指定は不要です。gsutil rsyncとはシンボリックリンクなど一部の挙動が異なるため、既存スクリプトから移行する場合は
移行ガイド
も確認してください。
service accountによるアクセス
サービスアカウント を用いてGCSを操作する場合、操作コマンド実行前に認証を設定します。サービスアカウントキーを利用する既存環境では、たとえば次のように有効化できます。
$ gcloud auth activate-service-account --key-file=service-account-key.json
Google Cloud上の実行環境では、可能であればサービスアカウントキーを配置せず、実行環境に割り当てたサービスアカウントやWorkload Identityなどを利用する方が安全です。
バケットを公開する
Web配信用のバケット全体を公開する場合は、オブジェクトごとのACLを繰り返し設定するより、バケットのIAMポリシーでallUsersにStorage Object Viewerを付与する方法が扱いやすくなっています。
$ gcloud storage buckets add-iam-policy-binding gs://some_bucket \
--member=allUsers \
--role=roles/storage.objectViewer
この設定では、バケット内のオブジェクトをインターネットから読み取り可能にできます。Uniform bucket-level accessを利用する構成ではオブジェクトACLは使用せず、IAMでアクセス権を管理します。
個々のオブジェクトにACLを設定する必要がある既存構成では、gcloud storage objects updateの--predefined-aclなども利用できますが、新規の静的配信用バケットではバケット単位のIAM管理を優先した方が構成を単純化できます。
外部からのファイルアクセス
Google Cloud Storageにアップロードしたファイルは、http://storage.googleapis.com/some_bucket/から始まるアドレスでブラウザからアクセスできます。
具体的なURLがわかりにくい場合は、 GCPのコンソール のStorageのメニューからファイルブラウザで確認できます。
表形式のファイル一覧に掲載されている「公開リンク」のリンク先がそのファイルの具体的なURLです。
画像ファイルなどは、imgタグにこのURLを指定すればインクルードできます。
また、http / https のどちらでもアクセスできるため、//storage.googleapis.com/some_bucket/dest_dir/some_file.png などのようにスキーマなしのURLを指定すれば、ホストのSSLサポートに合わせて配信できます(httpとhttpsの混在によるブラウザエラーを避けられる)。
nginxのバックエンドとして利用する
GCSのファイルをnginxでプロキシ配信する構成も可能です。コンテナ環境むけオリジンファイルホストとして便利です。
以下はconfig例の抜粋です。ヘッダー操作とURLのrewriteが必要になります。
server {
proxy_set_header Host storage.googleapis.com;
proxy_set_header Connection "";
proxy_hide_header x-goog-hash;
proxy_hide_header x-goog-generation;
proxy_hide_header x-goog-metageneration;
proxy_hide_header x-goog-stored-content-encoding;
proxy_hide_header x-goog-stored-content-length;
proxy_hide_header x-goog-storage-class;
proxy_hide_header x-xss-protection;
proxy_hide_header accept-ranges;
proxy_hide_header alternate-protocol;
proxy_hide_header Set-Cookie;
proxy_ignore_headers "Set-Cookie";
proxy_intercept_errors on;
proxy_http_version 1.1;
location ~ ^/(.*[0-9])$ {
proxy_pass http://storage.googleapis.com/some_bucket/$1/index.html;
}
location ~ ^/(.+)/$ {
proxy_pass http://storage.googleapis.com/some_bucket/$1/index.html;
}
location = / {
proxy_pass http://storage.googleapis.com/some_bucket/index.html;
}
location / {
proxy_pass http://storage.googleapis.com/some_bucket$uri;
}
}
rewriteの例はかなり複雑ですが、GCSリクエスト時には index.html などのファイル名を付ける必要があるためURLを加工しています。//とスラッシュが重複するリクエストもエラーになるため、末尾スラッシュの有無で処理を変えるといった工夫が求められます。
また、uglyurl形式の場合には、以下のようなrewite例になるでしょう。
location ~ ^/(.*[0-9])$ {
proxy_pass http://storage.googleapis.com/some_bucket/$1.html;
}
location ~ ^/(.+)/$ {
proxy_pass http://storage.googleapis.com/some_bucket/$1.html;
}
静的ホスティング
Google Cloud Storage(GCS)はスタティックサイトのホスティングにも利用できます。
基礎的な設定
バケットはサイト専用に用意し、権限はallUsersに読み取り権限を追加します。
公開するバケットであるため、単一ポリシーとした方がトラブルが少ないでしょう。
ファイルのアップロードや同期にはgcloud storageコマンドを利用できます。ほかにAPI経由のプログラム転送や、クラウドコンソール上の操作があります。
リージョン選定
GCSはバケット作成時に、グローバルネットワーク上のリージョンを選択します。世界各国から選択でき、読者の居住地に近いリージョンを設定します。 また、GCSのリージョンを超える地域への配信を行いたい場合、CloudCDNを併用することになります(追加コストはかかります)。
ディレクトリアクセスの挙動変更
GCSのデフォルト設定では、厳密に要求されたファイルのみを返し、ディレクトリアクセスや404エラーに対応しません。特殊ページを割り当てる設定をすることで、Webサイト向けの挙動になります。
gcloud storageでは、以下のようにバケットのWebサイト設定を更新します。
$ gcloud storage buckets update gs://www.example.com \
--web-main-page-suffix=index.html \
--web-error-page=404.html
httpsサイトへの変更
GCS上のサイトはHTTPで配信されます。 HTTPSアクセスに対応するためには、外部HTTPSロードバランサを別途セットアップする必要があります。 初期設定はクラウドコンソールから手順に従う方法がもっとも手軽でしょう。
外部HTTPSロードバランサを含む負荷分散機能には月額$18程度のミニマムフィーがかかります。機能面では考えうる限り十分であり、CloudCDNと併用することでグローバルサービスの要件をほぼ満たすでしょう。
なお、外部HTTPSロードバランサを利用する構成では、SSL証明書の定期更新を実装する必要があります。Google Cloudが提供するマネージド証明書のほか、自らLet’s Encryptで取得する証明書を運用する場合、以下のドキュメントのとおりgcloudコマンドを用いて更新することになります。