S3 オブジェクトの構造

📌

S3 とは何か

S3（Simple Storage Service）はAWSのオブジェクトストレージサービスです。ファイルシステム（フォルダの中にファイルがある構造）とは根本的に異なり、「バケット」の中に「オブジェクト」がフラットに並んでいる構造をとります。

イメージとしては、巨大な倉庫にラベル（キー）付きの箱（オブジェクト）が平置きされている状態です。ラベルには photos/2024/cat.jpg のようにスラッシュが含まれることがありますが、これはあくまで文字列であり、実際のフォルダ構造は存在しません。

S3は容量無制限で、99.999999999%（イレブンナイン）の耐久性を持ちます。これは1000万個のオブジェクトを保存した場合、1万年に1個程度しか失われない計算です。この高い耐久性は、データを複数のアベイラビリティゾーン（AZ）に自動的にレプリケーションすることで実現しています。

🪣

バケットとは何か

バケットはオブジェクトを格納するコンテナです。名前は全世界で一意（他のAWSアカウントと重複不可）で、リージョンを指定して作成します。例えば my-company-photos-tokyo というバケット名は世界で1つだけです。

バケット名はURLの一部になるため、ドメイン名の命名規則に従います。小文字の英数字とハイフンのみ使用可能で、3〜63文字の範囲です。ピリオドは使用可能ですが、SSL/TLS証明書の問題からピリオドの使用は非推奨です。アカウントあたり最大100バケット（申請で1000まで拡張可能）を作成できます。

バケットには重要な制約があります。まず、バケット名はAWS全体でグローバルに一意でなければなりません。つまり、他のAWSアカウントが既に使っている名前は使用できません。また、一度削除したバケット名は他のアカウントに取得される可能性があるため、重要な名前を安易に削除しないことが推奨されます。バケットはリージョンに紐づきますが、名前のスコープはグローバルです。この設計はS3のURLが世界中で一意であることを保証するためです。

🔑

キーとは何か

キーはバケット内でオブジェクトを一意に識別する文字列です。ファイルパスのように見えますが、実際には単なる文字列です。

photos/2024/cat.jpg というキーの中の / は区切り文字に過ぎず、photos/2024/ というフォルダが存在するわけではありません。S3コンソールがフォルダのように見せているだけです。

キーの最大長は1,024バイト（UTF-8エンコード）です。安全に使える文字は英数字、ハイフン、アンダースコア、ピリオド、スラッシュです。スペースや特殊文字も使用可能ですが、URLエンコードが必要になるため推奨されません。バケット名とキーの組み合わせでオブジェクトのURLが決まります。

キー設計のベストプラクティスとして、先頭にランダムなプレフィックスを付けないことが現在は推奨されています。以前はパーティション分散のためにハッシュプレフィックスが推奨されていましたが、2018年以降S3は自動的にパーティションを最適化するようになりました。代わりに、日付ベースのプレフィックス（例: 2024/01/15/data.csv）や用途別のプレフィックス（例: raw/, processed/）を使い、人間が理解しやすく管理しやすいキー設計を心がけましょう。

📁

プレフィックスの仕組み

S3のコンソールで「フォルダ」のように見える photos/ や docs/ は、実際にはキーの先頭部分（プレフィックス）に過ぎません。S3にフォルダやディレクトリという概念は存在しません。

では、なぜフォルダのように見えるのでしょうか？ それは S3 API がプレフィックスで絞り込み検索できるからです。photos/ で始まるキーだけを取得すれば、あたかもフォルダの中身を表示しているように見えます。

🏷️

メタデータの種類

S3オブジェクトには2種類のメタデータがあります。メタデータはオブジェクトと一緒に保存されるキー・バリュー形式の付加情報で、HTTP ヘッダーとして送受信されます。オブジェクトのアップロード時にのみ設定可能で、既存オブジェクトのメタデータを変更するにはオブジェクトをコピー（上書き）する必要があります。

重要な注意点として、メタデータの後から変更にはオブジェクトのコピーが必要です。S3にはメタデータだけを更新するAPIは存在せず、CopyObject APIで同じキーに自分自身をコピーし、その際に新しいメタデータを指定します。この操作はオブジェクトサイズ分の転送・書き込みが発生するため、大きなオブジェクトではコストとパフォーマンスに影響します。頻繁に変わる属性情報はDynamoDBなど別のストアに持たせるのがベストプラクティスです。

#️⃣

ETag とは何か

ETag（Entity Tag）はオブジェクトの整合性チェックに使われるハッシュ値です。オブジェクトが変更されるとETagも変わるため、データの整合性や変更検知に利用できます。

ETagの計算方法はアップロード方式によって異なります。

マルチパートアップロードで生成されるETagは、各パートのMD5ハッシュを連結した文字列のMD5を計算し、末尾にハイフンとパート数を付加した形式になります。例えば3パートに分割した場合、MD5(MD5(part1) + MD5(part2) + MD5(part3))-3 という計算になります。このため、マルチパートでアップロードしたオブジェクトのETagをローカルファイルのMD5と直接比較して整合性を検証することはできません。検証したい場合は、同じパート分割でローカル側でも同じ計算を行うか、Content-MD5 ヘッダーを各パートのアップロード時に指定して個別検証する方法があります。

📝

AWS 認定試験（SAA）レベルの問題