Все о хранилище AWS

Здесь мы обсуждаем различные варианты хранения, поддерживаемые AWS.

№1. Простые сервисы хранения AWS

Amazon S3 – это объектное хранилище, созданное для хранения и извлечения любых объемов данных из любой точки Интернета. Это простая служба хранения, которая предлагает чрезвычайно надежную, высокодоступную и бесконечно масштабируемую инфраструктуру хранения данных по очень низкой цене. Amazon S3 — это распределенная архитектура, и объекты избыточно хранятся на нескольких устройствах в нескольких зонах доступности (AZ) в регионе Amazon S3. Amazon S3 — это простое хранилище объектов на основе ключей. Ключи могут быть любой строкой, и они могут быть сконструированы так, чтобы имитировать иерархические атрибуты. Кроме того, вы можете использовать теги объектов S3, чтобы упорядочить данные по всем корзинам и/или префиксам S3.

Amazon S3 предоставляет простой, основанный на стандартах интерфейс веб-сервисов REST, предназначенный для работы с любым набором инструментов для интернет-разработки. Файлы могут иметь размер от 0 байт до 5 ТБ. Самый большой объект, который можно загрузить за один PUT, составляет 5 гигабайт. Для объектов размером более 100 мегабайт используйте функцию Многочастная загрузка.

Обновления объекта являются атомарными — при чтении обновленного объекта вы либо получите новый объект, либо старый, вы никогда не получите частичных или поврежденных данных. Доступно неограниченное хранилище. Рекомендуется получать доступ к S3 через SDK и API (консоль использует API). Уведомления о событиях для определенных действий могут отправлять предупреждения или запускать действия. Уведомления можно отправлять по адресу:

• Темы социальных сетей.
• Очередь SQS.
• Лямбда-функции.
• Необходимо настроить SNS/SQS/Lambda перед S3.
• От S3 не взимается дополнительная плата, но вы платите за SNS, SQS и Lambda.

Функция «платит запрашивающий» заставляет запрашивающего платить (удаляет анонимный доступ). Может предоставлять ограниченный по времени доступ к объектам. Обеспечивает согласованность чтения после записи для PUTS новых объектов. Обеспечивает возможную согласованность для перезаписи PUTS и DELETES (требуется время для распространения). Вы можете хранить файлы (объекты) только на S3. Код HTTP 200 указывает на успешную запись в S3.

Данные S3 состоят из:

• Ключ (имя).
• Значение (данные).
• Идентификатор версии.
• Метаданные.
• Списки контроля доступа.

Amazon S3 автоматически адаптируется к высокой частоте запросов. Например, ваше приложение может выполнять не менее 3500 запросов PUT/POST/DELETE и 5500 запросов GET в секунду на префикс в корзине. Количество префиксов в корзине не ограничено. Для запросов с интенсивным чтением вы также можете использовать граничные местоположения CloudFront для разгрузки с S3.

Дополнительные возможности

#1.1 Дополнительные возможности, предлагаемые Amazon S3, включают

#1.2 Варианты использования

Типичные варианты использования S3 включают в себя:

• Резервное копирование и хранение. Предоставляйте услуги резервного копирования и хранения данных другим пользователям.
• Размещение приложений: предоставление услуг по развертыванию, установке и управлению веб-приложениями.
• Медиа-хостинг. Создайте избыточную, масштабируемую и высокодоступную инфраструктуру для загрузки и скачивания видео, фотографий или музыки.
• Доставка программного обеспечения. Разместите свои программные приложения, которые клиенты смогут загрузить.
• Статический веб-сайт. Статический веб-сайт можно настроить для запуска из корзины S3.

S3 — это постоянное надежное хранилище данных. Постоянные хранилища данных — это энергонезависимые системы хранения, которые сохраняют данные при отключении питания. Это отличается от временных хранилищ данных и временных хранилищ данных, которые теряют данные при отключении питания. В следующей таблице представлено описание постоянных, временных и эфемерных хранилищ данных, а также то, какой сервис AWS следует использовать:

#1.3 Ведра

В S3 файлы хранятся в ведрах:

• Ведро можно рассматривать как контейнер для объектов.
• Ведро — это плоский контейнер с предметами.
• Он не обеспечивает иерархию объектов.
• Вы можете использовать имя ключа объекта (префикс) для имитации папок.

100 сегментов на аккаунт по умолчанию. Вы можете хранить неограниченное количество объектов в своих корзинах. Вы можете создавать папки в своих корзинах (доступно только через консоль). Вы не можете создавать вложенные сегменты. Право собственности на сегмент нельзя передать. Имена сегментов нельзя изменить после их создания. Если сегмент удален, его имя снова становится доступным. Имена корзин являются частью URL-адреса, используемого для доступа к корзине. Корзина S3 зависит от региона. S3 — это универсальное пространство имен, поэтому имена должны быть уникальными во всем мире. URL-адрес имеет следующий формат: https://s3-eu-west-1.amazonaws.com/‹bucketname›.

Политика именования сегментов:

• Имена сегментов должны содержать не менее 3 и не более 63 символов.
• Имена сегментов должны начинаться и заканчиваться строчной буквой или цифрой.
• Имена сегментов должны состоять из одного или нескольких ярлыков, разделенных точкой.
• Имена сегментов могут содержать строчные буквы, цифры и дефисы.
• Имена сегментов не могут быть отформатированы как IP-адреса.

Для повышения производительности, снижения задержек и снижения затрат создайте корзину ближе к своим клиентам.

#1.4 Объекты

Каждый объект хранится и извлекается с помощью уникального ключа (идентификатора или имени). Объект в S3 однозначно идентифицируется и адресуется посредством:

• Конечная точка службы.
• Название ковша.
• Ключ объекта (имя).
• Необязательно, версия объекта.

Объекты, хранящиеся в корзине, никогда не покинут регион, в котором они хранятся, если только вы не переместите их в другой регион или не включите межрегиональную репликацию. Вы можете определить разрешения для объектов, когда загрузки и в любое время после этого с помощью Консоли управления AWS.

#1.5 Подресурсы

Подресурсы подчинены объектам, они не существуют независимо, а всегда связаны с другим объектом, таким как объект или сегмент. Подресурсы (контейнеры конфигурации), связанные с сегментами, включают:

• Жизненный цикл: определите жизненный цикл объекта.
• Веб-сайт: конфигурация для размещения статических веб-сайтов.
• Управление версиями: сохранение нескольких версий объектов по мере их изменения.
• Списки контроля доступа (ACL): контролируют права доступа к корзине.
• Политики корзины: управляйте доступом к корзине.
• Совместное использование ресурсов из разных источников (CORS).
• Ведение журнала.

Подресурсы, связанные с объектами, включают:

• ACL: определяют разрешения на доступ к объекту.
• Восстановить: восстановление архива.

#1.6 Классы хранения

Существует шесть классов хранения S3.

• Стандарт S3:надежный, доступный немедленно, часто используемый.
• S3 Intelligent-Tiering: автоматически перемещает данные на наиболее экономичный уровень.
• S3 Standard-IA:надежный, доступный сразу, редко используемый.
• S3 One Zone-IA: более низкая стоимость редко используемых данных с меньшей устойчивостью.
• S3 Glacier:архивированные данные, время извлечения в минутах или часах.
• S3 Glacier Deep Archive: самый дешевый класс хранилища для длительного хранения.

В таблице ниже представлены сведения о каждом классе хранилища Amazon S3:

Объекты, хранящиеся в классе хранения S3 One Zone-IA, хранятся избыточно в одной зоне доступности в выбранном вами регионе AWS.

#1.7 Доступ и политики доступа

Существует четыре механизма управления доступом к ресурсам Amazon S3:

• IAM-политики.
• Правила сегмента.
• Списки управления доступом (ACL).
• Аутентификация строки запроса (URL-адрес объекта Amazon S3, действительный только в течение ограниченного времени).

Аудит доступа можно настроить, настроив корзину Amazon S3 для создания записей журнала доступа для всех запросов, сделанных к ней. Для сбора информации об идентификаторах IAM/пользователя в журналах настройте события данных AWS CloudTrail. По умолчанию сегмент, его объекты и связанные подресурсы являются частными. По умолчанию только владелец ресурса может получить доступ к корзине. Владелец ресурса относится к учетной записи AWS, которая создает ресурс. В IAM владельцем является владелец учетной записи, а не пользователь IAM. В рамках политики IAM вы можете предоставить либо программный доступ, либо доступ к Консоли управления AWS к ресурсам Amazon S3. Имена ресурсов Amazon (ARN) используются для указания ресурсов в политике. Формат любого ресурса на AWS:

arn:partition:service:region:namespace:relative-id.

Формат ресурсов S3:

arn:aws:s3:::bucket_name.

arn:aws:s3:::bucket_name/key_name.

Владелец корзины может предоставить разрешения для нескольких учетных записей другой учетной записи AWS (или пользователям в учетной записи) для загрузки объектов. Однако владелец корзины не имеет разрешений на объекты, которыми владеют другие учетные записи:

• Владелец ведра оплачивает сборы.
• Владелец сегмента может запретить доступ к любым объектам независимо от владельца.
• Владелец корзины может архивировать любые объекты или восстанавливать заархивированные объекты независимо от владельца.

Доступ к корзинам и объектам может быть предоставлен:

• Индивидуальные пользователи.
• Аккаунты АВС.
• Все (общедоступные/анонимные).
• Все аутентифицированные пользователи (пользователи AWS).

Политики доступа S3

Политики доступа определяют доступ к ресурсам и могут быть связаны с ресурсами (сегментами и объектами) и пользователями. Генератор политик AWS можно использовать для создания политики корзины для корзины Amazon S3. Категории политик: политики на основе ресурсов и пользовательские политики.

Политики на основе ресурсов:

• Крепится к ведрам и предметам.
• Политики на основе ACL определяют разрешения.
• ACL можно использовать для предоставления разрешений на чтение/запись другим учетным записям.
• Политики корзины можно использовать для предоставления другим учетным записям AWS или пользователям IAM разрешений на корзину и объекты.

Правила для пользователей:

• Может использовать IAM для управления доступом к ресурсам S3.
• С помощью IAM вы можете создавать пользователей, группы и роли и прикреплять к ним политики доступа, предоставляя им доступ к ресурсам.
• Вы не можете предоставлять анонимные разрешения в пользовательской политике IAM, поскольку политика привязана к пользователю.
• Пользовательские политики могут предоставлять разрешения для корзины и объектов в ней.

Список контроля доступа

Списки управления доступом S3 позволяют управлять доступом к корзинам и объектам. К каждой корзине и объекту прикреплен ACL в качестве подресурса. Разрешения сегмента и объекта не зависят друг от друга. ACL определяет, каким учетным записям AWS (получателям) или предопределенным группам S3 предоставляется доступ, а также тип доступа. Грантополучателем может быть учетная запись AWS или одна из предопределенных групп Amazon S3. Когда вы создаете корзину или объект, S3 создает ACL по умолчанию, который предоставляет владельцу ресурса полный контроль над ресурсом.

Доступ к нескольким учетным записям

Вы предоставляете разрешение другому аккаунту AWS, используя адрес электронной почты или канонический идентификатор пользователя. Однакоесли вы укажете адрес электронной почты в запросе на предоставление гранта, Amazon S3 найдет канонический идентификатор пользователя для этой учетной записи и добавит его в список управления доступом. Учетные записи получателей могут затем делегировать доступ, предоставляемый другими учетными записями, своим отдельным пользователям.

В таблице перечислены разрешения и описано, что они означают в контексте объектов и сегментов.

Обратите внимание на следующие моменты, касающиеся разрешений:

• Разрешения назначаются на уровне аккаунта для пользователей, прошедших проверку подлинности.
• Вы не можете назначать разрешения отдельным пользователям IAM.
• Если для сегмента разрешено чтение, он предоставляет возможность только перечислить объекты в сегменте.
• Если для объекта разрешено чтение, данные могут быть прочитаны.
• ACP означает разрешения на управление доступом, а READ_ACP/WRITE_ACP определяет, кто может сам читать/записывать ACL.
• ЗАПИСЬ применима только к уровню корзины (кроме ACP).

Политики корзины ограничены размером 20 КБ. Списки управления доступом к объектам ограничены 100 предоставленными разрешениями на ACL.Единственный рекомендуемый вариант использования ACL-списка корзины заключается в предоставлении прав на запись группе доставки журналов S3.

При предоставлении другим учетным записям AWS разрешений на загрузку объектов разрешениями для этих объектов может управлять только владелец объекта с помощью списков управления доступом к объектам. Вы можете использовать политики сегментов для:

• Предоставление пользователям разрешений на доступ к корзине, принадлежащей вашей учетной записи.
• Управление разрешениями объекта (где владельцем объекта является та же учетная запись, что и владельцем корзины).
• Управление разрешениями между учетными записями для всех разрешений Amazon S3.

# 1.8 Сборы

Бесплатная передача данных между EC2 и S3 в одном регионе. Передача данных в S3 осуществляется бесплатно. Передача данных в другие регионы платная. Извлечение данных (применяется к S3 Standard-IA и S3 One Zone-IA, S3 Glacier и S3 Glacier Deep Archive).

Сборы:

• Плата за хранение за ГБ в месяц.
• Перенос данных из S3.
• Запросы на загрузку (PUT и GET).
• Запросы на поиск (S3-IA или Glacier).

Заявитель оплачивает:

• Владелец сегмента будет платить только за хранение объекта.
• Запрашивающая сторона оплачивает запросы (загрузки/выгрузки) и передачу данных.
• Может быть включен только на уровне сегмента.

#1.9 Многокомпонентная загрузка

Может использоваться для ускорения загрузки на S3. Многокомпонентная загрузка загружает объекты по частям независимо друг от друга, параллельно и в любом порядке. Выполняется с помощью API многокомпонентной загрузки S3.Рекомендуется для объектов размером 100 МБ или больше.

• Можно использовать для объектов размером от 5 МБ до 5 ТБ.
• Должен использоваться для объектов размером более 5 ГБ.

Если передача какой-либо части не удалась, ее можно передать повторно. Улучшает пропускную способность. Может приостанавливать и возобновлять загрузку объектов. Можно начать загрузку, прежде чем вы узнаете окончательный размер объекта.

#1.10 Копирование

Вы можете создать копию объектов размером до 5 ГБ за одну атомарную операцию. Можно выполнить с помощью AWS SDK или REST API. Операцию копирования можно использовать для:

• Создание дополнительных копий объектов.
• Переименование объектов.
• Изменение класса хранения копии или состояния шифрования в состоянии покоя.
• Перемещайте объекты между местоположениями/регионами AWS.
• Изменить метаданные объекта.

После загрузки в S3 некоторые метаданные объекта не могут быть изменены, копирование объекта может позволить вам изменить эту информацию.

#1.11 Ускорение передачи

Amazon S3 Transfer Acceleration обеспечивает быструю, простую и безопасную передачу файлов на большие расстояния между вашим клиентом и корзиной Amazon S3. S3 Transfer Acceleration использует преимущества Глобально распределенные местоположения Amazon CloudFront AWS Edge. Используется для ускорения загрузки объектов в S3 на большие расстояния (задержка). Ускорение передачи так же безопасно, как прямая загрузка в S3. Вы платите только в том случае, если была выгода во времени перевода. Необходимо включить ускорение передачи в корзине S3. Нельзя отключить, можно только приостановить. Реализация может занять до 30 минут. Шаблон URL: ‹bucketname›.s3-accelerate.amazonaws.com.

Имена сегментов должны соответствовать DNS и не должны иметь точки между метками. Вы можете использовать многокомпонентные загрузки с ускорением передачи. Он должен использовать одну из следующих конечных точек:

• .s3-accelerate.amazonaws.com.
• .s3-accelerate.dualstack.amazonaws.com (вариант с двумя стеками).

S3 Transfer Acceleration поддерживает все функции уровня корзины, включая многокомпонентную загрузку.

# 1.12 Статические веб-сайты

S3 можно использовать для размещения статических веб-сайтов. Нельзя использовать динамический контент, такой как PHP, .Net и т. д. Автоматически масштабируется. Вы можете использовать собственное доменное имя с S3, используя запись псевдонима Route 53. При использовании личного доменного имени имя корзины должно совпадать с именем домена. Можно включить перенаправление для всего домена, страниц или отдельных объектов.

Общий URL-адрес размещенного веб-сайта s3: ‹bucketname›.s3-website-.amazonaws.com.

Заявитель платит не работает с конечными точками веб-сайта. Не поддерживает HTTPS/SSL. Возвращает HTML-документ. Поддерживает перенаправления на уровне объектов и сегментов. Поддерживает только запросы GET и HEAD для объектов. Поддерживает только общедоступный контент. Чтобы включить размещение веб-сайтов в корзине, укажите:

• Индексный документ (веб-страница по умолчанию).
• Документ об ошибке (необязательно).

# 1.13 Предварительно подписанные URL-адреса

Предварительно подписанные URL-адреса можно использовать для предоставления временного доступа к определенному объекту тем, у кого нет учетных данных AWS. По умолчанию все объекты являются частными и доступны только владельцу. Чтобы поделиться объектом, вы можете либо сделать его общедоступным, либо сгенерировать предварительно подписанный URL-адрес. Дата и время истечения срока действия должны быть настроены. Их можно создать с помощью SDK для Java и .Net и проводника AWS для Visual Studio. Может использоваться для загрузки и выгрузки объектов S3.

#1.14 Управление версиями

Управление версиями хранит все версии объекта (включая все записи и даже если объект удален). Управление версиями защищает от случайного удаления или перезаписи объектов/данных. Включает возможности «отката» и «восстановления удаления». Управление версиями также можно использовать для хранения и архивирования данных. Старые версии учитываются как оплачиваемый размер, пока они не будут окончательно удалены. Включение управления версиями не реплицирует существующие объекты. Можно использовать для резервного копирования. После включения управления версиями его нельзя отключить, только приостановить. Может быть интегрирован с правилами жизненного цикла. Можно включить удаление многофакторной аутентификации (MFA). Удаление MFA также можно применить к изменению параметров управления версиями.

Удаление MFA применяется к:

• Изменение состояния версии корзины.
• Безвозвратное удаление объекта.

Межрегиональная репликация требует включения управления версиями в исходном и целевом сегментах. Возврат к предыдущим версиям не реплицируется. По умолчанию HTTP GET извлекает самую последнюю версию. Только владелец корзины S3 может безвозвратно удалять объекты после включения управления версиями. Когда вы пытаетесь удалить объект с включенным управлением версиями, на объект помещается маркер DELETE. Вы можете удалить маркер DELETE, и объект снова будет доступен. Удаление с управлением версиями реплицирует маркер удаления. Но удаление маркера удаления не реплицируется.

Приостановка версии

Если вы приостановите управление версиями, существующие объекты останутся такими, какие они есть, однако новые версии создаваться не будут. Пока управление версиями приостановлено, новые объекты будут иметь идентификатор версии NULL, а загруженные объекты с тем же именем перезапишут существующий объект.

#1.15 Управление жизненным циклом объекта

Используется для оптимизации затрат на хранение, соблюдения политик хранения данных и поддержания томов S3 в хорошем состоянии. Конфигурация жизненного цикла — это набор правил, определяющих действия, которые Amazon S3 применяет к группе объектов. Существует два типа действий:

• Действия при переходе: укажите, когда объекты переходят в другой класс хранения. Например, вы можете перевести объекты в класс хранения STANDARD_IA через 30 дней после их создания или заархивировать объекты в класс хранения GLACIER через год после их создания.
• Действия истечения срока действия: укажите, когда истекает срок действия объектов. Amazon S3 удаляет просроченные объекты от вашего имени.

Конфигурация жизненного цикла — это XML-файл, применяемый на уровне корзины в качестве подресурса. Может использоваться в сочетании с управлением версиями или независимо. Может применяться к текущей и предыдущей версиям. Может применяться к определенным объектам внутри корзины: объектам с определенным тегом или объектам с определенным префиксом.

#1.16 Поддерживаемые переходы и связанные с ними ограничения

Amazon S3 поддерживает следующие переходы жизненного цикла между классами хранилища с использованием конфигурации жизненного цикла:

• Вы можете перейти со СТАНДАРТНОГО класса хранения на любой другой класс хранения.
• Вы можете перейти с любого класса хранения на классы хранения GLACIER или DEEP_ARCHIVE.
• Вы можете перейти с класса хранения STANDARD_IA на классы хранения INTELLIGENT_TIERING или ONEZONE_IA.
• Вы можете перейти с класса хранения INTELLIGENT_TIERING на класс хранения ONEZONE_IA.
• Вы можете перейти с класса хранения GLACIER на класс хранения DEEP_ARCHIVE.

Следующие переходы жизненного цикла не поддерживаются:

• Вы не можете перейти с любого класса хранения на СТАНДАРТНЫЙ класс хранения.
• Вы не можете перейти с любого класса хранения на класс хранения REDUCED_REDUNDANCY.
• Вы не можете перейти с класса хранения INTELLIGENT_TIERING на класс хранения STANDARD_IA.
• Вы не можете перейти с класса хранения ONEZONE_IA на классы хранения STANDARD_IA или INTELLIGENT_TIERING.
• Вы можете перейти только с класса хранения GLACIER на класс хранения DEEP_ARCHIVE.
• Вы не можете перейти с класса хранения DEEP_ARCHIVE на любой другой класс хранения.

#1.17 Шифрование

Вы можете безопасно загружать/выгружать свои данные в Amazon S3 через конечные точки SSL с использованием протокола HTTPS (In Transit — SSL/TLS). Варианты шифрования:

Варианты шифрования на стороне сервера:

SSE-S3: шифрование на стороне сервера с управляемыми ключами S3.

• Каждый объект шифруется уникальным ключом.
• Ключ шифрования шифруется мастер-ключом.
• AWS регулярно меняет главный ключ.
• Использует AES 256.

SSE-KMS: шифрование на стороне сервера с ключами AWS KMS.

• KMS использует главные ключи клиента (CMK) для шифрования.
• Можно использовать автоматически созданный ключ CMK.
• ИЛИ вы можете выбрать свой собственный ключ (дает вам контроль над управлением ключами).
• Ключ-конверт защищает ваши ключи.
• Платный.

SSE-C: шифрование на стороне сервера с ключами, предоставленными клиентом.

• Клиент управляет ключами, S3 управляет шифрованием.
• AWS не хранит ключи шифрования.
• Если ключи утеряны, данные не могут быть расшифрованы.

На следующей диаграмме показаны варианты включения шифрования и показано, где применяется шифрование и где осуществляется управление ключами:

#1.18 Уведомления о событиях

Уведомления о событиях Amazon S3 можно отправлять в ответ на такие действия в Amazon S3, как PUT, POST, COPY или DELETE. Уведомления о событиях Amazon S3 позволяют запускать рабочие процессы, отправлять оповещения или выполнять другие действия в ответ на изменения в ваших объектах, хранящихся в S3. Чтобы включить уведомления, необходимо сначала добавить конфигурацию уведомлений, определяющую события, которые вы хотите опубликовать в Amazon S3, и адресаты, в которые вы хотите, чтобы Amazon S3 отправлял уведомления. Вы можете настроить фильтрацию уведомлений по префиксу и суффиксу имени ключа объектов.

Amazon S3 может публиковать уведомления о следующих событиях:

• Новые объекты создали события.
• События удаления объекта.
• Восстановить события объекта.
• События потери объекта в хранилище с уменьшенной избыточностью (RRS).
• События репликации.

Amazon S3 может отправлять уведомления о событиях по следующим адресам:

• Публикация сообщений о событиях в теме Amazon Simple Notification Service (Amazon SNS).
• Публикация сообщений о событиях в очереди Amazon Simple Queue Service (Amazon SQS).
• Публикуйте сообщения о событиях в AWS Lambda, вызывая функцию Lambda и предоставляя сообщение о событии в качестве аргумента.

Необходимо предоставить Amazon S3 разрешения для отправки сообщений в тему Amazon SNS или очередь Amazon SQS. Также необходимо предоставить Amazon S3 разрешение на вызов функции AWS Lambda от вашего имени. Для получения информации о предоставлении этих разрешений.

#1.19 Теги объектов

Теги объектов S3 — это пары ключ-значение, применяемые к объектам S3, которые можно создавать, обновлять или удалять в любое время в течение срока службы объекта. Позволяет создавать политики управления идентификацией и доступом (IAM), настраивать политики жизненного цикла S3 и настраивать метрики хранилища. К каждому объекту S3 можно добавить до десяти тегов, и для добавления тегов объекта можно использовать Консоль управления AWS, REST API, интерфейс командной строки AWS или AWS SDK.

№ 1.20 Показатели Amazon S3 CloudWatch

Вы можете использовать Консоль управления AWS, чтобы включить создание 1-минутных метрик запросов CloudWatch для корзины S3 или настроить фильтры для метрик с помощью префикса или тега объекта. Кроме того, вы можете вызвать S3 PUT Bucket Metrics API, чтобы включить и настроить публикацию метрик хранилища S3. Метрики запросов CloudWatch будут доступны в CloudWatch в течение 15 минут после их включения. Метрики CloudWatch Storage включены по умолчанию для всех сегментов и отправляются один раз в день.

Метрики S3, которые можно отслеживать, включают:

• S3 запросы.
• Хранение ведра.
• Размер ковша.
• Все запросы.
• Ошибки HTTP 4XX/5XX.

#1.21 Межрегиональная репликация

CRR — это функция Amazon S3, которая автоматически реплицирует данные в регионах AWS. С помощью CRR каждый объект, загруженный в корзину S3, автоматически реплицируется в целевую корзину в другом выбранном вами регионе AWS. Обеспечивает автоматическое асинхронное копирование объектов между корзинами в разные регионы. CRR настраивается на уровне корзины S3. Вы включаете конфигурацию CRR в исходной корзине, указав целевую корзину в другом регионе для репликации. Для включения CRR можно использовать Консоль управления AWS, REST API, AWS CLI или AWS SDK. Управление версиями должно быть включено как для исходного, так и для целевого сегментов. Исходный и целевой сегменты должны находиться в разных регионах. С помощью CRR вы можете выполнять репликацию только между регионами, а не внутри региона (см. SRR ниже для репликации в одном регионе). Репликация 1:1 (одна исходная корзина в одну целевую корзину). Вы можете настроить отдельные правила жизненного цикла S3 для исходного и целевого сегментов.Вы можете реплицировать объекты, зашифрованные с помощью KMS, указав целевой ключ KMS в конфигурации репликации. Вы можете настроить CRR для разных учетных записей AWS, чтобы ваши реплицированные данные хранились в другой учетной записи в целевом регионе. Обеспечивает доступ к данным с малой задержкой, копируя объекты в корзины, расположенные ближе к пользователям. Чтобы активировать CRR, вам нужно настроить репликацию на исходном бакете:

• Определите корзину в другом регионе для репликации.
• Укажите репликацию всех объектов или подмножества объектов с определенными префиксами имени ключа.

Реплики будут точными репликами и будут иметь одни и те же имена ключей и метаданные. Вы можете указать другой класс хранения (по умолчанию будет использоваться исходный класс хранения). AWS S3 будет шифровать данные при передаче с помощью SSL. AWS S3 должен иметь разрешение на репликацию объектов. Владельцы сегментов должны иметь разрешение на чтение объекта и объекта ACL. Можно использовать в разных учетных записях, но владелец исходного сегмента должен иметь разрешение на репликацию объектов в целевой сегмент.

#1.22 Репликация в одном регионе (SRR)

Как следует из названия, вы можете использовать SRR для репликации объектов в корзину назначения в том же регионе, что и исходная корзина.Репликация является автоматической и асинхронной. Новые объекты, загруженные в корзину Amazon S3, настраиваются для репликации на уровне корзины, префикса или тега объекта. Реплицированные объекты могут принадлежать той же учетной записи AWS, что и исходная копия, или другим учетным записям, чтобы защитить их от случайного удаление. Репликация может выполняться в любой класс хранилища Amazon S3, включая S3 Glacier и S3 Glacier Deep Archive, для создания резервных копий и долгосрочных архивов. Когда объект S3 реплицируется с использованием SRR, метаданные, списки управления доступом (ACL) и теги объектов, связанные с объектом, также являются частью репликации. После настройки SRR в исходном сегменте любой изменения объекта, метаданных, списков ACL или тегов объекта запускают новую репликацию в целевую корзину.

#1.23 Аналитика S3

Может выполнять аналитику данных, хранящихся в Amazon S3. Сюда входят озера данных, потоковые данные IoT, машинное обучение и искусственный интеллект. Можно использовать следующие стратегии:

#1.24 Рекомендации по производительности S3

AWS предоставляет некоторые рекомендации по производительности для Amazon S3. Они приведены здесь:

Измерение производительности. При оптимизации производительности учитывайте требования к пропускной способности сети, ЦП и DRAM. В зависимости от сочетания требований к этим различным ресурсам, возможно, стоит оценить различные типы инстансов Amazon EC2.

Горизонтальное масштабирование подключений к хранилищу. Вы можете добиться наилучшей производительности, выполняя несколько одновременных запросов к Amazon S3. Распределите эти запросы по отдельным соединениям, чтобы максимально использовать доступную пропускную способность Amazon S3.

Использовать получение диапазона байтов. Используя HTTP-заголовок Range в запросе объекта GET, вы можете получить диапазон байтов из объекта, передав только указанную часть. Вы можете использовать одновременные подключения к Amazon S3 для получения разных диапазонов байтов из одного и того же объекта. Это помогает достичь более высокой совокупной пропускной способности по сравнению с одним запросом всего объекта. Извлечение меньших диапазонов большого объекта также позволяет вашему приложению сократить время повторных попыток, когда запросы прерываются.

Запросы повторных попыток для приложений, чувствительных к задержкам.Агрессивные тайм-ауты и повторные попытки помогают обеспечить постоянную задержку. Учитывая большие масштабы Amazon S3, если первый запрос выполняется медленно, повторный запрос, скорее всего, пойдет по другому пути и быстро завершится успешно. Пакеты AWS SDK имеют настраиваемые значения тайм-аута и повторных попыток, которые можно настроить в соответствии с допусками вашего конкретного приложения.

Объедините Amazon S3 (хранилище) и Amazon EC2 (вычисления) в одном регионе AWS. Хотя имена корзин S3 уникальны в глобальном масштабе, каждая корзина хранится в регионе, который вы выбираете при создании корзины. Чтобы оптимизировать производительность, мы рекомендуем по возможности получать доступ к корзине из инстансов Amazon EC2 в том же регионе AWS. Это помогает снизить задержку в сети и затраты на передачу данных.

Используйте ускорение передачи Amazon S3 для минимизации задержки, вызванной расстоянием.Ускорение передачи Amazon S3 обеспечивает быструю, простую и безопасную передачу файлов на большие географические расстояния между клиентом и корзиной S3. Transfer Acceleration использует преимущества глобально распределенных периферийных местоположений в Amazon CloudFront. Когда данные поступают на периферию, они направляются в Amazon S3 по оптимизированному сетевому пути. Ускорение передачи идеально подходит для регулярной передачи от гигабайта до терабайта данных между континентами. Это также полезно для клиентов, которые загружают в централизованную корзину со всего мира.

#1.25 Ледник

Glacier — это решение для архивирования редко используемых данных. Существует два уровня хранения:

Ледник S3

• Такая же низкая задержка и высокая пропускная способность, как у S3 Standard.
• Рассчитан на долговечность 99,999999999% объектов в одной зоне доступности†.
• Рассчитан на доступность на уровне 99,99%.
• Доступность подтверждена Соглашением об уровне обслуживания Amazon S3.
• Поддерживает SSL для данных в пути и шифрование данных в состоянии покоя.
• Управление жизненным циклом S3 для автоматической миграции объектов в другие классы хранения S3.

Глубокий архив S3 Glacier

• Рассчитан на долговечность 99,999999999% объектов в нескольких зонах доступности.
• Данные устойчивы в случае полного разрушения одной зоны доступности.
• Поддерживает SSL для данных в пути и шифрование данных в состоянии покоя.
• Недорогой дизайн идеально подходит для долгосрочного архива.
• Настраиваемое время поиска, от минут до часов.
• S3 PUT API для прямой загрузки в S3 Glacier и управление жизненным циклом S3 для автоматической миграции объектов.

Основное различие между уровнями заключается в том, что Deep Archive дешевле, но время извлечения намного больше (12 часов). Уровень S3 Glacier имеет настраиваемое время извлечения от минут до часов (вы платите соответственно). Архивные объекты недоступны для доступа в режиме реального времени, и вам необходимо отправить запрос на их извлечение. Glacier должен завершить работу, прежде чем вы сможете получить результат. Запрошенные архивные данные копируются в S3 One Zone-IA. После извлечения у вас есть 24 часа, чтобы загрузить данные. Вы не можете указать Glacier в качестве класса хранилища во время создания объекта. Ледник рассчитан на потерю двух объектов. Glacier автоматически шифрует данные в состоянии покоя с помощью симметричных ключей AES 256 и поддерживает безопасную передачу данных по протоколу SSL. Ледник может быть доступен не во всех регионах AWS. Объекты Glacier видны только через S3 (не напрямую через Glacier).Glacier не архивирует метаданные объектов, вам необходимо поддерживать базу данных на стороне клиента для хранения этой информации. Архивы могут быть 1 байт до 40 ТБ. Файловые архивы Glacier размером от 1 байта до 4 ГБ могут выполняться за одну операцию. Файловые архивы Glacier размером от 100 МБ до 40 ТБ можно загружать в Glacier с помощью API многокомпонентной загрузки. Загрузка архивов синхронная. Скачивание архивов происходит асинхронно. Содержимое загруженного архива нельзя изменить. Вы можете загружать данные в Glacier с помощью интерфейса командной строки, SDK или API — вы не можете использовать консоль AWS. Glacier добавляет 32–40 КБ (метаданные индексации и архива) к каждому объекту при переходе от других классов с помощью политик жизненного цикла. AWS рекомендует, если у вас есть много мелких объектов, перед загрузкой их нужно объединить в архив (например, ZIP-файл). К архивам можно добавить описание, но нельзя добавлять другие метаданные. Идентификаторы архива ледников добавляются при загрузке и уникальны для каждой загрузки. Различные типы извлечения из архива

• Ускоренный поиск занимает 1–5 минут (самый дорогой).
• Стандартный – 3,5 часа извлечения данных (дешевле, 10 ГБ данных бесплатно извлекаются в месяц).
• Массовое извлечение занимает от 5 до 12 часов (самый дешевый вариант — использовать для больших объемов данных).

Вы можете получить части архива. Когда данные извлекаются, они копируются в S3, а архив остается в Glacier, поэтому класс хранилища не меняется. AWS SNS может отправлять уведомления, когда задания на получение данных завершены. Полученные данные по умолчанию доступны в течение 24 часов (можно изменить). Чтобы получить определенные объекты в архиве, вы можете указать диапазон байтов (диапазон) в запросе HTTP GET (необходимо поддерживать базу данных диапазонов байтов).

Ледниковые сборы:

Плата за передачу данных между EC2 и Glacier в одном регионе не взимается. За удаление данных в течение 90 дней взимается плата. При восстановлении вы платите за:

• Архив ледника.
• Запросы.
• Восстановленные данные на S3.

№ 2. Амазон ЭБС

EBS — это хранилище эластичных блоков. Тома EBS — это сетевое хранилище, которое можно подключить к инстансам EC2. Данные тома EBS сохраняются независимо от срока службы экземпляра. Тома EBS не нужно присоединять к экземпляру. К экземпляру можно подключить несколько томов EBS. Вы не можете подключить том EBS к нескольким экземплярам (вместо этого используйте Elastic File Store). Данные тома EBS реплицируются на несколько серверов в зоне доступности. Тома EBS должны находиться в той же зоне доступности, что и экземпляры, к которым они подключены. EBS рассчитан на годовую частоту отказов 0,1–0,2 % и SLA 99,95 %. Защита от завершения отключена по умолчанию и должна быть включена вручную (сохраняет том/данные при завершении работы экземпляра). По умолчанию корневые тома EBS удаляются при прекращении работы. По умолчанию лишние незагрузочные тома не удаляются при завершении работы. Поведение можно изменить, изменив атрибут «DeleteOnTermination». Теперь вы можете создавать AMI с зашифрованными корневыми/загрузочными томами, а также томами данных (вы также можете использовать отдельные CMK для каждого тома). Размеры и типы томов могут быть обновлены без простоя (кроме магнитного стандарта). Эластичные тома позволяют увеличивать размер тома, настраивать производительность или изменять тип тома во время его использования. Чтобы перенести тома между зонами доступности, создайте снимок, а затем создайте том в другой зоне доступности из снимка (можно изменить размер и тип). Параметр автоматического включения ввода-вывода предотвращает остановку ввода-вывода на диск, когда AWS обнаруживает несоответствия. Корневое устройство создается в /dev/sda1 или /dev/xvda. Magnetic EBS предназначен для рабочих нагрузок, которым нужна пропускная способность, а не IOPS. Тома EBS с оптимизированной пропускной способностью не могут быть загрузочными томами. С каждым запускаемым экземпляром связан том корневого устройства, будь то том Amazon EBS или том хранилища экземпляров. Вы можете использовать сопоставление блочных устройств, чтобы указать дополнительные тома или экземпляр EBS. хранить тома для подключения к экземпляру при его запуске. Вы также можете подключить дополнительные тома EBS к работающему экземпляру. Вы не можете уменьшить размер тома EBS. При смене тома размер нового тома должен быть не меньше размера моментального снимка текущего тома. Изображения могут быть обнародованы, но не в том случае, если они зашифрованы. AMI можно использовать совместно с другими учетными записями. По умолчанию у вас может быть до 5000 томов EBS. По умолчанию у вас может быть до 10 000 снимков.

#2.1 Магазин экземпляров

Хранилище экземпляров предоставляет временное (непостоянное) хранилище на уровне блоков для вашего экземпляра. Это отличается от EBS, который обеспечивает постоянное хранилище, но также является службой блочного хранилища, которая может быть корневым или дополнительным томом. Хранилище экземпляров расположено на дисках, физически подключенных к главному компьютеру. Хранилище экземпляров идеально подходит для временного хранения информации, которая часто меняется, такой как буферы, кэши, временные данные и другой временный контент, или данных, которые реплицируются в группе экземпляров, таких как пул веб-серверов с балансировкой нагрузки. Вы можете указать тома хранилища экземпляров для экземпляра только при его запуске. Вы не можете отсоединить том хранилища экземпляров от одного экземпляра и присоединить его к другому экземпляру. Тип экземпляра определяет размер доступного хранилища экземпляров и тип оборудования, используемого для томов хранилища экземпляров. Объемы хранилища экземпляров включены в стоимость использования экземпляра. В некоторых типах инстансов используются твердотельные накопители (SSD) на основе NVMe или SATA для обеспечения высокой производительности произвольного ввода-вывода. Это хороший вариант, когда вам нужно хранилище с очень низкой задержкой, но вам не нужно, чтобы данные сохранялись после завершения работы экземпляра, или вы можете воспользоваться преимуществами отказоустойчивых архитектур.

Хранилища экземпляров обеспечивают очень высокую производительность и низкую задержку. Пока вы можете позволить себе потерять экземпляр, то есть вы реплицируете свои данные, это может быть хорошим решением для требований высокой производительности/малой задержки. Обращайте внимание на вопросы, в которых упоминаются распределенные или реплицированные базы данных, требующие большого количества операций ввода-вывода. Кроме того, помните, что стоимость хранилищ инстансов включена в стоимость инстансов, поэтому они также могут быть более экономичными, чем EBS Provisioned IOPS.

# 2.2 EBS против магазина экземпляров

Поддержка EBS означает, что корневой том является томом EBS, а хранилище является постоянным. Резервное хранилище экземпляров означает, что корневой том является томом хранилища экземпляров, а хранилище не является постоянным.

В экземпляре с поддержкой EBSдействие по умолчанию — удаление корневого тома EBS после завершения работы. Тома хранилища экземпляров иногда называют эфемерным хранилищем (непостоянным).

Экземпляры, поддерживаемые хранилищем экземпляров, нельзя остановить. В случае сбоя базового хоста данные будут потеряны. Корневые устройства тома хранилища экземпляров создаются из шаблонов AMI, хранящихся на S3.Резервные экземпляры EBS можно остановить. Вы не потеряете данные этого экземпляра, если он будет остановлен (постоянно). Тома EBS можно отсоединять и повторно присоединять к другим инстансам EC2.

Корневые устройства тома EBS запускаются из AMI, которые поддерживаются моментальными снимками EBS. Тома хранилища экземпляров нельзя отсоединить/повторно подключить.

При перезагрузке экземпляров обоих типов данные не будут потеряны. По умолчанию оба корневых тома будут удалены при завершении работы, если вы не настроили иначе.

#2.3 Типы томов EBS

В таблице ниже показано сравнение различных типов томов EBS.

#2.4 Снимки

Моментальные снимки фиксируют состояние экземпляра на определенный момент времени. Экономичная и простая стратегия резервного копирования. Делитесь наборами данных с другими пользователями или учетными записями. Можно использовать для переноса системы в новую зону доступности или регион. Можно использовать для преобразования незашифрованного тома в зашифрованный.Снимки хранятся на Amazon S3. Не обеспечивает детального резервного копирования (не заменяет программное обеспечение для резервного копирования). Если вы делаете периодические снимки тома, снимки являются добавочными, что означает, что в новом снимке сохраняются только те блоки на устройстве, которые изменились после вашего последнего снимка. Несмотря на то, что моментальные снимки сохраняются постепенно, процесс удаления моментальных снимков разработан таким образом, что вам необходимо сохранить только самый последний моментальный снимок для восстановления тома. Доступ к моментальным снимкам можно получить только через API EC2. Тома EBS зависят от зоны доступности, а моментальные снимки зависят от региона. Тома можно создавать из моментальных снимков EBS того же или большего размера. Моментальные снимки томов EBS без полномочий root можно делать во время работы.

Чтобы сделать непротиворечивый моментальный снимок, запись должна быть остановлена ​​(приостановлена) до тех пор, пока моментальный снимок не будет завершен. Если это невозможно, необходимо отсоединить том или, если это корневой том EBS, экземпляр необходимо остановить. Чтобы снизить затраты на хранение на S3, можно создать полный моментальный снимок и последующие добавочные обновления. С вас взимается плата за трафик данных на S3 и расходы на хранение на S3. Плата взимается только за измененные блоки. При удалении снимка удаляются только те данные, которые не нужны другим снимкам. Вы можете изменить размер томов, восстановив моментальные снимки с разными размерами (настроенными при создании моментального снимка). Снимки можно копировать между регионами (и шифровать). Затем из моментального снимка в другом регионе создаются образы, которые создают образ AMI, который можно использовать для загрузки экземпляра. Вы можете создавать тома из снапшотов и выбирать зону доступности в пределах региона.

#2.5 Шифрование

Вы можете зашифровать как загрузочный том, так и том данных экземпляра EC2. Когда вы создаете зашифрованный том EBS и подключаете его к экземпляру поддерживаемого типа, шифруются следующие типы данных:

• Данные в состоянии покоя внутри тома.
• Все данные перемещаются между томом и экземпляром.
• Все моментальные снимки, созданные из тома.
• Все тома, созданные из этих снимков.

Шифрование поддерживается всеми типами томов EBS. Ожидайте такую ​​же производительность операций ввода-вывода в секунду на зашифрованных томах, как и на незашифрованных томах. Все семейства экземпляров поддерживают шифрование. Шифрование Amazon EBS доступно для перечисленных ниже типов инстансов:

• Общее назначение:A1, M3, M4, M5, M5a, M5ad, M5d, T2, T3 и T3a.
• Оптимизировано для вычислений: C3, C4, C5, C5d и C5n.
• Оптимизация памяти:cr1.8xlarge, R3, R4, R5, R5a, R5ad, R5d, u-6tb1.metal, u-9tb1.metal, u-12tb1.metal, X1, X1e и z1d. .
• Оптимизировано хранилище: D2, h1.2xlarge, h1.4xlarge, I2 и I3.
• Ускоренные вычисления: F1, G2, G3, G4, P2 и P3.

EBS шифрует ваш том с помощью ключа данных, используя стандартный для отрасли алгоритм AES-256. Ваш ключ данных хранится на диске с вашими зашифрованными данными, но не раньше, чем EBS зашифрует их с помощью вашего CMK. Ваш ключ данных никогда не появляется на диске в открытом виде. Один и тот же ключ данных используется снимками тома и любыми последующими томами, созданными на основе этих снимков. Снимки зашифрованных томов шифруются автоматически. Тома EBS, восстановленные из зашифрованных моментальных снимков, шифруются автоматически. Тома EBS, созданные из зашифрованных моментальных снимков, также зашифрованы.Вы можете делиться моментальными снимками, но если они зашифрованы, это должно быть сделано с помощью специального ключа CMK. Нет прямого способа изменить состояние шифрования тома. . Либо создайте зашифрованный том и скопируйте в него данные, либо сделайте моментальный снимок, зашифруйте его и создайте из моментального снимка новый зашифрованный том.

Для шифрования тома или моментального снимка вам потребуется ключ шифрования. Это ключи, управляемые клиентом (CMK), которыми управляет служба управления ключами AWS (KMS). Для первых зашифрованных томов создается ключ CMK по умолчанию. Последующие зашифрованные тома будут использовать свой собственный уникальный ключ (256 бит AES). Ключ CMK, используемый для шифрования тома, используется всеми моментальными снимками и томами, созданными из моментальных снимков. Вы не можете совместно использовать зашифрованные тома, созданные с использованием ключа CMK по умолчанию. Вы не можете изменить ключ CMK, который используется для шифрования тома. Вы должны создать копию моментального снимка и изменить ключи шифрования как часть копии. Это необходимо для того, чтобы иметь возможность совместно использовать зашифрованный том. По умолчанию только владелец учетной записи может создавать тома из моментальных снимков. Вы можете поделиться незашифрованными моментальными снимками с сообществом AWS, сделав их общедоступными. Вы также можете поделиться незашифрованными моментальными снимками с другими учетными записями AWS, сделав их частными и выбрав учетные записи, с которыми вы хотите поделиться ими. Вы не можете сделать зашифрованные снимки общедоступными. Вы можете делиться зашифрованными моментальными снимками с другими учетными записями AWS, используя ключ CMK, отличный от используемого по умолчанию, и настроив разрешения между учетными записями, чтобы предоставить учетной записи доступ к ключу, пометить ее как частную и настроить учетную запись для совместного использования. Учетная запись-получатель должна скопировать моментальный снимок, прежде чем она сможет создавать тома из моментального снимка. Учетной записи-получателю рекомендуется повторно зашифровать общий и зашифрованный моментальный снимок с помощью собственного ключа CMK.

#2.6 AMI

Образ машины Amazon (AMI) — это особый тип виртуального устройства, который используется для создания виртуальной машины в облаке Amazon Elastic Compute Cloud («EC2»). AMI включает в себя следующее:

• Шаблон корневого тома экземпляра (например, операционная система, сервер приложений и приложения).
• Разрешения на запуск, определяющие, какие учетные записи AWS могут использовать AMI для запуска экземпляров.
• Сопоставление блочного устройства, в котором указываются тома, подключаемые к экземпляру при его запуске.

Образы AMI поддерживаются либо хранилищем экземпляров, либо EBS. Давайте рассмотрим каждый из них подробно.

Экземпляр в магазине

• Запустите инстанс EC2 из AMI, поддерживаемого хранилищем инстансов AWS.
• При необходимости обновите корневой том.
• Создайте AMI, который будет загружаться в указанную пользователем корзину S3 (пользовательскую корзину).
• Зарегистрируйте AMI в EC2 (создается еще один образ S3, контролируемый EC2).
• Чтобы внести изменения, обновите источник, затем отмените регистрацию и зарегистрируйтесь заново.
• При запуске образ копируется на хост EC2.
• Отмените регистрацию образа, когда AMI больше не нужен (это не влияет на существующие экземпляры, созданные из AMI).
• Тома, поддерживаемые хранилищем экземпляров, могут быть созданы только во время запуска.

при поддержке EBS

• Необходимо остановить экземпляр, чтобы создать согласованный образ, а затем создать AMI.
• AWS автоматически регистрирует образы AMI.
• При создании AWS создает снапшоты всех подключенных томов — бакет указывать не нужно, но будет взиматься плата за хранилище на S3.
• Вы не можете удалить моментальный снимок корневого тома, пока AMI зарегистрирован (отменить регистрацию и удалить).
• Теперь вы можете создавать AMI с зашифрованными корневыми/загрузочными томами, а также томами данных (также можно использовать отдельные CMK для каждого тома).

Копирование AMI

• Вы можете копировать Amazon Machine Image (AMI) внутри или между регионами AWS с помощью Консоли управления AWS, интерфейса командной строки AWS AWS, SDK или API Amazon EC2, которые поддерживают действие «Копировать изображение».
• Вы можете копировать как образы AMI, поддерживаемые Amazon EBS, так и образы AMI, поддерживаемые хранилищем экземпляров.
• Вы можете копировать зашифрованные образы AMI и образы AMI с зашифрованными моментальными снимками.

#2.7 Методы копирования, совместного использования и шифрования EBS

На следующей диаграмме показаны различные возможные варианты копирования томов EBS, обмена образами AMI и моментальными снимками и применения шифрования.

# 2.8 RAID

RAID можно использовать для увеличения IOPS.

RAID 0:0 чередования — данные записываются на несколько дисков и повышают производительность, но не обеспечивают избыточность.

RAID 1: 1 зеркалирование — создает 2 копии данных, но не повышает производительность, а только обеспечивает избыточность.

RAID 10: комбинация 10 RAID 1 и 2, обеспечивающая повышение производительности и избыточности (за счет дополнительных дисков). Вы можете настроить несколько чередующихся томов gp2 или стандартных томов (обычно RAID 0).

Вы можете настроить несколько чередующихся томов PIOPS (обычно RAID 0). RAID настраивается через гостевую ОС. Инстансы EC2, оптимизированные для EBS, — это еще один способ повысить производительность. Убедитесь, что инстанс EC2 может обрабатывать пропускную способность, необходимую для повышения производительности. Используйте инстансы, оптимизированные для EBS, или инстансы с сетевым интерфейсом 10 Гбит/с. Не рекомендуется использовать RAID для корневых/загрузочных томов.

#2.9 Лимиты EBS (по регионам)

№3. Amazon EFS

EFS — это полностью управляемый сервис, который упрощает настройку и масштабирование файлового хранилища в облаке Amazon. Реализация общей папки NFS и доступ к ней по протоколу NFS. Эластичная емкость хранилища и оплата за то, что вы используете (в отличие от EBS, где вы платите за то, что вы предоставляете).

Метаданные и хранилище данных в нескольких зонах доступности. Можно настроить точки монтирования в одной или нескольких зонах доступности. Можно подключить из локальных систем ТОЛЬКО при использовании Direct Connect или VPN-подключения. Подходит для больших данных и аналитики, рабочих процессов обработки мультимедиа, управления контентом, веб-обслуживания, домашних каталогов и т. д.. Платите за то, что используете (предварительная подготовка не требуется). Может масштабироваться до петабайт. EFS является эластичной и может увеличиваться и уменьшаться по мере добавления и удаления данных. Может одновременно подключать от 1 до 1000 экземпляров EC2 из нескольких AZ. Доступ к файловой системе возможен одновременно из всех AZ региона, в котором она расположена. На следующей диаграмме показаны различные варианты монтирования файловой системы EFS:

По умолчанию вы можете создать до 10 файловых систем для каждой учетной записи. Доступ к файловым системам EFS с локальных серверов можно включить через Direct Connect или AWS VPN. Вы монтируете файловую систему EFS на локальном сервере Linux, используя стандартную команду Linux mount для монтирования файла. систему по протоколу NFSv4.1. Можно выбрать General Purpose или Max I/O (оба SSD). В VPC подключающегося экземпляра должны быть включены DNS-имена хостов. EFS предоставляет интерфейс файловой системы, семантику доступа к файловой системе (например, строгую согласованность и блокировку файлов). Данные хранятся в нескольких зонах доступности в пределах региона. Согласованность чтения после записи. Необходимо создать цели монтирования и выбрать зоны доступности для включения (рекомендуется включать все зоны доступности). Экземпляры могут находиться за ELB. Экземпляры EC2 Classic должны монтироваться через ClassicLink. EFS совместима со всеми образами AMI на базе Linux для Amazon EC2.

Используя решение для резервного копирования EFS-to-EFS, вы можете запланировать автоматическое добавочное резервное копирование файловой системы Amazon EFS. В следующей таблице представлено сравнение характеристик хранилища EFS и EBS:

#3.1 Производительность

Есть два режима производительности:

Общее назначение:режим производительности подходит для большинства файловых систем.

Максимальный ввод-вывод:режим производительности оптимизирован для приложений, в которых к файловой системе обращаются десятки, сотни или тысячи экземпляров EC2.

Amazon EFS рассчитана на взрывной рост, чтобы обеспечить высокую пропускную способность в течение определенного периода времени. Файловые системы Amazon EFS распределены по неограниченному количеству серверов хранения, что позволяет гибко увеличивать файловые системы до петабайтного масштаба и позволяет массово параллельный доступ из инстансов Amazon EC2 к вашим данным. Эта схема распределенного хранилища данных означает, что многопоточные приложения и приложения, которые одновременно получают доступ к данным из нескольких экземпляров Amazon EC2, могут обеспечивать значительный уровень совокупной пропускной способности и операций ввода-вывода в секунду.

В таблице ниже сравниваются общие характеристики производительности и хранилища для файловых (EFS) и блочных (EBS) облачных хранилищ AWS:

#3.2 Совместимость

EFS интегрирована с рядом других сервисов AWS, включая сервисы CloudWatch, CloudFormation, CloudTrail, IAM и Tagged. CloudWatch позволяет отслеживать активность файловой системы с помощью метрик. CloudFormation позволяет создавать файловые системы и управлять ими с помощью шаблонов. CloudTrail позволяет записывать все вызовы Amazon EFS API в файлы журналов. IAM позволяет вам контролировать, кто может администрировать вашу файловую систему. Службы тегирования позволяют помечать файловые системы с помощью определяемых вами метаданных.

№ 4. Шлюз хранилища AWS

Сервис AWS Storage Gateway обеспечивает гибридное хранилище между локальными средами и облаком AWS. Он обеспечивает производительность с низкой задержкой за счет локального кэширования часто используемых данных, а также безопасного и надежного хранения данных в облачных сервисах хранения данных Amazon. Реализуется с помощью виртуальной машины, которую вы запускаете локально (виртуальное устройство VMware или Hyper-V). Предоставляет ресурсы локального хранилища, поддерживаемые AWS S3 и Glacier. Часто используется для обеспечения готовности к аварийному восстановлению для синхронизации данных с AWS. Полезно при миграции в облако.AWS Storage Gateway поддерживает три интерфейса хранения: файл, том и лента.

В таблице ниже показаны различные доступные шлюзы, а также интерфейсы и варианты использования:

Каждый шлюз, который у вас есть, может предоставлять один тип интерфейса. Все данные, передаваемые между шлюзом любого типа и хранилищем AWS, шифруются с помощью SSL. По умолчанию все данные, хранящиеся в AWS Storage Gateway в S3, шифруются на стороне сервера с помощью ключей шифрования, управляемых Amazon S3 (SSE). -С3). При использовании файлового шлюза вы можете дополнительно настроить каждую общую папку для шифрования ваших объектов с помощью ключей, управляемых AWS KMS, с помощью SSE-KMS.

#4.1 Файловый шлюз

Файловый шлюз предоставляет виртуальный локальный файловый сервер, который позволяет хранить и извлекать файлы как объекты в Amazon S3. Может использоваться для локальных приложений и резидентных приложений Amazon EC2, которым требуется хранилище файлов в S3 для объектно-ориентированных рабочих нагрузок. Используется только для плоских файлов, хранящихся непосредственно на S3. Файловый шлюз предлагает доступ к данным в Amazon S3 на основе SMB или NFS с локальным кэшированием. Файловый шлюз поддерживает Amazon S3 Standard, S3 Standard — Infrequent Access (Стандарт S3 — IA) и S3 One Zone — IA.

File gateway поддерживает подключение клиентов к шлюзу с помощью NFS v3 и v4.1. Клиенты Microsoft Windows, поддерживающие SMB, могут подключаться к файловому шлюзу. Максимальный размер отдельного файла – 5 ТБ.

#4.2 Шлюз томов

Шлюз томов представляет собой семейство шлюзов, поддерживающих блочные тома, которые ранее назывались режимами кэширования шлюза и хранения шлюза.

Режим кэшированного тома: весь набор данных хранится на S3, а кэш наиболее часто используемых данных кэшируется на месте.

Режим хранимого тома: весь набор данных хранится на месте и асинхронно резервируется на S3 (моментальные снимки EBS на момент времени). Снапшоты являются инкрементными и сжатыми.

Каждый шлюз томов может поддерживать до 32 томов. В кэшированном режиме каждый том может иметь размер до 32 ТБ для максимум 1 ПБ данных на шлюз (32 тома по 32 ТБ каждый). В режиме хранения каждый том может иметь размер до 16 ТБ, что соответствует максимум 512 ТБ данных на шлюз (32 тома по 16 ТБ каждый).

#4.3 Виртуальная ленточная библиотека шлюза

Используется для резервного копирования с помощью популярного программного обеспечения для резервного копирования. Каждый шлюз предварительно сконфигурирован с устройством смены носителей и ленточными накопителями. Поддерживается NetBackup, Backup Exec, Veeam и т. д.

При создании виртуальных лент вы выбираете один из следующих размеров: 100 ГБ, 200 ГБ, 400 ГБ, 800 ГБ, 1,5 ТБ и 2,5 ТБ. Ленточный шлюз может иметь до 1500 виртуальных лент с максимальной совокупной емкостью 1 ПБ.

№ 5. Амазон ФСх

Amazon FSx предоставляет полностью управляемые сторонние файловые системы. Amazon FSx обеспечивает встроенную совместимость сторонних файловых систем с наборами функций для рабочих нагрузок, таких как хранилище на базе Windows, высокопроизводительные вычисления (HPC), машинное обучение и автоматизация электронного проектирования (EDA).

Вам не нужно беспокоиться об управлении файловыми серверами и хранилищем, поскольку Amazon FSx автоматизирует трудоемкие административные задачи, такие как подготовка оборудования, настройка программного обеспечения, установка исправлений и резервное копирование. Amazon FSx интегрирует файловые системы с облачные сервисы AWS, что делает их еще более полезными для более широкого набора рабочих нагрузок.

Amazon FSx предоставляет на выбор две файловые системы:

• Amazon FSx для файлового сервера Windows для приложений на базе Windows
• Amazon FSx for Lustre для ресурсоемких рабочих нагрузок.

№5.1 Amazon FSX для файлового сервера Windows

Amazon FSx для файлового сервера Windows предоставляет полностью управляемую собственную файловую систему Microsoft Windows, поэтому вы можете легко перенести свои приложения на базе Windows, которым требуется общее хранилище файлов, на AWS.

Построенный на базе Windows Server Amazon FSx обеспечивает совместимость и функции, на которые полагаются ваши приложения Microsoft, включая полную поддержку протокола SMB, Windows NTFS и интеграцию с Microsoft Active Directory (AD).

Amazon FSx использует хранилище SSD для обеспечения высокой производительности с низкой задержкой. Эта совместимость, производительность и масштабируемость позволяют выполнять критически важные для бизнеса рабочие нагрузки, такие как домашние каталоги, мультимедийные рабочие процессы и бизнес-приложения.

Amazon FSx помогает оптимизировать совокупную стоимость владения за счет дедупликации данных, сокращая расходы на 50–60 % для файловых ресурсов общего назначения. Пользовательские квоты позволяют лучше отслеживать и контролировать расходы. Вы платите только за используемые ресурсы, без предоплаты или лицензионных отчислений.

#5.2 Детали и преимущества

Высокая доступность. Amazon FSx автоматически реплицирует ваши данные в зоне доступности (AZ), в которой они находятся (которую вы указываете при создании), чтобы защитить их от сбоев компонентов, постоянно отслеживает сбои оборудования и автоматически заменяет инфраструктуру. компонентов в случае отказа.

Несколько зон доступности. Amazon FSx предлагает вариант развертывания с множественной доступностью (AZ), предназначенный для обеспечения постоянной доступности данных даже в том случае, если AZ недоступна. Файловые системы с несколькими зонами доступности включают активный и резервный файловые серверы в отдельных зонах доступности, и любые изменения, записанные на диск в вашей файловой системе, синхронно реплицируются между зонами доступности в резервную зону.

Поддерживает собственные функции файловой системы Windows:

• Списки контроля доступа (ACL), теневые копии и пользовательские квоты.
• Файловые системы NTFS, к которым можно получить доступ из тысяч вычислительных экземпляров по протоколу SMB.

Работает с Microsoft Active Directory (AD) для простой интеграции файловых систем со средами Windows. Построенный на SSD-накопителе, Amazon FSx обеспечивает высокую производительность с пропускной способностью до 2 ГБ/с на файловую систему, сотнями тысяч операций ввода-вывода в секунду и постоянной задержкой менее миллисекунды. Можно выбрать уровень пропускной способности, который независимо от размера вашей файловой системы. Используя пространства имен DFS, вы можете масштабировать производительность до десятков гигабайт в секунду с миллионами операций ввода-вывода в секунду для сотен петабайт данных.

Amazon FSx может подключать файловые системы к экземплярам Amazon EC2, VMware Cloud on AWS, Amazon WorkSpaces и Amazon AppStream 2.0. Amazon FSx также поддерживает локальный доступ через AWS Direct Connect или AWS VPN, а также доступ из несколько VPC, учетных записей и регионов с использованием пиринга VPC или AWS Transit Gateway.

Amazon FSx автоматически шифрует ваши данные при хранении и передаче. Проверено на соответствие сертификатам ISO, PCI-DSS и SOC, а также соответствует требованиям HIPAA. Интеграция с AWS CloudTrail отслеживает и регистрирует ваши вызовы API, позволяя вам видеть действия, предпринимаемые пользователями на ресурсах Amazon FSx. Платите только за те ресурсы, которые вы используете, без минимальных обязательств или авансовых платежей. Может оптимизировать расходы за счет удаления избыточных данных с помощью дедупликации данных. Пользовательские квоты обеспечивают отслеживание, мониторинг и принудительное использование дискового пространства для снижения затрат.

#5.3 Amazon FSX для Lustre

Amazon FSx for Lustre предоставляет высокопроизводительную файловую систему, оптимизированную для быстрой обработки рабочих нагрузок, таких как машинное обучение, высокопроизводительные вычисления (HPC), обработка видео, финансовое моделирование и автоматизация электронного проектирования (EDA).

Эти рабочие нагрузки обычно требуют представления данных через быстрый и масштабируемый интерфейс файловой системы, и обычно наборы данных хранятся в долгосрочных хранилищах данных, таких как Amazon S3.

Amazon FSx for Lustre предоставляет полностью управляемую высокопроизводительную файловую систему Lustre, которая позволяет файловым приложениям получать доступ к данным со скоростью сотен гигабайт в секунду, миллионами операций ввода-вывода в секунду и задержками менее миллисекунды.

Amazon FSx изначально работает с Amazon S3, предоставляя вам прозрачный доступ к вашим объектам S3 в виде файлов в Amazon FSx для выполнения анализа в течение нескольких часов или месяцев.

Затем вы можете записать результаты обратно в S3 и просто удалить свою файловую систему. FSx for Lustre также позволяет перенести рабочие нагрузки по обработке данных из локальной среды в AWS, предоставляя доступ к файловой системе FSx через Amazon Direct Connect или VPN.

Вы также можете использовать FSx for Lustre в качестве автономной высокопроизводительной файловой системы, чтобы перенести свои рабочие нагрузки из локальной среды в облако.

Скопировав локальные данные в файловую систему FSx for Lustre, вы можете сделать эти данные доступными для быстрой обработки вычислительными экземплярами, работающими на AWS.

С Amazon FSx вы платите только за те ресурсы, которые используете. Нет никаких минимальных обязательств, предварительных затрат на оборудование или программное обеспечение или дополнительных сборов.

#5.4 Детали и преимущества

Lustre — это популярная параллельная файловая система с открытым исходным кодом, предназначенная для высокопроизводительных рабочих нагрузок. Эти рабочие нагрузки включают HPC, машинное обучение, аналитику и обработку мультимедиа.

Параллельная файловая система обеспечивает высокую пропускную способность для обработки больших объемов данных и выполняет операции с неизменно низкими задержками.

Это достигается за счет хранения данных на нескольких сетевых серверах, с которыми одновременно могут взаимодействовать тысячи вычислительных экземпляров.

Файловая система Lustre предоставляет интерфейс файловой системы, совместимый с POSIX.

Amazon FSx может масштабировать пропускную способность до сотен гигабайт в секунду и миллионы операций ввода-вывода в секунду.

Amazon FSx обеспечивает высокую пропускную способность для обработки больших объемов данных и выполняет операции с постоянной задержкой менее миллисекунды.

Amazon FSx for Lustre поддерживает файловый доступ к тысячам инстансов EC2, что позволяет вам предоставлять файловое хранилище для высокопроизводительных рабочих нагрузок, таких как геномика, сейсмические исследования и рендеринг видео.

Амазонка S3

• Amazon FSx изначально работает с Amazon S3, упрощая доступ к данным S3 для выполнения рабочих нагрузок по обработке данных.
• Ваши объекты S3 представлены в виде файлов в вашей файловой системе, и вы можете записать свои результаты обратно в S3.
• Это позволяет выполнять рабочие нагрузки по обработке данных в FSx для Lustre и хранить долгосрочные данные в S3 или в локальных хранилищах данных.

Локально

• Вы можете использовать Amazon FSx for Lustre для локальных рабочих нагрузок, которые необходимо перенести в облако из-за пиковых нагрузок или ограничений емкости.
• Чтобы перенести существующие локальные данные в Amazon FSx, вы можете смонтировать файловую систему Amazon FSx for Lustre из локального клиента через AWS Direct Connect или VPN, а затем использовать инструменты параллельного копирования для импорта данных в Amazon FSx для Файловая система блеска.
• В любое время вы можете записать свои результаты обратно, чтобы они надежно хранились в вашем озере данных.

Безопасность

• Все данные файловой системы Amazon FSx шифруются при хранении.
• Вы можете получить доступ к своей файловой системе из своих вычислительных экземпляров с помощью клиента Lustre с открытым исходным кодом.
• После монтирования вы можете работать с файлами и каталогами в вашей файловой системе так же, как и с локальной файловой системой.
• FSx for Lustre совместим с наиболее популярными AMI на базе Linux, включая Amazon Linux, Red Hat Enterprise Linux (RHEL), CentOS, Ubuntu и SUSE Linux.
• Доступ к файловой системе Amazon FSx осуществляется с конечных точек в Amazon VPC, что позволяет изолировать файловую систему в собственной виртуальной сети.
• Вы можете настроить правила группы безопасности и контролировать сетевой доступ к файловым системам Amazon FSx.
• Amazon FSx интегрирован с AWS Identity and Access Management (IAM).
• Эта интеграция означает, что вы можете контролировать действия, которые ваши пользователи и группы AWS IAM могут выполнять для управления вашими файловыми системами (например, создание и удаление файловых систем).
• Вы также можете пометить свои ресурсы Amazon FSx и управлять действиями, которые ваши пользователи и группы IAM могут выполнять на основе этих тегов.