Первая глава: Введение в хранилище AWS
Отказ от ответственности: эта статья является частью серии статей.
4. Путь к AWS SAA: управление доступом к удостоверениям (IAM)
9. Путь к AWS SAA: виртуальные частные облака, виртуальные частные облака
Это… пара ведер? Да да это. Не волнуйтесь - это немного обретет смысл. Мы собираемся поговорить о сервисе хранения AWS. Хотя официальное название - Simple Storage Service, оно широко известно как S3. Цитата из официальной документации:
Amazon Simple Storage Service (Amazon S3) - это сервис объектного хранилища, который предлагает лучшую в отрасли масштабируемость, доступность данных, безопасность и производительность. Это означает, что клиенты всех размеров и отраслей могут использовать его для хранения и защиты любого объема данных для различных сценариев использования, таких как озера данных, веб-сайты, мобильные приложения, резервное копирование и восстановление, архивирование, корпоративные приложения, устройства IoT и большие аналитика данных. Amazon S3 предоставляет простые в использовании функции управления, позволяющие систематизировать данные и настраивать точно настроенные средства управления доступом в соответствии с конкретными бизнес-требованиями, требованиями организации и нормативными требованиями. Amazon S3 рассчитан на надежность 99,999999999% (11 9) и хранит данные для миллионов приложений для компаний по всему миру.
Это файловая служба. Сохраненные объекты, размер которых может составлять от 0 байтов до 5 ТБ, помещаются в структуры, называемые корзинами (отсюда и изображение статьи - извините). Каждая учетная запись имеет ограничение в 100 сегментов, хотя по запросу оно может быть увеличено.
S3 - универсальное пространство имен, что означает, что все имена должны быть уникальными в глобальном масштабе. Каждый загруженный объект имеет:
- Ключ: Название объекта.
- Значение: сам объект.
- Идентификатор версии: совершенно очевидно, что используется для управления версиями.
- Метаданные.
S3 имеет согласованность чтения после записи для PUT новых объектов - однако PUT существующих объектов (т. Е. Обновлений) и DELETE имеют конечную согласованность, что означает, что для распространения может потребоваться некоторое время.
По умолчанию все новые сегменты являются частными, и существует три основных способа обмена сегментами между учетными записями: если нам нужно разделить весь сегмент, мы можем использовать политики сегментов и IAM. Если нам нужно поделиться отдельными объектами, мы можем использовать списки управления доступом к ведру или ACL. Если нам нужно совместно использовать отдельные объекты и по какой-либо причине нам нужен консольный доступ, мы можем использовать роли IAM для нескольких учетных записей.
S3 имеет ограничение на количество запросов на префикс в секунду. префикс - это любая строка без фиксированного количества символов между именем сегмента и именем объекта:
- ведро / папка1 / подпапка1 / файл
- ведро / 1 / файл
Распределение операций чтения по префиксам приводит к повышению производительности.
Для межрегиональной репликации управление версиями должно быть включено как для источника, так и для пункта назначения. Существующие файлы не реплицируются автоматически, но все последующие обновления реплицируются. Обратите внимание, что удаление маркеров или отдельных версий не повторяется.
Функции
- Управление версиями: отлично подходит для резервного копирования и отката.
- Шифрование: может быть выполнено при передаче (SSL / TLS), на стороне сервера (как с управляемыми ключами S3, так и с ключами, предоставленными клиентом) и на стороне клиента, локально перед загрузкой.
- Удаление MFA: чтобы ничего не было удалено по ошибке.
- Управление жизненным циклом: для автоматического управления действиями с файлом с течением времени. Например, мы можем захотеть переместить все в более глубокое (и более дешевое) хранилище после некоторого времени простоя.
- Многоуровневое хранилище. Для данных существует несколько уровней. Сама служба S3 имеет доступность 99,9% и надежность 99,999999999%. Данные (не сервис!) Обладают такой же надежностью, но доступность различается. Стандартное и Интеллектуальное многоуровневое распределение имеет 99,9%, тогда как зона IA-One - 99,5%. Glacier и Deep Glacier, последние уровни, являются самыми дешевыми, поскольку для восстановления файлов может потребоваться больше времени или даже часов.
- Блокировка: предотвращает удаление и / или изменение файлов на определенный период времени. В режиме управления пользователю потребуются особые разрешения для удаления файла - в режиме соответствия их нельзя удалить, даже root.
- Многокомпонентная загрузка и выборка из диапазона байтов S3. Во-первых, большие файлы загружаются партиями, чтобы на них не повлиял сбой подключения. Второй точно так же, но для скачиваний.
- S3 Select: извлекает из объекта только подмножество данных с помощью запросов, подобных SQL, что может обеспечить высокую производительность.
Инструменты
На S3 можно использовать множество встроенных инструментов.
- Amazon S3 Transfer Acceleration: для передачи файлов на большие расстояния - использует CloudFront, см. ниже.
- DataSync: копирует данные из / в помещение в / из S3, требуется установка агента DataSync. Автоматически шифрует и выполняет проверки целостности. Он используется для перемещения больших объемов данных - репликация может выполняться ежечасно, ежедневно или еженедельно и может использоваться для репликации EFS в EFS.
- Snowball (и даже больше!): Решение для транспортировки данных петабайтного масштаба, по сути, это очень большой жесткий диск. 50 ТБ, 80 ТБ или Snowball Edge, устройство емкостью 100 ТБ со встроенным хранилищем и вычислительными возможностями. Если вам нужно больше, есть AWS Snowmobile, который в буквальном смысле представляет собой грузовик с емкостью до 100 ПБ.
- Athena: служба интерактивных запросов, которая позволяет анализировать данные с помощью стандартного SQL без необходимости настраивать конвейер ETL. Оплата по запросу / сканированию ТБ.
- Macie: Служба безопасности, которая использует ML и NLP для обнаружения, классификации и защиты конфиденциальных данных, хранящихся в S3, таких как личная информация, позволяющая установить личность. Он также используется для анализа журналов CloudTrail на предмет подозрительной информации API.
Помимо этих, есть два таких больших инструмента, которым требуется отдельное место в этой статье: CloudFront и Storage Gateway.
CloudFront
Сеть доставки контента: доставляет веб-контент пользователю в зависимости от его географического положения, происхождения и сервера доставки контента.
- Происхождение: источник файлов; может быть сегмент S3, EC2, ELB или Route53.
- Расположение края: где будет кэшироваться контент.
- Распространение: набор крайних локаций.
CloudFront может кэшировать весь веб-сайт: динамический, статический, потоковый и / или интерактивный контент. Распространение может быть веб-распространением для веб-сайтов или RTMP для потоковой передачи мультимедиа. Некоторые примечания по этому поводу: местоположения краев не только для чтения - их можно записать, а объекты кэшируются на время жизни или TTL. Очистить кешированное содержимое можно, но за это взимается плата.
Есть два основных варианта ограничения доступа для определенных людей: подписанные URL-адреса, которые действительны для одного файла, и файлы cookie, которые действительны для нескольких файлов. Оба имеют прикрепленную политику, которая может включать дату истечения срока действия или диапазон IP-адресов.
Шлюз хранения
Соединяет локальное программное обеспечение с облачным хранилищем. Программное обеспечение можно загрузить как виртуальную машину (ESXi или Hyper-V) для установки на хост.
Выделяют четыре типа:
- Файловый шлюз: файлы хранятся как объекты в корзине S3 и доступны через точку монтирования NFS. Право собственности, разрешения и временные метки хранятся в метаданных.
- Volume Gateway. Представляет приложение, использующее блочный протокол iSCSI, а записанные данные асинхронно копируются в AWS в виде инкрементного моментального снимка на определенный момент времени, хранящегося в EBS. Этот вариант обеспечивает низкую задержку, поскольку данные сначала хранятся локально, и надежные резервные копии за пределами площадки.
- Cached Volume Gateway: буквально наоборот, данные сначала сохраняются в AWS, а наиболее часто используемые в шлюзе хранилища сохраняются в качестве кеша. Это обеспечивает низкую задержку и устраняет необходимость масштабирования локальной инфраструктуры.
- Виртуальная ленточная библиотека шлюза: устаревший вариант с лентами.
Вот и все, ребята! Очень краткое изложение всего, что связано с S3, что необходимо для экзамена SAA, согласно отличному курсу Крооненбурга и Рихмана.
Будьте на связи!
использованная литература
Райан Крооненбург и Марк Ричман, Партнер по архитектуре решений, сертифицированный AWS, SAA-C02, 2021 г.
Бен Пайпер и Дэвид Клинтон, Учебное пособие для сертифицированных архитекторов решений, Sybex, 2019.
Больше контента на plainenglish.io
