Техническая конференция — отличное место для обмена знаниями и общения. Для многих AWS Summit 2022 стал первой конференцией, которую они вообще посетили. Поскольку в повестке дня этой конференции было так много замечательных докладов, нам было трудно выбрать наших фаворитов. У всех нас были некоторые совпадения в любом случае, когда им нужно было выбирать. В этой статье вы можете найти некоторые из наших основных моментов.

Обновление собственных процессоров AWS

Процессор AWS Graviton на базе ARM продвигался в ходе нескольких докладов во время мероприятия. Клиенты могут легко получить выгоду от повышения производительности и снижения затрат для различных управляемых сервисов AWS и рабочих нагрузок EC2, если работающее приложение поддерживает arm64. Многие операционные системы Linux, включая Amazon Linux 2, Red Hat Enterprise Linux, SUSE и Ubuntu, поддерживают процессоры AWS Graviton. Инстансы на базе AWS Graviton поддерживаются рядом популярных приложений и сервисов AWS и партнеров по программному обеспечению для обеспечения безопасности, мониторинга и управления, контейнеров и непрерывной интеграции и доставки (CI/CD). Сервисы AWS, в том числе Amazon Aurora, Amazon ElastiCache, Amazon EMR, AWS Lambda и AWS Fargate, позволяют использовать инстансы на базе Graviton2, предоставляя полностью управляемые возможности со значительными преимуществами в плане затрат и производительности. Для широкого спектра рабочих нагрузок инстансы EC2 на базе AWS Graviton2 обеспечивают до 40 % лучшую ценовую производительность, чем аналогичные инстансы текущего поколения на базе x86. Процессоры AWS Graviton были созданы, чтобы обеспечить высочайшее соотношение цены и производительности для ваших облачных рабочих нагрузок Amazon EC2.
Процессоры AWS Graviton3 — самое последнее дополнение к серии процессоров Graviton. По сравнению с процессорами AWS Graviton2 они обеспечивают до 25 % более высокую вычислительную производительность. Для приложений машинного обучения процессоры AWS Graviton3 обеспечивают до 3-кратного повышения производительности по сравнению с процессорами AWS Graviton2. Процессоры AWS Graviton3, такие как Graviton2, более энергоэффективны, что помогает клиентам снизить выбросы углекислого газа. При той же производительности инстансы на базе Graviton3 потребляют на 60 % меньше энергии, чем эквивалентные инстансы EC2.

Экологичность

В лейтмотиве второго дня был анонсирован новый Инструмент учета углеродного следа клиента. Этот бесплатный инструмент для всех пользователей AWS поможет вам достичь собственных целей в области устойчивого развития. Инструмент углеродного следа клиента можно использовать для отслеживания, измерения, оценки и прогнозирования выбросов углерода в результате вашего потребления AWS. Вы можете использовать инструмент углеродного следа клиента, чтобы увидеть, как ваши выбросы изменились с течением времени, когда вы переносите рабочие нагрузки на AWS, перепроектируете приложения или устареваете неиспользуемые ресурсы. Вы также можете подготовиться к будущему и предсказать, как изменятся ваши выбросы по мере того, как Amazon приближается к тому, чтобы полностью перейти на возобновляемые источники энергии.

Время озарения

Фраза «Данные — это новая нефть. [...]» Клайва Хамби неоднократно подтверждалась за последние несколько лет. Информация и идеи, которые организации могут извлечь из своих данных, кажутся неисчерпаемыми. Многие приложения, AI или ML, извлекают выгоду из все более крупных и богатых наборов данных, и эти данные со временем становятся важной частью для все большего числа предприятий. В связи с этим возникает вопрос, как лучше всего использовать имеющиеся данные?

Конечно, есть много аспектов, которые следует учитывать при ответе на этот вопрос, но время может быть самым важным. Как организация может сократить время, необходимое для получения информации о своих данных? Время часто оказывает непосредственное влияние на затраты, например, затрачивая время на дорогостоящие ресурсы или ненужную и утомительную доработку, или из-за трудоемкого управления данными. Именно здесь вступают в игру современные методы работы с данными для платформ данных. В сочетании с хорошей облачной инфраструктурой эти методы могут ускорить получение информации. Далее мы постараемся дать вам их краткий обзор.

При создании платформы данных частая проблема заключается в том, чтобы не превратить озеро данных в болото данных, где все застревает и теряется. Кроме того, предоставить правильный инструмент для нужной работы не всегда легко, и на первое место выходит соответствие требованиям и личным требованиям. Однако, чтобы облегчить этот процесс, может помочь применение следующих основных практик в вашем следующем проекте:

  1. продукт данных как код
  2. автоматизация управления данными
  3. бесшовная конфиденциальность данных

Продукт данных как код следует идее рассматривать анатомию данных как код. Это включает в себя объявление метаданных, таких как ввод/вывод ваших конвейеров, объявление моделей данных и логику преобразования в структурированном и машиночитаемом формате, таком как YAML. Исключение нефиктивных требований также помогает перенести повторяющиеся шаги, такие как очистка данных, с отдельных конвейеров на платформу данных.

Второй шаг к сокращению времени получения информации — автоматизация управления данными. Это включает в себя обеспечение качества данных во время сборки и выполнения. Например, следуя общепринятым инженерным методам, таким как модульное тестирование логики преобразования перед ее развертыванием на платформе данных.

Кроме того, важен хороший мета-менеджмент. Поддержание каталогов технических данных и каталогов бизнес-данных в актуальном состоянии (например, глоссария) может очень помочь. Такие инструменты, как AWS Glue или Amazon EMR, могут помочь автоматизировать процессы на уровнях приема и преобразования.

Наконец, безупречная конфиденциальность данных может значительно ускорить ваш конвейер. Существенным фактором является рассмотрение регулирования и управления согласием. Управление этими темами в корне, а не отдельно для каждого проекта, может сэкономить много времени. Кроме того, создание целевых наборов данных для отдельных случаев использования помогает соблюдать такие правила, как GDPR.

В целом, мы надеемся, что следование этим основным методам облегчит ваш путь к настройке или управлению вашей следующей или существующей платформой данных в будущем. Чтобы получить полную картину, взгляните на приведенную ниже концептуальную эталонную архитектуру.

Автоматизированные проверки кода на основе ML

Автоматизация — хороший способ снизить когнитивную нагрузку ваших процессов. Amazon CloudGuru стремится автоматизировать проверку кода и профилирование кода, применяя методы машинного обучения. В настоящее время этот сервис поддерживает код Python и Java и может проверять правильность использования API AWS, проблемы параллелизма, утечки ресурсов, эффективность кода, дублирование кода, проверку ввода и проверять непреднамеренное раскрытие конфиденциальной информации. CloudGuru интегрируется с Cloud9 IDE, AWS CodeCommit, репозиториями GitHub и другими.

Нужна поддержка при миграции в облако или архитектуре данных?

Netlight Consulting — сертифицированный партнер AWS, который может помочь вам в переходе к облаку. Основываясь на опыте многих проектов, которые мы реализовывали вместе с нашими клиентами на протяжении многих лет, мы разработали руководство по облачной стратегии в качестве основы для планирования и реализации проекта миграции в облако. Не стесняйтесь обращаться в один из наших 10 офисов по всей Европе!

сценарий Саймон Реми, Мориц Келлерманн, Себастьян Шрек