Сколько серверов в облаке Amazon EC2?
Как и многие другие интернет-компании, Amazon не разглашает информацию о своей инфраструктуре, в том числе о количестве серверов. Но аналитик из Accenture Technology Labs произвёл собственный подсчёт: у него получилось, что в семи дата-центрах Amazon Web Services должно быть по крайней мере 454 400 серверов.
Интересно, что 70% из них находится в регионе US East (Виргиния).
| Кол-во серверных стоек | Кол-во блэйд-серверов | |
| US East (Виргиния) | 5030 | 321 920 |
| US West (Орегон) | 41 | 2624 |
| US West (Сев. Калифорния) | 630 | 40 320 |
| EU West (Ирландия) | 814 | 52 096 |
| AP Northeast (Япония) | 314 | 20 096 |
| AP Southeast (Сингапур) | 246 | 15 744 |
| SA East (Сан-Паулу) | 25 | 1600 |
| Всего | 7100 | 454 400 |
Amazon использует регулярный паттерн присвоения внутренних IP-адресов: каждый инстанс получает адрес 10.x.x.x, а каждая стойка получает диапазон 10.x.x.x/22, то есть можно определить все виртуальные машины в этой стойке. Исследователь просканировал AWS путём DNS-запросов внутри сети EC2, используя внешние IP-адреса инстансов, их диапазоны известны.
Непосредственно количество блэйд-серверов оценивалось исходя из информации о 64 блэйдах на стойку — четыре шасси 10U, на каждом шасси по 16 блэйдов (вот как раз это предположение ни на чём не основано).
Подробнее о методологии исследования см. в блоге автора.
Данная оценка уже вызвала дебаты среди экспертов. Они спорят, сколько серверов может быть на самом деле в каждой стойке, потому что у компании сменилось несколько поколений оборудования. Но в любом случае общее мнение сходится к тому, что Amazon по количеству серверов уже обогнал всех хостинг-провайдеров, которые публично разглашают информацию о количестве серверов, но ещё точно не догнал Google, у которой в сети дата-центров около 900 тыс. серверов.
Нужно также отметить довольно быстрый рост инфраструктуры Amazon, на графике показано увеличение количества стоек в регионе US East, за указанный период он прибавлял в среднем по 110 стоек в месяц.
- Высокая производительность
- Amazon Web Services
Инфраструктура Amazon Web Services изнутри. Часть 1
Ряды серверов внутри дата-центра Amazon
После того, как облачные вычисления возникли в качестве новой парадигмы, и окончательно выделились в отдельную сферу, компания Amazon смогла быстро стать лидером этой сферы. Запуск Amazon Web Services в 2006 году (вдумайтесь только, почти 10 лет назад!) позволил ритейлеру стать крупнейшим игроком на рынке, с долей этого рынка в $6 миллиардов.
С течением времени облачные сервисы Amazon стали обслуживать десятки и сотни тысяч клиентов (сейчас уже более миллиона). Соответственно, аптайм сервисов весьма критичен, и даже минута простоя может обойтись клиентам компании очень дорого. Не так давно сбой все же случился, и в результате пострадали Netflix, Reddit, Tinder, IMdB и множество других сервисов. Все это случилось по вине сбоя в дата-центре, расположенного в Вирджинии, США. Сегодня мы предлагаем ознакомиться со всей инфраструктурой компании, описав ее примерную географию и возможности.
Итак, Amazon сейчас управляет, по меньшей мере, 30 дата-центрами своей глобальной сети, и еще 10-15 вскоре будут построены или находятся на стадии проектирования. К сожалению, компания не раскрывает полную схему своей инфраструктуры, но по косвенным данным эксперты делают вывод, что только в США общая мощность ДЦ компании составляет около 600 МВт.
По мнению специалистов Gartner, вычислительные мощности Amazon Web Services в пять раз превосходят общую вычислительную мощность 14 других «облачных» провайдеров.
Приоткрываем завесу тайны
Компания Amazon с самого появления Amazon Web Services очень неохотно рассказывает о дата-центрах, сообщая значительно меньшее количество информации о своей инфраструктуре, чем другие компании, например Google, Facebook и Microsoft. Правда, в последние несколько лет ситуация немного изменилась — топ-менеджеры уже более охотно общаются на тему дата-центров компании.
«Нам часто задают вопросы о физической инфраструктуре Amazon Web Services. Мы никогда не рассказывали особенно много об этой сфере, и сейчас мы хотим приоткрыть завесу секретности относительно нашей сети и дата-центров», — сообщил Вернер Вогелс, технический директор и вице-президент Amazon Web Services на июльском AWS Summit, проходившем в Тель-Авиве.
Главная цель подобных встреч — помочь разработчикам понять философию Amazon относительно облачной инфраструктуры, а также узнать больше об аптайме системы и ее надежности. Так вот, вся инфраструктура разделена на 11 регионов, каждый содержит кластер дата-центров. В каждом регионе есть несколько Availability Zones, обеспечивающих клиентов возможностью дублирования своих сервисов или зеркалирования во избежание простоя. Правда, недавние сбои инфраструктуры AWS показывают, что здесь команда Amazon могла бы потрудиться и более тщательно.
Инвестиции в платформу растут
В последнем квартале рост Amazon Web Services составил 81%, по сравнению с аналогичным периодом прошлого года. Это не означает, что и вся инфраструктура растет с аналогичной скоростью, но здесь можно быть уверенным в том, что Amazon постоянно добавляет серверы, хранилища данных и дата-центры в свою инфраструктуру.
«Каждый день Amazon увеличивает мощность своей инфраструктуры настолько, что этого хватило бы для обеспечения глобальной инфраструктуры Amazon, когда компания представляла организацию с ежегодным доходом в $7 млрд», — сообщил Джеймс Хамильтон, вице-президент и ведущий инженер Amazon. Это весьма значительно.
Сейчас стратегия развития дата-центров Amazon основана на идее снижения затрат. Кстати, с момента запуска Amazon Web Services стоимость цен на услуги сервиса упали в 49 раз.
Вернер Вогелс (Фото: YouTube)
«Мы многое делаем для снижения стоимости наших услуг. Маржа у нашего бизнеса небольшая, и мы рады сохранить ее на текущем уровне. Тем не менее, мы снижаем стоимость услуг сервиса на регулярной основе», — прокомментировал ситуацию Вернер Вогелс.
Краеугольным камнем всей стратегии Amazon является определение оптимального размера дата-центров. По словам представителей компании, большинство дата-центров Amazon включает от 50 до 80 тысяч серверов, с мощностью отдельно взятого дата-центра в 25-30 МВт. Компания шла к этой цифре достаточно долго.
Насколько большим должен быть дата-центр?
Поскольку размер дата-центров Amazon увеличивается, то и значение выхода из строя отдельно взятого дата-центра тоже увеличивается. По словам экспертов компании, дата-центр, если так можно выразиться, является элементом сбоя. И чем больше дата-центр, тем более сильное влияние на размер сбоя он может иметь. Именно поэтому компания не создает дата-центры с вместимостью больше 100 тысяч серверов, большинство ее ДЦ имеют меньшие размеры и вместимость
Возникает второй вопрос — сколько же серверов обеспечивают работу Amazon Web Services? Информация предоставленная вице-президентами компании, позволяет говорить о минимальном числе в 1,5 миллиона. Максимальное число серверов AWS, просчитанное компанией Platform, составляет 5,6 миллиона.
Amazon арендует создания у ряда операторов дата-центров, включая Digital Realty Trust и Corporate Office Properties Trust. В прошлом компания брала в аренду здания, вроде складов, и преобразовывала их в дата-центры. Относительно недавно Amazpn решила изменить стратегию, сфокусировавшись на создании ДЦ с нуля. В Орегоне компания использовала уже готовые модульные компоненты для сборки цельного дата-центра.
Преимуществом Amazon является еще и создание собственных энергетических подстанций. Здесь уже больше проявляется необходимость обеспечения скорости работы, а не управление операционными расходами. Экономия минимальна, но зато создавать дата-центр можно гораздо более быстрыми темпами.
Кастомные сервера и хранилища данных
На самых ранних этапах развития своей облачной платформы компания Amazon закупала оборудование у наиболее известных производителей. Главным поставщиком оборудования для Amazon была компания Rackable Systems. Только в 2008 году Amazon заказала северов на $86 миллионов у этой компании, а годом ранее — на $56 миллионов.
Но с ростом инфраструктуры компания стала разрабатывать собственное аппаратное обеспечение для своих дата-центров. Это позволяет Amazon проводить тонкую настройку своих серверов, хранилищ данных и сетевого оборудования, оптимизируя эффективность работы всего аппаратного обеспечения, одновременно снижая затраты.
«Да, мы создаем собственные серверы. Мы можем покупать готовые решения, но они очень дороги, и не слишком оптимизированы под наши нужны. Поэтому мы создаем свое оборудование. Мы работали вместе с Intel для того, чтобы получить возможность использования обычных процессоров в режиме повышенной производительности. Это, в свою очередь, позволило нам создать кастомизированные типы серверов для использования в весьма специфичных целях», — сообщил Вогелс.
Изображение: Джеймс Хамильтон
В инстансах ЕС2 используются именно такие сервера, собранные на основе процессоров Xeon E5, выполненные по 22-нанометровому техпроцессу с использованием архитектуры Haswell. При этом сервера здесь — разной конфигурации, предназначены для выполнения различных задач.
По мнению специалистов Amazon, сейчас компания знает, как построить серверы с конфигурацией, оптимально подходящей для выполнения определенного круга задач, включая поддержку работы определенного программного обеспечения и сервисов.
AWS использует и собственное ПО, а также аппаратное обеспечение для построения сетевой инфраструктуры.
Скорость света и облако
«Фактор скорости света» играет важную роль в проектировании инфраструктуры Amazon.
«Наиболе распространенный способ работы клиентов — это запуск приложений в конкретном дата-центре, и вы можете обеспечить максимальную надежность дата-центра для этого варианта, согласившись с тем, что аптайм 99,9% вполне достаточен. Но если вы создаете высоконадежное приложение или сервис, требуется уже два дата-центра для обеспечения его работы. При этом расстояние между дата-центрами может быть очень велико, и путь сигнала довольно длинен. Поэтому создание распределенной инфраструктуры, в особенности, если дата-центры удалены друг от друга на большое расстояние, может стать сложной задачей», — сообщил Вогелс.
Ответом же на эту проблему могут стать Availability Zones: кластеры дата-центров в пределах региона, позволяющие клиентам запускать инстансы в различных изолированных локациях, избегая, таким образом, точки сбоя. Если что-то случается с одним инстансом, приложение поддерживается другим, в другой Availability Zone. У каждого региона от 2 до 6 Availability Zones.
При этом компания сделала Availability Zones изолированными друг от друга, но близкими в достаточной степени, чтобы обеспечить минимальную задержку сигнала в Сети. По словам специалистов компании, задержка сигнала между зонами обычно составляет 1-2 миллисекунды. Для сравнения — задержка при прохождении данных от Нью-Йорка до Лос-Анжелеса составляет 70 миллисекунд.
«Мы решили разместить Availability Zones близко друг к другу. Но они должны все же находиться в различных географических регионах, и быть подключены к разным энергосетям, кроме того, находиться на разной высоте над уровнем моря», — говорит Хамильтон.
В следующей статье мы расскажем подробнее о географии сетевой инфраструктуры Amazon.
Сервисы AWS по регионам
*AWS Fargate: в таблице приведены данные о доступности AWS Fargate в различных регионах при использовании Amazon ECS. Информацию о региональной доступности AWS Fargate с Amazon EKS см. на сайте https://docs.aws.amazon.com/eks/latest/userguide/fargate-getting-started.html
**Amazon Rekognition: в таблице приведены данные о доступности изображения и видео Amazon Rekognition в различных регионах. Пользовательские этикетки Amazon Rekognition доступны в следующих регионах: Ирландия, Лондон, Мумбаи, Огайо, Орегон, Сев. Вирджиния, Сеул, Сидней, Сингапур, Токио и Франкфурт.
*** Amazon Transcribe: в таблице приведены данные о доступности стандартной конфигурации Amazon Transcribe (версия для пакетной передачи) в различных регионах. Стандартная конфигурация Amazon Transcribe (версия для потоковой передачи) доступна в следующих регионах: Восток США (Огайо), Восток США (Северная Вирджиния), Запад США (Орегон), Канада (Центральная), ЕС (Ирландия), ЕС (Лондон), ЕС (Франкфурт), Азиатско-Тихоокеанский (Сеул), Азиатско-Тихоокеанский (Сидней), Азиатско-Тихоокеанский (Токио) и Южная Америка (Сан‑Паулу).
Сервис аналитики звонков Amazon Transcribe (версия для пакетной передачи) доступен в следующих регионах: Запад США (Орегон), Восток США (Северная Вирджиния), Канада (Центральная), Европа (Лондон), Европа (Франкфурт), Азиатско-Тихоокеанский (Мумбаи), Азиатско-Тихоокеанский (Сеул), Азиатско-Тихоокеанский (Сидней), Азиатско-Тихоокеанский (Сингапур) и Азиатско-Тихоокеанский (Токио). Сервис аналитики звонков Amazon Transcribe (версия для потоковой передачи) доступен в следующих регионах: Запад США (Орегон), Восток США (Северная Вирджиния), Канада (Центральная), Европа (Лондон), Европа (Франкфурт), Азиатско-Тихоокеанский (Сеул), Азиатско-Тихоокеанский (Сидней) и Азиатско-Тихоокеанский (Токио).
**** Управляемая политика AWS: в таблице приведены данные о доступности плана ускоренных операций Управляемой политики AWS в различных регионах. В настоящее время план AWS Managed Services Advanced Operations Plan доступен в следующих регионах: Восток США (Сев. Вирджиния), Восток США (Огайо), Запад США (Орегон), Запад США (Сев. Калифорния), Канада (Центр), ЕС (Франкфурт), ЕС (Ирландия), ЕС (Лондон), ЕС (Париж), Азия и Тихий океан (Мумбаи), Азия и Тихий океан (Токио), Азия и Тихий океан (Сингапур), Азия и Тихий океан (Сеул), Азия и Тихий океан (Сидней) и Южная Америка (Сан-Паулу).
Сервисы AWS обрабатывают и хранят контент клиентов в одном или нескольких регионах AWS, в которых клиент пользуется сервисами. Если не указано иное, то глобальные сервисы [Управление идентификацией и доступом AWS (IAM), Организации AWS, Amazon CloudFront, Amazon Route53, Международный ускоритель AWS, AWS Direct Connect, Диспетчер брандмауэра AWS, Брандмауэр веб-приложений AWS (WAF) и AWS Shield] могут хранить и обрабатывать данные на глобальном уровне. Сервисы AWS генерируют внутренние операционные данные (не являющиеся контентом пользователей), необходимые для эксплуатации, поддержки и улучшения сервисов. Внутренние операционные данные, например используемые для измерения использования, генерирования счетов для клиентов и пометки ресурсов, можно обрабатывать в регионах AWS, которые используются клиентом, и в других.
Чтобы узнать больше о зависимостях сервисов AWS, свяжитесь с нами здесь .
Где находятся сервера амазона
Не только те разработчики, кто уже год-два работает с крупными проектами с миллионными бюджетами, но и самые обычные средние студии всё чаще сталкиваются с заказами, проектами, которые подразумевают сотни тысяч, а то и миллионы хитов в день. Как правило, это современные интернет-магазины с очень большой номенклатурой товаров (например, магазин с 500 000 карточек товаров и 3 млн SKU) . Но могут быть и информационные и корпоративные проекты. Всё это надо как-то уметь проектировать, обслуживать, как-то с этим работать.
Создание проекта веб-студией надо рассматривать с двух сторон: с позиции менеджера и с технической. Игнорирование любой из них с высокой долей вероятности ведёт к провалу заказа. На практике, особенно в небольшой студии, развести эти моменты бывает достаточно сложно, так как, например, ведущий программист выступает, как правило, ещё и менеджером проекта. В нашем курсе обе этих стороны будут постоянно пересекаться, но мы постараемся выделять и отделять организационные моменты от технических.
Проблемы перед веб-студиями возникают как только они получают заказ на проект чуть более сложный, чем обычно. Немного более сложный, немного более большой, немного более высоконагруженный. (В рамках Bitrix Framework это означает, что как только запросы клиента выходят за пределы административной части, инфоблоков с контентом, то начинаются сложности.) В этом курсе мы постараемся дать простые методики как выжить в данном случае.
Надо понимать, что сложный проект и высоконагруженный проект – это немного разные вещи. Возможен высоконагруженный проект на штатном функционале CMS. В этом случае требуется, главным образом, настройка серверов. И возможен сложный проект, где требуется большая работа по написанию кода в дополнение к имеющемуся, но проект не подразумевает большого числа посетителей.
В первом случае полезна будет, в первую очередь, глава про эксплуатацию, во втором – глава про разработку.
Примечание: В силу ограниченности объёма курса описания некоторых технологий даны в общем виде, только с целью дать направление для поиска решений проблем. Детально с такими технологиями ознакомьтесь самостоятельно.
Цель курса – помочь веб-студиям в организации работ, разработки и эксплуатации проектов. Этот курс – не столько теоретический, сколько практический, он построен на опыте разработки больших и малых, высоконагруженных и простых проектов.
Курс рассматривает вопросы создания высоконагруженных и сложных проектов без привязки к нашим продуктам. Примеры на базе платформы Bitrix Framework, приведённые в курсе, даны как один из вариантов реализации. Всё, что говорится на страницах ниже, можно применить и при работе с другими системами.
Примечание: Ознакомление с курсом будет так же полезно потенциальным заказчикам высоконагруженных проектов, так как даёт ориентиры в выборе команды для своего проекта и для оценки её работы.
Баллы опыта
В конце каждого урока есть кнопка Прочитано! . При клике на неё в вашу итоговую таблицу опыта добавляется то количество баллов, которое указано в прочитанном После нажатия кнопки Прочитано! появится
окно подтверждения:
уроке.
Периодически мы заново оцениваем сложность уроков, увеличивая/уменьшая число баллов, добавляем новые уроки. Поэтому итоговое количество баллов курса и количество набранных вами баллов могут различаться между собой. Набранные вами баллы, в отличие от суммы баллов курса, не пересчитываются. Не переживайте!
Отличный результат – это если общее число набранных вами баллов отличается от максимального на несколько процентов.
Комментарии к урокам
| На каждой странице курса авторизованный на сайте посетитель может дать комментарий к содержимому страницы. Комментарий – не форум, там не ведётся обсуждений или разъяснений. Это инструмент для сообщения нам об ошибках, неточностях. Для отправки комментария воспользуйтесь расположенной в правом нижнем углу окна браузера кнопкой. |  |
Если нет интернета
Скачать материалы курса в формате EPUB. Файлы формата EPUB Чем открыть файл на
Android:
EPUB Reader
CoolReader
FBReader
Moon+ Reader
eBoox
iPhone:
FBReader
CoolReader
iBook
Bookmate
Windows:
Calibre
FBReader
Icecream Ebook Reader
Плагины для браузеров:
EpuBReader – для Firefox
Readium – для Google Chrome
iOS
Marvin for iOS
ShortBook
Linux:
Calibre
FBReader
Cool Reader
Okular обновляются периодически, поэтому возможно некоторое отставание их от онлайновой версии курса. Версия файла – от 02.11.2021.
Курсы разработаны в компании «1С-Битрикс»
Если вы нашли неточность в тексте, непонятное объяснение, пожалуйста, сообщите нам об этом в комментариях.