Создание такого сложного объекта, как дата-центр (ЦОД) – комплексная задача, для решения которой нужно не только учесть множество разных факторов, но и предусмотреть в бюджете проекта соответствующие статьи расходов.
Сам «комплект» факторов остается практически неизменным. А вот структура их влияния на общую стоимость проекта с годами меняется. Итак — на что предстоит потратиться тем, кто займется созданием дата-центра (неважно — собственного или коммерческого, то есть предназначенного для предоставления мощностей клиентам)?
Об этом нашему изданию рассказали эксперты, чья деятельность связана либо с эксплуатацией, либо со строительством ЦОДов.
Что нам стоит ЦОД построить
| Аналитическая справка: Российский рынок дата-центров в 2012 году вырос на 22,8% и составил 6,2 млрд руб. (для сравнения, весь российский рынок связи вырос на 5,1%). На сегодня в России насчитывается более 170 крупных и средних коммерческих дата-центров. В 2012 году было введено в строй порядка 14 крупных и средних коммерческих дата-центров – 8,3 тыс. кв.м. полезной площади. Общая полезная площадь коммерческих дата-центров в 2012 году достигла 62,6 тыс. кв.м, за год объем площадей вырос на 18,6%. Число стоек выросло на 17,8% и составило 18,7 тыс. Темпы роста рынка сохраняются на высоком уровне: по оценкам аналитиков, в 2013 году суммарная площадь дата-центров увеличится еще на 22 тыс. кв.м. (источник — iKS Consulting) |
В самых общих чертах, расходы на ЦОД складываются из затрат на помещение (аренда, строительство, инженерия), оборудование (собственно стойки, система кондиционирования, дизель-генератор, система пожаротушении, ИБП), системы мониторинга, физической безопасности, энергоснабжение, заработную плату сотрудников и телекоммуникационную инфраструктуру (каналы связи). Причем цена на электроэнергию существенно отличается в разных регионах, что может оказать довольно сильное влияние на коммерческие показатели эксплуатации дата-центра и даже на выбор региона расположения будущего ЦОДа.
В Саратовской области строят самый крупный в России центр обработки данных
Специфика ЦОДов такова, что не всякий объект недвижимости может быть использован для их создания. Например, перекрытия зданий должны выдерживать колоссальную нагрузку (не менее 735кг/м² при нагрузке сверху плюс 125кг/м² нагрузки снизу, по нормам международного стандарта Tier III), минимальная высота потолков – 2 м 44 см, а сами здания не могут располагаться в сейсмически опасных зонах, вблизи водоемов, линий электропередач и различных объектов повышенной опасности. Кроме того, помещения должны располагаться вблизи магистральных линий связи, которые к тому же необходимо резервировать во избежание проблем с организацией качественного подключения к Интернету. Отдельные требования предъявляются к помещениям для персонала дата-центра, организации контроля доступа, обеспечению резервного электропитания и возможностям подключения достаточных для работы всех систем ЦОД энергомощностей.
Как мы строим ЦОДы
С учетом всего этого, по мнению гендиректора компании «Миран» Игоря Ситникова, сегодня оптимально строить помещение под ЦОД самому и на собственной, а не арендуемой, земле, поскольку в долгосрочной перспективе это выйдет дешевле.
Обратная сторона этого подхода – сроки. Поиск и подготовка объектов недвижимости для организации дата-центра в среднем занимает год-полтора. В случае, если речь идет о строительстве дата-центра с нуля — прибавляется еще два-три года. Всевозможные хлопоты по получению необходимых разрешений, сертификатов и ресурсных квот могут продлиться около года.
Особенно много времени занимает поиск подходящего «пятна» под стройку и оформление документов на землеотвод. В среднем, по оценке Евгения Щепилова, руководителя компании «Сервионика» (ГК «Ай-Теко»), в управлении которой находится один из крупнейших российских дата-центров «ТрастИнфо», процесс создания нового дата-центра и его подготовки к выводу на рынок занимает 2-3 года, а в отдельных случаях — и больше.
Возможно, именно этим объясняется многолетнее превышение спроса над предложением качественных дата-центров в России, особенно — в столичном регионе. 9 из 10 крупнейших дата-центров России находятся здесь: в Москве и Московской области сосредоточено 77% доходов российского рынка коммерческих дата-центров и 64,7% коммерческих площадей. Объем рынка дата-центров Москвы в 2012 году вырос на 22% и составил 4,8 млрд руб., годом ранее этот же показатель составлял 3,9 млрд рублей). В то же время, заказчики становятся все более требовательными к качеству инфраструктуры и уровню сервиса, предоставляемого дата-центрами, однако далеко не все площадки могут этим современным требованиям соответствовать. Появление новых игроков на этом рынке затруднено из-за высокого «входного порога»: инвестиции уже на самых ранних стадиях требуются серьезные, а отдачи от них можно ожидать не ранее, чем через 7-10 лет (с учетом сроков строительства и выхода реализованного объекта хотя бы на самоокупаемость, а затем — и на прибыль).
Но, допустим, компания уже прошла все сложности начального этапа: дата-центр построен и работает. Стало ли легче в плане затрат? Не факт: известен парадоксальный пример одной из крупнейших российских интернет-компаний, которая несколько лет назад, в пору интернет-бума, не успевала модернизировать свой дата-центр — быстрее было просто покупать новые площадки. Какой вывод?
При строительстве собственного ЦОДа не стоит экономить: нужно рассчитывать его параметры с внушительным заделом на будущее. На сегодняшнем рынке будущее наступает очень быстро: требования к надежности и мощности растут с каждым годом.
За время, пока дата-центр строится, запросы рынка и стратегия компании могут существенно измениться. И при пересмотре бизнес-плана может выясниться, что дата-центр, который создавался исключительно для внутренних нужд, эффективнее перепрофилировать для коммерческого использования. Кроме того, нужно учитывать, что дата-центр — это дорогостоящий актив, с учетом рыночной ситуации его можно выгодно продать.
Плюс электрификация всей страны
На рынке очевиден жесткий дефицит готовых помещений, пригодных для перепрофилирования в дата-центр, поэтому шанс снизить капитальные затраты за счет устранения расходов на строительство объекта очень мал. Более вероятен сценарий, когда помещение приходится арендовать по ставке 9000-15000 рублей за 1 кв.м в год, да еще и за свой счет «доводить до ума» его инфраструктуру, например — электрические сети. В частности, проект, реализуемый сейчас компанией «Миран», предусматривает прокладку 1,5 км электрокоммуникаций – это обойдется в 10 млн рублей. Покупка и установка ИБП – от 5 до 10 млн., еще в 10 млн обойдется дизель-генераторная установка (ДГУ) для резервного энергопитания на случай перебоев с центральным энергоснабжением.
В настоящее время энергоэффективность ЦОД обычно определяется с помощью коэффициента Power Usage Effectiveness (PUE).
Так, по данным HP и Fujitsu, среднее значение коэффициента PUE для большинства ЦОД в Германии составляет около 1,6–2[2]. Это означает, что в ЦОД должно поступить 1,6–2 Вт электроэнергии, чтобы системы ИТ получили 1 Вт. Оставшиеся 0,6–1 Вт расходуются на охлаждение, освещение и прочие нужды. Только в ЦОД новейшего поколения удается достичь показателей PUE на уровне 1,1–1,2.
Энергопотребление современных дата-центров растет и составляет сейчас до 15-16 кВт на стойку (для стойки серверов 1U) и 24 кВт (для стойки модульных серверов), существуют варианты и с 50 кВт на стойку — дата-центры, созданные 5-10 лет назад, просто не рассчитаны на работу с такими нагрузками, такие дата-центры способны отводить максимум до 6 кВт тепла. Ужесточились требования и к экологической безопасности дата-центров: уровням тепловыделения и шума, устройству систем охлаждения. В зарубежных дата-центров более 70% ТСО (стоимости владения объектом) приходится именно на потребляемую энергию, что также связано с высокими тарифами на нее.
Дмитрий Петров, гендиректор оператора связи «Комфортел», считает, что энергоснабжение сегодня является самой крупной статьей в бюджете любого ЦОД, наряду с фондом заработной платы. «Именно поэтому сейчас энергоэффективность ЦОДов является такой горячей темой: инвестируя в ее обеспечение, оператор получает огромную экономию на весь дальнейший период эксплуатации», — отмечает он. В целом, по оценкам Gartner, 28% среднестатистического IT-бюджета приходится на инвестиции в инфраструктуру и приложения, а оставшиеся 72% — на их обслуживание.
Резервирование каждого узла инфраструктуры согласно стандарту доступности Tier-3 (схема резервирования N+1) влечет за собой дополнительные траты на оборудование. Площадку необходимо обеспечить двумя независимыми энерговводами, что, в отличие от ЦОД уровней Tier-1 и Tier-2, обеспечивает полное резервирование энергоснабжения.
При планировании инвестиций в дата-центр (например, его покупку или модернизацию имеющегося) важным фактором для снижения ТСО является уровень внедрения новых технологий. Растет спрос на услуги виртуализации инфраструктуры, в связи с чем капитальные инвестиции провайдеров и владельцев собственных дата-центров все чаще направляются на закупку более производительных серверов с низким энергопотреблением, совершенствование систем учета потребления электроэнергии, управления ресурсами дата-центра, прогнозирования загрузки машинных залов.
Отметим, что в мире проблема энергоэффективности ЦОДов – одна из самых острых, стоящих перед отраслью – иногда успешно решается счет использования географических особенностей ландшафта, в который вписано здание, где базируется объект.
Так, компания Interxion на своем объекте в Стокгольме экономит $1 млн в год просто забирая воду из Балтийского моря для охлаждения своего ЦОД. Традиционно это проблема решается за счет кондиционирования, а, значит, еще больших затрат на электроэнергию. Вокруг Стокгольма имеется готовая сеть трубопроводов с циркулирующей в них морской водой. Именно к ней и удалось подключиться Interxion. По аналогичной модели решена проблема охлаждения ЦОДов Google в Финляндии.
Температура воды на входе в первый модуль ЦОД составляет 6°С, а на выходе – 12°С. Второй модуль вода покидает уже с температурой 18 °С, а в третьем нагревается до 24 °С. После этого она поступает на насосную станцию и используется для отопления близлежащих домов и офисов.
После реализации проекта компании удалось уменьшить коэффициент эффективности использования электроэнергии (Power Usage Effectiveness, PUE) с 1,95 до 1,09, на 80% снизить затраты на охлаждение по сравнению с системами на базе воздушного охлаждения и на 13% — по сравнению с системами жидкостного охлаждения.
Оценив эффективность проекта, компания планирует создать такую же схему в Лондоне — с использовангием вод Темзы. В России подобный проект реализуется в ЦОД «ТрастИнфо» (ГК «Ай-Теко»): этот дата-центр расположен в комплексе зданий Научно-исследовательского центра электронно-вычислительной техники (НИЦЭВТ), на территории которого находится технический бассейн.
Он используется как резервное хранилище холода. Вода температурой +7°C охлаждает этиленгликоль внешних контуров системы охлаждения, холодная вода также залита в два внутренних контура системы холодоснабжения. Во внутренней системе водоснабжения используется накопительный бак холода на 2000 кубометров воды. Система обеспечивает 4 часа автономного охлаждения дата-центра при полной загрузке мощностей.
Сложить и перемножить
Существует несколько методологий, по которой оцениваются издержки на оснащение машинных залов. Некоторые эксперты оценивают «чистые» затраты на оборудование, которым необходимо оснастить дата-центр уровня Tier III с полезной площадью 2000 кв. м. при «энерговооруженности» 1 кВт/кв. м в 44,8 млн долл., — то есть, 22,4 тыс. долл. за квадратный метр машинного зала. Однако более реалистичной представляется оценка совокупности всех затрат, и они могут составить 45-60 тысяч долларов США на одну стойку. Сюда входит не только стоимость оборудования, но и затраты на создание инфраструктуры, лицензирование, услуги монтажа и технической поддержки — ведь «железо» не будет работать само по себе.
Начальник отдела инфраструктурных проектов «Компания КОМПЛИТ» Владислав Яковенко отмечает незначительное снижение стоимости стойки (на 5-7%) в течение последних пяти лет. Одна из причин — повышение компетенции проектировщиков и строителей дата-центров: опыт позволяет удешевлять решения, применяемые при строительстве новых дата-центров, даже несмотря на ежегодный рост тарифов на энергоснабжение и оборудование и других операционных затрат. «Что касается других составляющих, то я бы отметил затраты на персонал: с ростом компетенции специалистов растут и их зарплаты. Ставки по аренде снижаются, но качество помещения иногда несет в себе скрытые издержки, и реальная стоимость эксплуатации может значительно отличаться от декларируемой. Тарифы на электричество растут постоянно. Для типовых ЦОДов в РФ сегодня «вилка» в 27-33 тысячи долларов на стойку является справедливой оценкой», — говорит эксперт.
По прогнозу В. Яковенко, этот показатель в ближайшие несколько лет останется неизменным. Известное выражение «хороший компьютер стоит 1 тысячу долларов» подтверждает свою истинность уже много лет. И этот «хороший компьютер» с каждым годом несет в себе все более «продвинутую» начинку из железа и софта. То же, по словам г-на Яковенко, произойдет и с ЦОДами: средняя стоимость стойки останется на указанном уровне, но за счет новых технологий (например, виртуализации), будет доступен новый уровень качества их эксплуатации.
С ним не соглашается Игорь Ситников – по его словам, средняя стоимость стойки (с учетом низового сегмента рынка услуг ЦОД) составляет 20-25 тысяч долларов, но новые качественные ЦОДы по стоимости выходят дороже, чем те, что его компания строила несколько лет назад. «Так, в рамках нового проекта нашей компании стойка выходит в районе 33 тысяч долларов, это без работ по зданию и покупки ДГУ (порядка 10 млн). Стандарт – чуть выше, чем Tier III, схема резервирования – 2N», — отметил он.
Если говорить о капитальных затратах, то пропорции расходов меняются в зависимости от концепции ЦОДа, говорит Дмитрий Петров. «В среднестатистическом дата-центре (Tier III, адаптированный под российские реалии) затраты начинаются от 30 тысяч долларов на стойку. Это полностью оборудованный ЦОД с подведением мощности 7-8 кВт на стойку. Если этот показатель увеличивается до 30 кВт, затраты возрастают: нужны более серьезные кондиционеры, и обеспечение их дублирования, поскольку перебои, например, в системе охлаждения могут просто «убить» всю стойку», – поясняет он.
По мнению Евгения Щепилова, в случае, если ЦОД строится с нуля (условно говоря, «в чистом поле»), на объекте класса Tier III, рассчитанном на 500 стоек, стоимость одной стойки составит порядка 30 тыс долларов, не считая затрат на организацию энергоснабжения. Если же речь идет об уже существующем объекте, то цена может быть на 40-50% выше.
Еще один весьма затратный элемент современного ЦОДа – централизованная система управления подачей электропитания: сложный, тонко настраиваемый и дорогой в обслуживании аппарат. Энергоснабжение в РФ очень сильно отличается от стандартов Германии и Японии, где эти устройства производят, поэтому адаптировать их к нашим реалиям – целое искусство. К тому же, в соответствии с требованиями международных стандартов и ГОСТов, регламентирующих работу дата-центров, такая система также должна резервироваться.
Контроль доступа, видеонаблюдения и организация охраны – разовые затраты на эти составляющие относительно невелики, однако весьма и весьма заметны операционные издержки, и по мере работы дата-центра они возрастают: технические системы нуждаются в модернизации, могут возникать дополнительные расходы на персонал, меняться условия договоров с собственниками земли и помещений дата-центра.
Что касается затрат на персонал, многие участники рынка решают эту проблему, привлекая специалистов по схеме аутсорсинга. По мнению Евгения Щепилова, выбирая среди поставщиков аутсорсинговых услуг в области дата-центров, клиенты практически всегда будут отдавать предпочтение крупным компаниям. Крупный аутсорсер, как правило, располагает всеми необходимыми ресурсами, в том числе — квалифицированными специалистами и современной технической базой. «Сравнительный анализ опыта разных поставщиков показывает, что крупная компания может проявить больше гибкости при обсуждении условий сотрудничества: у нее больше ресурсов и больше возможностей выделить для клиента нужное количество специалистов с необходимой компетенцией. Небольшая компания, как правило, полностью погружена в реализацию одного-двух проектов, и для нее может стать проблемой оперативный ввод новых сервисов или другие изменения, которое клиенту необходимо реализовать оперативно — ведь резерва ресурсов нет. Поэтому риски таких компаний высоки, а издержки могут быть сопоставимы с затратами крупного аутсорсера», — отмечает г-н Щепилов.
В какую сторону вращается счетчик?
В целом, на конечной цене для потребителя услуг ЦОД уровня Tier III и выше все перечисленные факторы отражаются следующим образом: по экспертной оценке, средняя цена стойки у лидеров рынка в РФ варьируется в диапазоне 47-105 тыс. рублей за 5 кВт стойку (включая НДС).
При этом градация будет выглядеть следующим образом: у дата-центра уровня Tier I — 47-55 тыс. рублей за аренду стойки, Tier II — 55-80 тысяч, Tier III и выше — 80-150 тысяч рублей.
По результатам исследования 29 крупнейших дата-центров Москвы и Московской области, Средний уровень загрузки составляет 68%, количество стоек – более 12 тысяч.
Учитывая динамику цен на энергоносители и рост тарифов на энергоснабжение, российский рынок дата-центров будет работать в ближайшие годы в условиях роста цен при дефиците мощностей. С другой стороны, ужесточение конкуренции и требований клиентов неизбежно приведет к тому, что доля инновационных решений и современных технологий в строительстве и оснащении дата-центров будет увеличиваться. Только таким путем, как показывает мировая практика, можно противостоять растущей стоимости издержек и сохранять конкурентоспособные цены на услуги.
main End —> iks_mainContent=>main End—> iks_mainContent=>anketa Start—> iks_mainContent=>anketa End—>
Источник: www.iksmedia.ru
Hyperscale дата-центры: кто их строит и сколько они стоят
К концу 2018 года число гипермасштабируемых ЦОД достигло 430 штук. Аналитики прогнозируют, что в текущем году их количество увеличится до 500. Уже сейчас ведутся работы по возведению еще 132 hyperscale-дата-центров. Суммарно они будут обрабатывать 68% генерируемых человечеством данных. Мощности этих ЦОД нужны ИТ-компаниям и облачным провайдерам.
Фото — Atomic Taco — CC BY-SA
Кто строит hyperscale
Большая часть (40%) гипермасштабируемых ЦОД находится в США. В начале лета стало известно о планах превратить две электростанции штата Нью-Йорк — в городе Сомерсет и деревне Каюга — в hyperscale дата-центры мощностью 250 и 100 МВт соответственно. Также построить новый дата-центр в стране планирует Google. Его возведут в Финиксе, где идет строительство других ЦОД, суммарной мощностью более гигаватта.
Гипермасштабируемые центры обработки данных развивают и в Европе. За последний год облачные провайдеры увеличили мощности дата-центров во Франкфурте, Лондоне, Амстердаме и Париже на 100 МВт. Как говорят инвесторы из фирмы CBRE, эта цифра увеличится еще на 223 МВт до конца 2019-го.
В Норвегии один из самых известных ЦОД — Green Mountain. Он расположен в подземном бункере и охлаждается водой из ближайшего фьорда. Скоро этот ЦОД получит новое оборудование, которое увеличит его мощность на 35 МВт.
Сколько это стоит
На «апгрейд» европейских ЦОД, о которых мы говорили выше, провайдеры потратили 800 млн долларов (оборудование, которое увеличивает мощность дата-центра на один мегаватт, обходится в 6,5–17 млн долларов). Для обновления электростанций в штате Нью-Йорк (по предварительным оценкам) планируют привлечь 100 млн долларов.
Строительство гипермасштабируемых дата-центров с нуля обходится еще дороже. В 2017 году представители Google рассказали, что за прошедшие три года компания потратила на расширение сети центров обработки данных 30 млрд долларов. С тех пор эта цифра только увеличилась.
Недавно стало известно, что ИТ-гигант планирует инвестировать еще 1,1 млрд долларов в развитие нидерландских ЦОД. Что касается других организаций, то Microsoft и Amazon ежегодно тратят 10 млрд долларов в развитие инфраструктуры дата-центров.
Помимо затрат на расширение и строительство новых дата-центров, компании расходуют средства на их обслуживание. Ожидается, что к 2025 году центры обработки данных будут потреблять пятую часть вырабатываемого на планете электричества.
По оценкам экспертов из Совета по защите природных ресурсов США, американские операторы ЦОД ежегодно тратят на электроэнергию порядка 13 млрд долларов.
Фото — Ethen Rera — СС BY-SA
Почти половина потребляемой энергии приходится на системы кондиционирования. Поэтому сегодня разрабатываются новые технологии, которые бы оптимизировали процессы охлаждения в ЦОД. Примерами могут быть иммерсионное охлаждение и интеллектуальные алгоритмы для управления потоками воздуха. Подробнее о них мы рассказывали в одном из прошлых материалов.
Альтернативный тренд — периферийные вычисления
Гипермасштабируемые дата-центры требуют серьезных вложений в инфраструктуру. Поэтому не у всех компаний есть возможность их построить. Также в ИТ-индустрии есть мнение, что масштабные ЦОД недостаточно «гибкие» для решения задач в финансовой и образовательной сферах, где необходимо обрабатывать данные на периферии.
Именно поэтому в ИТ-индустрии параллельно с гипермасштабируемыми ЦОД развивается другой тренд — edge computing. Дата-центры для периферийных вычислений часто представляют собой модульные системы. Они обладают относительно скромными вычислительными возможностями, но обходятся дешевле гипермасштабируемых «братьев» и потребляют меньшее количество электроэнергии. Периферийные вычисления дополнительно снижают издержки при обработке и передаче данных за счет того, что их источник находится ближе, чем в случае с традиционными дата-центрами.
Технологию уже используют в ретейле, банковской сфере и индустрии интернета вещей. По оценкам экспертов, число дата-центров, расположенных на периферии, утроится к 2025 году. При этом в Markets Insider говорят, что через три года объем рынка периферийных вычислений достигнет 6,7 млрд долларов.
Мы в ITGLOBAL.COM предоставляем услуги частного и гибридного облака и помогаем компаниям управлять ИТ-сервисами. Вот о чем мы пишем в корпоративном блоге:
Источник: habr.com