Кабельные системы для ЦОД

Первая волна массового строительства центров обработки данных (ЦОД) пришлась на времена Internet-бума конца 90-х годов прошлого века. Последовавший затем кризис телекоммуникационной отрасли несколько приостановил «победоносное шествие» ЦОД по планете, однако в последние годы интерес к ним снова возрос. Информации становится все больше, ценность ее увеличивается, быстро развиваются различные формы электронных коммуникаций (электронная и голосовая почта, IP-телефония, социальные сети, мгновенный обмен сообщениями и пр.), предлагаются разнообразные видеосервисы — эти и многие другие факторы способствуют росту числа и размеров ЦОД.

Их строят и крупные предприятия, и сервис-провайдеры. В корпоративных ЦОД размещаются системы хранения и обработки собственных данных компаний, а также сетевое и телекоммуникационное оборудование, необходимое для функционирования корпоративных локальных и территориально распределенных сетей. В ЦОД сервис-провайдеров и операторов связи располагаются средства связи и другое оборудование, необходимое для предоставления услуг абонентам. Кроме того, часть ресурсов ЦОД может выделяться для размещения оборудования и программных систем заказчиков на принципах аутсорсинга.

ЧТО СОБОЙ ПРЕДСТАВЛЯЕТ ЦОД

ЦОД представляет собой технологическое помещение, в котором установлены системы хранения данных, серверы, сетевое и телекоммуникационное оборудование. Он может занимать одну или несколько комнат, а также целиком все здание.

Для надлежащего функционирования современного вычислительного и телекоммуникационного оборудования требуется поддерживать довольно жесткий режим температуры и влажности, поэтому в современных ЦОД система кондиционирования и вентиляции является обязательной. Кроме того, аппаратура требовательна к качеству электропитания, поэтому приходится устанавливать источники бесперебойного питания (ИБП) необходимой мощности и альтернативные источники электричества (аккумуляторные батареи, дизель-генераторные установки и пр.). Серверы, системы хранения и сетевые устройства размещаются в специальных монтажных стойках и шкафах, которые должны быть достаточно надежными и удобными для обслуживания находящихся в них устройств. Не менее важными для нормальной жизнедеятельности ЦОД являются система обеспечения безопасности (контроль доступа, видеонаблюдение и т. д.), а также система контроля и управления инженерными средствами. Комплекс этих средств должен быть предусмотрен еще на этапе проектирования таких объектов.

Конечно, нельзя забывать и о кабельной проводке, своего рода кровеносной системе центра обработки данных. Она связывает воедино все компоненты — начиная от основного оборудования и заканчивая датчиками и контроллерами инженерных средств. Именно благодаря ей ЦОД превращается в единый «организм». А, как известно, любые проблемы в работе кровеносной системы чреваты летальным исходом. Поэтому к вопросам проектирования, инсталляции и обслуживания кабельной системы надо подходить максимально внимательно. К тому же к такого рода инфраструктуре предъявляется ряд специфических требований, вследствие чего кабельные системы для центров обработки данных несколько отличаются от офисных СКС. У Premium Line есть широкий выбор инсталляционных кабелей, 5e, 6, 6a и 6a+ категории.

ЦОД И СТАНДАРТЫ

Как известно, для ЦОД имеются европейский стандарт EN 50173-5 и базирующийся на нем международный стандарт ISO/IEC 24764. Однако в последнее время наиболее часто цитируется стандарт TIA-942, принятый в США. Он охватывает широкий круг вопросов, связанных с организацией ЦОД, включая следующие параметры:

• - характеристики помещения (размеры, высота потолка, двери, освещение, нагрузка на пол);
• - принципы построения системы кондиционирования и электропитания;
• - требования по резервированию различных элементов;
• - принципы построения кабельной системы;
• - и другие.

Стандарт EN 50173-5 рассматривает только особенности построения кабельной системы. Хотя положения стандартов TIA-942 и EN 50173-5 в части кабельной системы ЦОД схожи, между ними имеются некоторые отличия. Поскольку российские инженеры традиционно придерживаются европейских стандартов, более подробно остановимся на стандарте EN 50173-5.

СТРУКТУРА КАБЕЛЬНОЙ СИСТЕМЫ ЦОД

Стандарт EN 50173-5 предусматривает иерархическую структуру кабельной системы ЦОД (см. Рисунок 1). Подключение внешних сетей и служб осуществляется через сетевые интерфейсы оборудования (Equipment Network Interface, ENI). Физически эти элементы располагаются, как правило, в отдельной комнате, где установлено активное оборудование для доступа к службам сервис-провайдера или территориально распределенной корпоративной сети. Поступивший извне трафик обрабатывается и далее направляется уже по кабельной системе ЦОД. Первый ее участок называется подсистемой сетевого доступа и ведет к основному кроссу (Main Distributor, MD). Далее — до зонных кроссов (Zone Distributor, ZD) — располагается основная (магистральная) подсистема распределения. Подключение розеток оборудования (Equipment Outlet, EO) осуществляется по зонной подсистеме распределения. Отметим, что в стандарте TIA-942 аналогичный участок называется горизонтальной подсистемой.

Между зонным кроссом ZD и розетками оборудования EO может находиться еще один элемент — локальный пункт распределения (Local Distribution Point, LDP). Будучи факультативным (необязательным), он обычно содержит только пассивные соединения. Использование LDP имеет смысл, когда происходят частые перемещения и добавления оборудования, что и характерно для ЦОД. Стандарт допускает его размещение под фальшполом или у потолка. Пункт LDP должен располагаться не ближе 15 м от зонного кросса ZD во избежание ухудшения характеристик, связанных с перекрестными помехами (NEXT) и возвратными потерями.

С целью резервирования стандарт EN 50173-5 допускает организацию дополнительных кабельных линий между зонными кроссами ZD и локальными пунктами распределения LDP (см. Рисунок 2).

ВЫСОКАЯ ПРОИЗВОДИТЕЛЬНОСТЬ

Не будет преувеличением сказать, что ЦОД — это место концентрации самых современных сетевых и информационных технологий. Необходимость предоставить большому числу пользователей быстрый доступ к тысячам терабайт данных предполагает использование не только суперскоростных серверов и систем хранения, но и широких каналов связи. А для них требуются высокопроизводительные кабельные системы.

Основной технологией для построения локальных сетей является Ethernet, а самый скоростной ее вариант — 10 Gigabit Ethernet. Для волоконно-оптических кабельных систем технология 10 Gigabit Ethernet была стандартизована несколько лет назад, тогда как стандарт для медных кабельных систем на базе витой пары (10GBaseT) принят только в июне 2006 г. По-видимому, для зонных (горизонтальных) кабельных подсистем медные кабели ввиду своей невысокой стоимости, простоты и удобства монтажа еще долго будут наиболее востребованной средой передачи данных. Медные решения. Медные кабельные системы Класса E (Категории 6, по американским стандартам) способны обеспечить функционирование технологии 10GBaseT только на расстоянии до 55 м, да и то требуют дополнительного тестирования. Для тракта протяженностью 100 м был разработан специальный расширенный Класс EA (Категория 6A), характеристики которого определены для частот до 500 МГц и сейчас находятся в финальной стадии стандартизации. Кабельные системы, отвечающие требованиям Класс EA, уже предлагаются на рынке.

Главным препятствием для «медной» технологии 10 Gigabit Ethernet являются межэлементные (межкабельные) наводки (Alien Crosstalk), возникающие между соседними кабелями и соединительными элементами. На работу менее скоростных сетевых технологий, например, Gigabit Ethernet, такие наводки почти не влияют, но для 10-гигабитных систем именно их уровень стал камнем преткновения. Чтобы снизить уровень межкабельных наводок в неэкранированных кабельных системах (UTP), большинство производителей отдают предпочтение принципу пространственного разноса витых пар соседних кабелей. Это достигается путем увеличения диаметра медных жил, толщины оболочек, изменения формы кабелей (выпускаются некруглые кабели) и другими способами, обеспечивающими дополнительное пространственное разнесение влияющих пар. Однако «свобода маневра» по изменению геометрических параметров кабелей очень ограничена. Кроме того, более толстые кабели иногда невозможно проложить по имеющимся кабельным каналам (короба, лотки и пр.), а увеличение расстояние между отдельными разъемами в коммутационных панелях плохо согласуется с наблюдающейся в отрасли тенденцией максимально компактного размещения оборудования в целях экономии площади технических помещений ЦОД.

Оптические решения. Безусловно, одной «медью» в ЦОД не обойтись. Оптика «приходит» на интерфейсы ENI от операторов связи, на магистральных участках она даже более предпочтительна, наконец, оптические решения необходимы для организации сетей хранения данных (Storage Area Networks, SAN). Причем по сравнению с «медными» технологиями аналогичные задачи удается решать с помощью значительно меньшего числа кабелей. Это обстоятельство может оказаться важным при их прокладке под фальшполом, где необходимо достаточное пространство для подачи холодного воздуха от системы кондиционирования. Всем этим требованиям отвечает волоконно-оптическое предложение Premium Line. Широкий выбор одномодового и многомодового кабеля позволяет решать задачи любой сложности.

Согласно стандарту EN 50173-5 характеристики волоконно-оптических трактов ЦОД должны соответствовать как минимум требованиям класса OF-300. Это означает, что будут применяться кабели с многомодовыми волокнами OM-2 и OM-3. Волокна OM-2 (диаметр сердцевины 62,5 или 50 мкм) при насыщающем возбуждении (когда в качестве источников сигнала выбраны светодиоды LED) имеют коэффициент широкополосности 500 МГц x км на обеих рабочих длинах волн — 850 и 1300 нм. При том же способе возбуждения коэффициент широкополосности волокон OM-3 на длине волны 850 нм значительно выше — 1500 МГц x км (на длине волны 1300 нм он такой же). Однако волокна ОМ-3 разрабатывались специально для скоростных приложений и оптимизированы для использования с лазерами VCSEL: при лазерном возбуждении на длине волны 850 нм их коэффициент широкополосности составляет 2000 МГц x км. Очевидно, что в ЦОД предпочтительнее использовать кабели с волокнами OM-3.

ГИБКОСТЬ И МАСШТАБИРУЕМОСТЬ

ЦОД представляет собой объект, на котором происходят постоянные изменения. Причем, если львиная доля изменений в инфраструктуре ИТ обычного офиса связана с перемещениями сотрудников и целых отделов, то в ЦОД подобные операции приходится проводить гораздо реже, зато чаще добавляются новые устройства. Кабельную систему ЦОД следует строить таким образом, чтобы обеспечивалось переконфигурирование имеющегося оборудования и ввод в эксплуатацию нового. Стоимость базового оборудования ЦОД, как правило, очень высока, поэтому его простои надо минимизировать, а следовательно все работы на кабельной инфраструктуре должны выполняться в кратчайшие сроки. Возможности масштабирования должны обеспечивать не только подключение новой техники, но и расширение каналов связи, например, переход с технологии Gigabit Ethernet на 10 Gigabit Ethernet.

Залогом хорошей масштабируемости и гибкости кабельной системы является ее модульное построение. Желательно, чтобы такая система, как хороший конструктор, позволяла быстро активировать новые кабельные тракты, добавлять дополнительные разъемы для подключения оборудования. Проектировщикам ЦОД следует выбирать такие коммутационные панели и розетки, в которые (в одно и то же изделие) можно устанавливать модули разъемов как можно ближе друг другу. Так же при необходимости размещения экранированных и не экранированных модулей на одной патч-панели. Подобные решения позволяют, исходя из специфики решаемой задачи, получить необходимое число разъемов с экраном и без.

Примером этого может быть Наборная патч-панель высокой плотности код 171022402 и Универсальная наборная патч-панель код 170042402.

Большинство современных ЦОД имеют фальшпол, под которым располагаются элементы многих инженерных подсистем. Именно под фальшполом организуется распределение охлаждающего воздуха и подвод его к оборудованию. Во многих проектах там же прокладываются каналы для подведения кабелей к стойкам с оборудованием. Такое решение способно обеспечить удобное обслуживание, изменение и модернизацию кабельной системы. Для этого в портфеле решений поставщика должны быть необходимые продукты, например, для реализации под фальшполом локального пункта распределения LDP.

НАДЕЖНОСТЬ

Стандарт EN 50173-5 на кабельную систему ЦОД предусматривает ряд мер для повышения надежности на уровне ее структуры. В частности, уже упоминавшуюся возможность организации дополнительных линий связи между локальными пунктами распределения LDP, а также между зонными кроссами ZD. Но резервирование структуры не исключает высоких требований к надежности отдельных элементов кабельной системы.

Как уже отмечалось, ЦОД характеризуется высокой плотностью кабельных подключений, а также частыми добавлениями и переключениями. Поэтому особое внимание надо уделить качеству изготовления разъемов, которое должно быть подтверждено соответствующими тестами. Желательно, чтобы поставщик провел тестирование, гарантирующее, что механические характеристики контактов разъемов сохраняются, скажем, после 1500 циклов подключений/отключений. И хотя на практике, скорее всего, столько раз переключать один и тот же коммутационный шнур не потребуется, запас надежности должен гарантировать предсказуемое «поведение» разъемов.

Все большую популярность набирает технология подачи электропитания по кабельной системе сети Ethernet (Power over Ethernet, PoE). Такой способ значительно повышает удобство подключения конечных активных устройств и позволяет задействовать эффективные схемы централизованного резервирования источников электропитания. В ЦОД эта технология может использоваться для дистанционного электропитания установленных в нем камер видеонаблюдения и работающих в составе IP-УАТС IP-телефонов. Однако не следует забывать, что электропитание подается по «чужой» кабельной проводке, а значит важно исключить его негативное влияние на характеристики элементов кабельной системы. В этой связи возникает масса вопросов, например, как поведут себя контакты разъемов при подаче «силовой составляющей» (возникающая электрическая дуга способна привести даже к обугливанию контактов). Во избежание подобных эксцессов желательно ознакомиться с выводами тестовых лабораторий, чтобы убедиться в наличии у разъемов необходимой электрической устойчивости при большом числе циклов подключений/отключений под нагрузкой.

Высокая плотность подключений может приводить к дополнительной нагрузке на хвостовики вилок. Например, в случае большого числа коммутационных шнуров в ограниченном пространстве при отключении одного из них могут возникнуть нежелательные изгибы вилок других шнуров. В такой ситуации гарантировать надежность опять-таки способны лишь тщательно протестированные продукты.

БЕЗОПАСНОСТЬ И УПРАВЛЯЕМОСТЬ

Как показывают многочисленные исследования, человеческий фактор остается одной из основных причин, приводящих к отказам в сети. А представьте, какие финансовые потери могут ожидать компанию, если кто-то из техников по ошибке выдернет шнур подключения из гнезда магистрального активного оборудования? Вероятность такого события увеличивается ввиду того обстоятельства, что в ЦОД могут работать не только инженеры-кабельщики, но и специалисты по обслуживанию каких-либо других инженерных систем или основного оборудования. Очевидно, что защита точек физического подключения от несанкционированных действий — важнейший элемент обеспечения безопасности ЦОД, поэтому ориентироваться следует на те продукты, в которых реализована комплексная система безопасности.

Сложность, высокая плотность подключений и частые изменения в кабельной проводке ЦОД предъявляют жесткие требования к системе ее администрирования. Такая система должна строиться в соответствии со стандартами: ISO/IEC 14763-1 (международный), EN 50174-1 (европейский), TIA/EIA 606-A (американский). Помимо учета подключенных коммутационных шнуров, необходимо обеспечивать правильную маркировку элементов СКС, ведение базы данных элементов СКС и кабельных соединений, документирование расположения отсеков связи, горизонтальных и магистральных кабелей, заземляющих проводников, шин и т. д. Качество нанесения и учета меток и записей идентифицируемых элементов во многом определяет качество монтажа кабельной системы, ее надежность и удобство эксплуатации.

Здесь важно наличие эффективной системы визуального кодирования элементов СКС. Работу администраторов сетей упростят возможности механической блокировки разъемных соединений: администраторы получают уверенность в том, что схему подключений сможет поменять только обученный и авторизованный персонал. Безусловно, управляемость кабельных инфраструктур повышается и благодаря высокой модульности элементов, обеспечивающей максимальную гибкость при развертывании, обслуживании и модернизации таких сложных технических объектов, как современные ЦОД.

По материалам «Журнал сетевых решений/LAN»

Количество показов: 3528