«Рабочие лошадки» хранения данных для современных ЦОД

Твердотельные накопители – символы сегодняшнего дня

С точки зрения общих затрат на ИТ–инфраструктуру, наиболее экономически выгодным смотрится вариант all–Flash: диски такого типа позволяют получить комбинацию высокой производительности (от 100K IOPS до нескольких миллионов IOPS) и экстремально низкой задержки (менее 1 мс) практически при любом количестве используемых и хранимых данных. Иными словами, увеличение объема данных не оборачивается для пользователя пропорциональным ростом бюджета.

Аналитики IDC полагают, что рынок внешних систем хранения данных развивается в РФ весьма позитивными темпами по двум основным причинам: программы цифровой трансформации, запущенные в российских компаниях, и появление новых рабочих нагрузок, с которыми менее производительные системы хранения уже не позволяют адекватно и своевременно справляться. Поэтому All-flash-системы хранения – это предпочтительный выбор для обслуживания высоконагруженных баз данных, систем аналитики и искусственного интеллекта (ИИ).

Все более широкое распространение систем ИИ и аналитики Big Data приводят к необходимости гибкой и оперативной интеграции в рамках совместной обработки данных, что практически невозможно сделать, если использовать для хранения этих данных классические блочные СХД и СУБД типа Oracle или MS SQL. Традиционные блочные СХД мало подходят, например, для работы с приложениями новых поколений, требующих множество параллельных запросов к системе хранения с предельно малым временем отклика. В качестве ответа на такие потребности появляются объектные СХД, которым эксперты прочат большие перспективы ввиду существенного роста доли неструктурированных данных в процессах обработки корпоративных данных.

Уже сегодня, отмечают аналитики DCIG, большая часть all-flash-массивов может использовать облачное хранение для резервных копий/снэпшотов, и более половины all-flash-массивов поддерживают файловый и объектный доступ, облегчая консолидацию рабочих нагрузок.

Изначально в all-flash-накопителях «бутылочным горлышком» было требование сохранить совместимость со старым протоколом SATA. Однако в последствии появилась поддержка Non-Volatile Memory Express (NVMe)— стандарта подключения SSD-накопителей, использующего скоростную и современную шину PCI Express. Он был создан специально, чтобы обеспечить быстрый отклик, масштабируемость и высокую пропускную способность при доступе к флэш-накопителям. Не менее важным стал процесс постоянной эволюции и обратной совместимости накопителей NVMe, предлагающих конечным потребителям мгновенный отклик на запросы как к личной информации, так и базам данных.

Сравнение уровней протоколов NVMe и SAS/SATA

Накопители, поддерживающие стандарт NVMe, работают примерно в пять раз быстрее, чем SSD с интерфейсом SATA, и в 50 раз быстрее классических магнитных SATA-дисков. NVMe обеспечивает вдвое больше операций ввода-вывода в секунду на процессор по сравнению с SAS или SATA и со значительно меньшей (приблизительно вдвое) задержкой. Выигрыш заключается в переходе от принципа одного канала связи между контроллером и памятью, к нескольким параллельным каналам, работающих в дуплексном режиме. В результате NVMe накопитель упрощенно представляет собой связь центра (контроллера) с многомерным массивом ячеек, и каждая подключена к контроллеру. Помимо сокращения задержек, современные решения поддерживают многопоточность и очень длинную очередь запросов.

Скорость работы крайне важна для транзакционных приложений и других задач, которые должны быстро передавать большие объемы данных между процессорами и подсистемами хранения. Поэтому NVMe — предпочтительный выбор для компаний, использующих нагруженные реляционные базы данных. Высокая производительность систем на флэш-памяти NVMe уменьшает требуемое количество физических серверов и лицензий на работающие копии баз данных. Платформам анализа данных в реальном времени NVMe обеспечивает выигрыш за счет малых задержек при доступе к SSD. Эти устройства также популярны в системах виртуализации, в которых нужны носители, способные справляться с большими объемами запросов ввода-вывода виртуальных машин. Решения с флэш-памятью NVMe стали важным компонентом в проектах больших данных, машинного обучения и используются во многих общедоступных облачных службах. Уже сейчас NVMe технологии становятся массовыми, а значит и доступными. Ранее значимая разница в приобретении классического варианта и NVMe накопителей исчезает. По сути, NVMe – это универсальное решение для любого рода задач, связанных с данными и их обработкой.

Преимущества NVMe

• Глубокие очереди и параллелизм выполнения команд;
• Универсальный драйвер;
• Снижение нагрузки на CPU;
• Совместимость с существующими и будущими типами памяти;
• Сокращенный перечень команд (всего 13 обязательных), по сравнению с ATA (более 100 команд) и SCSI (более 250);
• Высокая эффективность любых запросов чтения и записи (случайные, мелкоблочные, последовательные и т.п.);
• Масштабируемость с ростом производительности контроллера;
• Условно универсальное применение как для клиентских устройств, так и корпоративных;

По данным MKW Ventures Consulting, к 2021 году NVMe накопители будут встречаться чаще «старожилов» SCSI дисков в СХД. А к 2025 году накопители NVMe захватят больше половины всех поставок SSD в корпоративный сектор, среднегодовые темпы роста продаж составят 57%.Дмитрий Бородачев, DатаРу Облако: Наше преимущество — мультивендорная модель предоставления облачных услуг

Прогноз роста мирового рынка накопителей NVMe, SATA и SAS корпоративного класса

Источник: MKW Ventures Consulting, 2018

Westertn Digital Ultrastar DC – передовые накопители для современных ЦОДов

Компания Western Digital выпустила на рынок новое семейство SSD с поддержкой NVMe: Ultrastar DC SN640. Отличительные свойства Ultrastar DC SN640:

• Низкая задержка и максимальная пропускная способность для рабочих нагрузок с высокой скоростью транзакций.
• Ускоренный доступ к критически важным данным для интенсивных рабочих нагрузок и приложений.

Накопитель обеспечивает низкую задержку и более высокую пропускную способность, необходимые для плавной миграции с жестких дисков и твердотельных накопителей стандарта SATA в приложениях смешанного типа и интенсивного чтения. При этом накопители Ultrastar DC SN640 оптимизированы для смешанных рабочих нагрузок.

Накопитель Ultrastar DC SN640 позиционируется идеальным решением для нагрузок типа: SQL Server, MySQL, виртуальных рабочих столов и нагрузок с использованием гиперконвергентных инфраструктур (HCI), такие, как VMware vSAN и Microsoft Azure Stack HCI, но по факту представляет собой универсальное решение для большинства корпоративных задач, которым нужен стабильно быстрый доступ к данным. SN640 выпускается в трех форм-факторах:

• В форм-факторе U.2 объемом до 7,68 ТБ;
• В форм-факторе EDSFF E1.L объемом до 30,72 ТБ;
• В форм-факторе M.2 22110 объемом до 3,84 ТБ;

Для подавляющего большинства инфраструктур самым применимым остается U.2. Форм-факторы EDSFF и M.2 требуют особого внимания к проектированию платформы и поэтому являются, скорее, решением для OEM и интеграторов. Рассмотрим подробнее характеристики продукта на примере модели Ultrastar DC SN640 в форм-факторе U.2.

Ultrastar DC SN640

Накопитель предназначен для поддержки рабочих нагрузок следующих типов:

• Приложения для критически важных баз данных.
• Система хранения высшего уровня.
• Облачные и гипермасштабируемые вычисления.
• Программно определяемые среды и СХД, подключаемые напрямую.
• Многомерная аналитическая обработка данных (OLAP-кубы).
• Поддержка периферийных вычислений (Edge).
• Гиперконвергентная инфраструктура (HCI).
• Виртуализированные среды.
• Сети доставки контента (CDN).
• Поддержка файловых, блочных и объектных хранилищ данных.

Твердотельный накопитель Ultrastar DC SN640 NVMe SSD, созданный для работы с постоянно увеличивающимися объемами данных и современными решениями в центрах обработки данных, сделан на базе современной 96-слойной 3D BiCS4 TLC флэш-памяти.

Форм-фактор 2,5" (U.2)

Форм-фактор определяет, как SSD устанавливается в сервер, можно ли заменить SSD без выключения сервера, и как много накопителей можно установить в сервер. Поскольку в SSD-накопителях нет движущихся частей, они имеют больше вариантов форм-фактора по сравнению с жесткими дисками.

Наиболее распространенный форм-фактор – это 2,5". Этот форм-фактор однозначно определяет ширину и длину накопителя SSD, но не высоту: накопители 2,5" могут быть разной высоты. Чем больше высота накопителя, тем больше места остается для микросхем памяти и контроллера, что позволяет улучшить производительность и охлаждение, а также увеличить емкость накопителя. Высота 15 мм используется для 20-ваттных накопителей, 7 мм – для накопителей 10-12 ватт. Однако есть важное замечание! U.2 NVMe нельзя устанавливать в 2.5` слоты с SATA/SAS интерфейсом. Для подключения требуются NVMe слоты.

Передовые технологии памяти

Накопитель NVMe Ultrastar DC SN640 использует передовое решение памяти Western Digital BiCS4 96L 3D TLC NAND. BiCS4 3D NAND – это очередное поколение фирменной трехмерной флеш-памяти (3D NAND), которая характеризуется использованием 96 слоев транзисторов с ловушкой заряда, расположенных по вертикальной оси, созданное Western Digital в сотрудничестве с Kioxia (Toshiba Memory). Ее компания использует для различных устройств хранения данных. Данный тип памяти отличается невысоким нагревом, чем экономит мощности системы охлаждения и высокой плотностью записи.

Характеристики SSD

Из-за сложности воссоздать реальную нагрузку на SSD рабочей группой, принято ее эмулировать посредством синтетических тестов. Например, число операций ввода-вывода, выполняемых твердотельным накопителем в секунду (IOPS), измеряется при заданной длине блока данных (чаще всего 4 KБ и 128 KБ) и для конкретных сочетаний операций чтения и записи, поскольку очень немногие рабочие нагрузки являются чистыми задачами чтения или записи, а смешанные рабочие нагрузки часто являются более сложными для твердотельных накопителей.

Еще одна сторона производительности, которая зачастую более важна, чем сырые IOPS’ы и гигабайты в секунду – стабильность характеристик качества обслуживания запросов (QoS). У хорошего накопителя разброс скорости при работе небольшой, и это предсказуемое поведение позволяет проектировать архитектуру решения с высокой степени точности, независимо от капризов контроллера под нагрузкой.

Гарантированный ресурс накопителя

Каждый вариант гарантии на твердотельные накопители обеспечивает ограниченный объем записанных данных в течение всего срока службы устройства, поскольку базовая флэш-память поддерживает только конечное число циклов стирания и записи. Обычно производитель дает гарантию на объем, называемый как «не менее», т.е. в реальной эксплуатации SSD чаще всего превосходит заявленный ресурс на десятки процентов. Физический процесс стирания и записи битов во флэш-память, который может выполняться от 100 до более 10000 раз, постепенно расходует ресурс транзисторного затвора. Именно поэтому флеш-накопители имеют разные рейтинги «выносливости» (срока службы).

Потенциальному покупателю заранее нужно выяснить для себя, какой SSD ему подходит. Для частых записей нужно выбирать SSD с высоким уровнем долговечности. Для работ, связанных с частым считыванием, можно идти на компромиссы и уменьшать затраты. В любом случае, процесс чтения не вычитает дни ресурса у SSD.

Срок службы SSD-накопителя (ресурс) обычно указывается как «число перезаписей накопителя в день» (Drive Writes per Day, DW/D или DWPD), или как число терабайт, которые можно записать на накопитель (Terabytes Written, TBW). Эти величины представляют объем пользовательских данных, которые гарантированно можно записать на накопитель на протяжении его срока эксплуатации.

Число перезаписей в день (DWPD) – наиболее часто используемый показатель, характеризующий ресурс накопителя. Он может принимать значения от менее 0,1 до более 10 и показывает объем данных, который может быть записан на накопитель каждый день в течение его гарантийного срока.

o TBW и DW/D связаны между собой следующей формулой: o TBW = DW/D * Warranty * 365 * Capacity, где Capacity (емкость накопителя) измеряется в TБ. Например, SSD объемом 1 TБ с ресурсом 3 DW/D и гарантийным сроком 5 лет рассчитан на запись общего объема: 3 DW/D x 5 x 365 x 1 TБ = 5,5 ПБ.

Сравнение SSD-накопителей с различными показателями DW/D может оказаться не таким тривиальным делом. Так, два накопителя с одинаковыми показателями DW/D могут сильно отличаться по показателю TBW, который зависит от емкости накопителя. Иногда накопители с меньшим показателем DW/D могут иметь больший показатель TBW, чем у накопителя с большим DW/D. Например, SSD объемом 256 ГБ с относительно высоким DW/D=10 и 4-летней гарантией может записать 256 ГБ x 10 x 4 x 365 = 3,65 ПБ, в то время как SSD объемом 6,4 TБ и намного меньшим DW/D=1 с таким же гарантийным сроком 4 года может записать в сумме почти в три раза больше данных: 6,4 TБ x 1 x 4 x 365 = 9,3 ПБ.

Накопители DC SN640 выпускаются двух классов рабочего ресурса: 0,80 DW/D и 2 DW/D, каждый из которых рассчитывался для гарантийного периода в 5 лет. Ultrastar DC SN640 обладает интересной особенностью. С помощью специальной команды форматирования этот накопитель можно использовать с ресурсом 0,80 DWPD или 2 DWPD.

Накопитель класса 0,80 DW/D предназначен для чтения больших объемов данных, а модель класса 2 DW/D может использоваться для выполнения комбинированных задач, требующих высокой производительности и значительного рабочего ресурса в течение всего периода эксплуатации накопителя, что дает организациям возможность достичь оптимальной производительности в зависимости от поставленных задач.

Варианты ресурса накопителя DC SN640 для разных размеров

Ресурс и производительность на запись зависят от размера резервной области на SSD (overprovisioning, OP). Накопитель SN640 позволяет изменять этот размер с помощью вендорской утилиты или стандартных команд NVMe драйвера операционной системы, давая пользователю возможность самостоятельно устанавливать нужный баланс между скоростью записи, ресурсом и объемом дискового пространства.

Методы повышения срока службы накопителей

Базовая технология защиты от ошибок NAND-памяти основана на использовании кода коррекции ошибок (Error Correcting Code). Она позволяет определить и исправить определенное количество «перевернутых» битов в определенной области чтения. «Мощность» кода коррекции ошибок, измеряемая в количестве битов, которые он может исправить, напрямую влияет на надежность и долговечность накопителя. Использование кода коррекции ошибок позволяет изношенным ячейкам NAND обеспечивать правильную работу на протяжении всего срока службы устройства. Реализация защиты при помощи ECC внутри накопителя напрямую зависит от поколения флеш-памяти NAND и ее архитектуры, но общее правило таково: чем больше уровней на ячейку, тем больше избыточных битов требуется для ECC. Так, память TLC обычно требует значительно большего запаса резервных ячеек для ECC по сравнению с МLC.

Срок службы и надежность накопителей SSD можно также увеличить при помощи передовых методов обработки сигналов и динамического управления работой ячеек в течение срока службы SSD, например, в сочетании с контроллером, обеспечивающим продвинутые алгоритмы коррекции ошибок. Лучшие контроллеры применяют адаптивные и динамические алгоритмы при программировании и чтении ячеек в зависимости от степени их изношенности, значительно снижая число ошибок чтения/записи, которые необходимо исправлять при помощи кода коррекции ошибок. Корпоративные накопители SSD Western Digital Ultrastar применяют усовершенствованную технологию коррекции ошибок.

Надежность хранения корпоративных данных

• Среднее время наработки на отказ (MTBF) - 2 млн. часов.
• Защита от сбоев питания. Особенно важно для устройств, которые используются для хранения транзакционных баз данных, а также приложений, которым требуется подтверждение того, что записанные данные не утеряны. Благодаря блоковой природе программирования флеш-памяти, большинство SSD имеют небольшую область кеш-памяти, в которую помещаются данные перед тем, как они будут записаны в предварительно стертый блок флеш-памяти. В реальности накопитель SSD возвращает приложению сигнал о том, что он «завершил» запись, когда на самом деле данные, как правило, присутствуют только в кеш-памяти, а фактическая запись во флеш-память все еще выполняется. Если питание сервера пропадет до того, как флеш-память обновится, данные никогда не будут записаны на накопитель. Когда питание сервера возобновится, приложение попытается восстановить потерянные транзакции, но не сможет восстановить данные, не записанные во флеш-память, что приведет к потере целостности данных.
  SSD корпоративного класса решают эту проблему за счет наличия внутреннего источника питания - обычно это несколько конденсаторов на плате накопителя, которые заряжаются от сервера. Они обычно проверяют работоспособность и ресурс этих конденсаторов каждый раз, когда сервер включается. Это подобно тому, как традиционные устройства батарейной защиты кэш-памяти RAID-контроллеров (BBU) периодически выполняют проверку своего состояния.
• Сквозная защита данных (end-to-end data path protection) гарантирует, что все данные пользователя, передаваемые на SSD, защищены от ошибок передачи. Подобно тому как основная память сервера использует аппаратную коррекцию ошибок, а внутренние каналы передачи данных процессора включают дополнительные данные четности, SSD добавляет проверочные биты для всех пользовательских данных и проверяет их состояние перед выполнением операций. Без этой проверки испорченные данные могут пройти через контроллер, в результате чего накопитель запишет неверные данные.

Параметры надежности накопителей DC SN640

• Коэффициент неисправимых ошибок по битам (UBER) - 1 на 10¹⁷
• Среднее время наработки на отказ - 2 млн часов
• Вероятность отказа в течение года (AFR) - 0,44%
• Доступность (часов / день x дней / неделю) - 24x7

Для вычисления показателей среднего времени наработки на отказ (MTBF) и вероятности отказа в течение года (AFR) используется выборка, на которой проводятся статистические исследования и применяются алгоритмы ускорения при типичных условиях эксплуатации для этой модели. Показатели среднего времени наработки на отказ и вероятности отказа в течение года не позволяют прогнозировать надежность конкретного диска и не гарантируются.

Что в результате это дает ЦОДу

Высокая производительность. Современные решения на базе NVMe накопителей Ultrastar DC SN640 обладают высокой пропускной способностью и обеспечивают стабильную работу подсистемы хранения при сложных рабочих нагрузках. Оптимизация для выполнения всех типичных задач, связанных с чтением больших объемов данных, и комбинированных задач.

• Высокая производительность – в среднем, один накопитель SN640 способен заменить 4-5 корпоративных SSD стандарта SATA.
• Высочайшая стабильность скоростных характеристик.
• Большой выбор емкостей для оптимальной вместимости: от 800 ГБ до 30,72 ТБ.
• Настраиваемый рабочий ресурс: от 0,8 до 2 DWPD и выше.
• Низкая задержка. Предсказуемо быстрый отклик около 200 мкс для операций случайного чтения.
• Гибкость дизайна. Компактные размеры в 2.5` форм-факторе – толщина 7мм для высокой плотности размещения в сервере. Выбор форм-факторов для удовлетворения любых требований центров обработки данных.
• Небольшое энергопотребление – 12Вт максимум для U.2 накопителей.
• Корпоративная надежность – вероятность отказа 0.44% в год, частота некорректируемых ошибок (UBER) 1 на 10¹⁷.