Решение Panasas ActiveStor: обзор архитектуры на основе ОС PanFS

О решении Panasas ActiveStor

Предприятия, работающие над передовыми проблемами и занимающиеся сложными высокопроизводительными вычислениями (HPC) должны быстро добиваться результатов и создавать новые продукты.

Они стремятся сократить время получения результата и не могут позволить себе ждать, пока хранилища догонят по скорости работы системы интенсивных вычислений и приложения, чувствительные к скорости передачи данных.

Решение Panasas ActiveStor разработано для простоты и безграничной производительности.

Совершенствуя это решение, Panasas использовали свой 20-летний опыт работы с файловыми системами, а также новейшие разработки, включая переход на Linux, широкий выбор скоростей сетевого подключения, новейшие аппаратные технологии, соответствующие отраслевым стандартам.

С этим быстрым и простым решением вы можете забыть о проблемах хранения и сосредоточиться на том, что действительно важно: создание нового Dreamliner, победа в гонке Формулы-1, разработка потрясающих визуальных эффектов, лечение болезней или моделирование изменения климата.

Высокая скорость

Решение Panasas ActiveStor использует горизонтально-масштабируемую архитектуру, позволяющую увеличивать объем хранилища, объем кэша DRAM и пропускную способность сети постепенно и линейно путем добавления новых корпусов ActiveStor.

Данные передаются с узлов хранения в приложение параллельно, за счет чего увеличивается пропускная способность для каждого файла, а не только совокупная пропускная способность.

Данные передаются напрямую из узлов хранения в приложение без каких-либо проходов через промежуточные серверы или дополнительные сетевые ресурсы.

Простота

Масштабируемое решение ActiveStor Panasas — это единый объект, которым вы управляете из графического пользовательского интерфейса (GUI) или интерфейса командной строки (CLI), независимо от того, сколько корпусов ActiveStor интегрировано. Развертывание массива ActiveStor займет всего пару часов. Просто установите его, подключите к розетке, включите, ответьте на несколько вопросов, и он готов к работе.

Даже в самых крупных развертываниях Panasas все данные находятся в едином пространстве имен, с единым графическим интерфейсом управления и интерфейсом командной строки, обеспечивая передачу данных с очень высокой надежностью и доступностью. Возможно быстрое добавление дополнительных корпусов ActiveStor; каждый добавленный блок немедленно увеличивает емкость и производительность.

Решение Panasas ActiveStor осуществляет автоматическую балансировку емкости в корпусах ActiveStor, когда вы их добавляете или если они становятся несбалансированными; автоматически восстанавливает уровни защиты данных для всех файлов в случае сбоев; и непрерывно сканирует все файлы в фоновом режиме, чтобы устранить скрытые проблемы.

Гибкость

Архитектура Panasas позволяет масштабировать данные и метаданные независимо, она была специально разработана для адаптируемости и гибкости, для различных сценариев использования.

Решение Panasas ActiveStor автоматически адаптируется к динамически меняющимся рабочим нагрузкам и возрастающим требованиям. За счет отличной масштабируемости решение распределяет рабочую нагрузку, уменьшая негативное влияние горячих точек, а также позволяет просто наращивать емкость и производительность.

Семейства продуктов ActiveStor предлагает гибкие варианты конфигурации для каждого узла для удовлетворения конкретных потребностей рабочих нагрузок, как сейчас, так и в будущем. Решение позволяет сочетать различные поколения продуктов ActiveStor в едином пространстве имен.

Экономическая эффективность

Количество людей, необходимое для поддержания максимальной производительности системы хранения, также влияет на ее стоимость. При разработке системы мы стремились в том числе снизить сложность обслуживания, автоматизировать управление отказами и обеспечить поддержку смешанных рабочих нагрузок без необходимости настройки или перенастройки. На управление решением Panasas ActiveStor сотрудник потратит менее одного рабочего дня, независимо от того, насколько оно велико или высокопроизводительно.

Ключевые особенности архитектуры Panasas

Масштабируемое сетевое хранилище

Вы можете легко и постепенно наращивать единый пул хранилища Panasas с единым глобальным пространством имен, добавляя емкость и производительность по мере необходимости, данные при этом останутся доступными.

Все данные и метаданные в системе хранения Panasas хранятся в высокомасштабируемом проприетарном объектном хранилище с высокой степенью параллелизма. Программное обеспечение Panasas координирует работу объектного хранилища, обеспечивая семантику POSIX для локальной файловой системы через протокол Panasas DirectFlow, а также поддерживая стандартизованные протоколы NFS и SMB NAS.

Разделение данных и метаданных

Все виды операций с метаданными файловой системы полностью обособлены от массива пользовательских данных. Отдельные единицы метаданных обычно очень малы и изменяются независимо друг от друга. В работе с метаданными имеет значение производительность (количество операций в секунду). В отличие от них данные обычно занимаю гораздо больше места читаются или записываются последовательно, здесь большее значение имеет пропускная способность. Решение Panasas разделяет хранение и работу с метаданными и данными за счет компонентов, выделенных и оптимизированных для каждого типа: узлов управления и узлов хранения.

Прямая и параллельная передача данных

Решение Panasas распределяет каждый файл по разным подмножествам узлов хранения в своей архитектуре. Каждая клиентская система напрямую и параллельно подключается по сети ко всем узлам хранения, которые содержат требуемый файл, без необходимости проходить другие узлы в системе хранения.

Надежность, растущая по мере масштабирования

Panasas использует для защиты отдельных файлов программную технологию защиты Erasure code, распределенную по сети, вместо традиционного RAID-массива для защиты целых дисков. Поскольку каждый файл распределяется по узлам хранения, стирающий код генерируется и хранится на других узлах. Время восстановления традиционной группы RAID ограничено пропускной способностью на запись резервного диска, в то время как время восстановления недостающей части всех затронутых файлов в системе Panasas на других узлах хранения (параллельно) определяется общей пропускной способностью на запись кластера хранения. Это сокращение «времени воздействия» имеет решающее значение для повышения надежности данных и объясняет, как надежность увеличивается с увеличением масштаба.

Интеллектуальное гибридное хранение

Архитектура Panasas использует два типа носителей информации — флеш-накопители и жесткие диски. Небольшие файлы и метаданные файловой системы хранятся во флеш-памяти, а большие файлы — на жестких дисках. Полоса пропускания потоковой передачи жестких дисков делает их идеальными для хранения больших последовательных файловых данных, а высокая скорость операций ввода-вывода при случайном доступе у флеш-накопителей хорошо подходит для хранения небольших файлов и метаданных файловой системы, обеспечивая максимальное соотношение цены и производительности.

В HPC высокая производительность просто необходима. Стоимость системы хранения складывается как из затрат на приобретение, так и из текущих расходов на управление. Семейство продуктов ActiveStor — это гибридные системы, интеллектуально оптимизированные для высокопроизводительных вычислений.

Варианты развертывания Panasas ActiveStor

Распределенная кластерная файловая система Panasas PanFS работает на двух различных семействах аппаратных платформ ActiveStor. Они различаются узлами хранения, но оба семейства используют одни и те же узлы управления. Все они совместимы друг с другом.

Семейство Panasas ActiveStor Prime

СХД Panasas ActiveStor Prime включает узлы управления ActiveStor и узлы хранения ActiveStor Prime. От одного до четырех узлов управления ActiveStor помещаются в стандартный аппаратный корпус 2RU. Каждый узел имеет мощный процессор, значительный объем памяти DRAM и пару высокоскоростных резервных портов Ethernet для подключения к клиентским системам и другим узлам управления и хранения. Поддерживается технология NVDIMM для хранения данных и метаданных с защитой от отключения электропитания вместо использования источника бесперебойного питания (ИБП).

Одиннадцать узлов хранения ActiveStor Prime размещаются в корпусе высотой 4RU. Каждый узел представляет собой гибридное устройство с одним твердотельным накопителем SATA для хранения метаданных и небольших файлов, двумя жесткими дисками SATA для хранения больших файлов, процессором и парой резервных портов Ethernet для подключения к клиентским системам и другим узлам.

Каждый корпус ActiveStor Prime включает в себя внутренний ИБП, который позволяет программному обеспечению, работающему на узлах хранения в этом корпусе, обрабатывать их емкость DRAM как защищенный от перебоев электропитания кэш для записываемых данных и метаданных.

Семейство Panasas ActiveStor Ultra

Системы хранения Panasas ActiveStor Ultra включает узлы управления ActiveStor и узлы хранения ActiveStor Ultra.

От одного до четырех узлов управления ActiveStor можно разместить в стандартном аппаратном корпусе 2RU. Каждый узел имеет мощный процессор, значительный объем DRAM и пару высокоскоростных резервных портов Ethernet для подключения к клиентским системам и другим узлам директора и хранилища. Он также включает технологию NVDIMM для хранения данных с защитой от отключения электропитания вместо использования источника бесперебойного питания (ИБП).

Узлы хранения ActiveStor Ultra обладают большей емкостью и большей пропускной способностью, чем узлы хранения ActiveStor Prime. Четыре узла хранения ActiveStor Ultra помещаются в стандартный аппаратный корпус высотой 4RU. Каждое из них представляет собой гибридное устройство с твердотельным накопителем NVMe для хранения метаданных, до двух твердотельных накопителей SSD SATA для хранения небольших файлов, от шести до восьми жестких дисков SATA для хранения больших файлов, процессором и парой высокопроизводительных резервных портов Ethernet для подключения к клиентским системам и другим узлам директора и хранилища. Он также включает технологию NVDIMM для хранения данных и метаданных с защитой от отключения питания вместо использования ИБП.

Заключение

Архитектура Panasas ActiveStor, работающая под управлением операционной системы хранения PanFS, преодолевает ограничения производительности, характерные для традиционных масштабируемых решений NAS. Это комплексное решение обеспечивает высокопроизводительный прямой параллельный доступ к терабайтам и петабайтам данных, позволяя избежать при этом проблем с надежностью, возникающих по мере масштабирования в устаревших системах NAS.

Высокая производительность

Протокол Panasas DirectFlow соответствует самым высоким требованиям к передаче данных, сокращая время получения результатов за счет предоставления клиентам прямой доступ для параллельного ввода-вывода данных на несколько узлов хранения.

Стабильная производительность для смешанных рабочих нагрузок

Производительность ввода-вывода архитектуры Panasas ActiveStor остается стабильной для большого количества одновременно выполняемых приложений, даже когда они читают и записывают и большие и малые наборы неструктурированных данных.

Линейная масштабируемость для больших наборов неструктурированных данных

С помощью решения Panasas вы можете легко и плавно масштабировать производительность и емкость вашего хранилища. При увеличении числа корпусов ActiveStor с 10 до 100 или даже до 1000 увеличится производительность и емкость вырастут пропорционально, обеспечивая практически идеальное линейное масштабирование.

Надежность и доступность корпоративного уровня

Надежность и доступность данных увеличиваются по мере расширения решения ActiveStor. ПО Panasas с распределенным стирающим кодом для каждого файла обнаруживает и исправляет проблемы при выходе из строя диска или целого узла хранения.

Простота управления, низкие затраты

Решение Panasas ActiveStor — это полностью интегрированная горизонтально масштабируемая система NAS с единой точкой управления. Оно обеспечивает сервисы корпоративного уровня, которые вы ожидаете получить от системы NAS, и оптимизировано для высокопроизводительных рабочих нагрузок коммерческого рынка.

Сочетая высокую производительность с простотой использования, Panasas снижает сложность хранения в вашем центре обработки данных за счет консолидации множества различных рабочих нагрузок, связанных с неструктурированными данными в одном горизонтально масштабируемом решении ActiveStor.