Тестирование системы хранения информации с применением алгоритмов многомерной четности, устойчивых к частичным потерям мест хранения

Аннотация

Приводятся данные тестирования системы распределенного хранения с расщеплением данных
апробированной во внутренней сети организации. Одним из основных параметров тестируемой системы
распределенного хранения является уровень расщепления, отвечающий за размерность четности генерируемой в
процессе расщепления. В ходе тестов, в которых постепенно увеличивались уровни расщепления, было установлено
оптимальное значение для информационной сети организации. С увеличением уровня расщепления и связанной с
ней размерностью четности повышается устойчивость к потерям расщепленных частей файлов, распределенных по
узлам, участвующим в хранении информации. В то же время с увеличением уровня расщепления увеличивается
и время обработки информации в системе. Тестирование показало, что наиболее оптимальными уровнями
расщепления, являются уровни со второго по третий, при которых наблюдается разумный компромисс между
надежностью хранения и латентностью системы. На этих уровнях гарантировано 100%-ное восстановление файлов
при отказе до 33% узлов, а при отказах 44% узлов вероятность потери информации составила 0,07. Наиболее
актуально распределенное хранения информации с расщеплением данных для больших объемов, требующих
использования множественных мест хранения, в которых как известно, практически единственным методом
достижения надежности является многократное резервирование и репликации (Hadoop FS, ZFS). Описываемый метод хранения, обладая меньшей избыточностью при сравнимой надежности может быть рекомендован к
применению в системах Big Data