Программный комплекс по биоинформатике. Сериализация выборок

Для многих алгоритмов комплекса один из сохраняемых параметров — выборка последовательностей скрытых состояний (то есть геном или набор белков); в частности, выборки используются для всех алгоритмов распознавания. Объем информации, соответствующий такой выборке, составляет несколько десятков или даже сотен мегабайтов, так что ее хранение при сериализации алгоритма вызывает определенные трудности. Более того, одна и та же выборка (соответствующая, например, геному какого-то биологического вида) может быть общей для многих алгоритмов.

Для того чтобы не сохранять каждый раз все данные из выборки, можно определить текстовые идентификаторы для базовых выборок, соответствующих файлам на жестком диске. Соответствие между идентификаторами и файлами определяется окружением с помощью конфигурационного файла. Использование идентификаторов позволяет решить сразу несколько проблем:

  • файлы, в которых хранятся выборки, можно переносить без потери работоспособности сохраненных данных;
  • одному файлу может соответствовать несколько идентификаторов (например, в целях обратной совместимости).

Логика сериализации выборки не является универсальной: в некоторых случаях (например, если необходимо сохранять результаты работы алгоритма распознавания) имеет смысл все-таки записывать все содержимое выборки. Поэтому в комплексе базовые операции над выборками (выбор строк, объединение, фильтрация и т. п.) реализованы в виде класса SimpleSequenceSet, а функциональность, которая соответствует необычному механизму сериализации, сосредоточена в дочернем классе NamedSequenceSet.

Итак, в простейшем случае выборка сохраняется в виде строки-идентификатора. При десериализации с помощью окружения этому идентификатору ставится в соответствие файл, из которого загружаются данные выборки. Чтобы окружение в этот момент было доступно, десериализация производится при помощи специального класса, дополняющего функциональность стандартного потока чтения ObjectInputStream).

На практике одной строки для хранения выборки недостаточно: необходимо, чтобы могли запоминаться выборки, над которыми произошли некоторые манипуляции. Скажем, для задачи распознавания фрагментов генов имеет смысл отдельно оценить качество распознавания для «коротких» генов и «длинных» генов. Можно выделить две базовые операции над выборками:

  • объединение нескольких выборок;
  • выбор подмножества строк из выборки.

Этим операциям соответствуют три сериализуемых поля:

Операции объединения и фильтрации присваивают значения соответствующим полям.

При этом полагается, что с точки зрения пользователя выборки являются неизменяемыми; иначе бы при присвоении полей unfilteredSet и элементов массива setParts понадобилась бы операция клонирования выборок.

Результат выполнения методов join и filter можно представить в виде ациклического ориентированного графа (вершины — выборки, ребра — операции). Корректность сохранения и восстановления графа обеспечивается встроенными механизмами Java — объектными потоками чтения / записи (ObjectInputStream, ObjectOutputStream).

Граф построения выборки
Пример графа построения выборки

При десериализации выборки достаточно повторить операцию, которая привела к ее созданию.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *