Архив рубрики: Машинное обучение

Программный комплекс по биоинформатике. Сериализация выборок

Для многих алгоритмов комплекса один из сохраняемых параметров — выборка последовательностей скрытых состояний (то есть геном или набор белков); в частности, выборки используются для всех алгоритмов распознавания. Объем информации, соответствующий такой выборке, составляет несколько десятков или даже сотен мегабайтов, так что ее хранение при сериализации алгоритма вызывает определенные трудности. Более того, одна и та же выборка (соответствующая, например, геному какого-то биологического вида) может быть общей для многих алгоритмов.

Для того чтобы не сохранять каждый раз все данные из выборки, можно определить текстовые идентификаторы для базовых выборок, соответствующих файлам на жестком диске. Соответствие между идентификаторами и файлами определяется окружением с помощью конфигурационного файла. Использование идентификаторов позволяет решить сразу несколько проблем:

  • файлы, в которых хранятся выборки, можно переносить без потери работоспособности сохраненных данных;
  • одному файлу может соответствовать несколько идентификаторов (например, в целях обратной совместимости).

Логика сериализации выборки не является универсальной: в некоторых случаях (например, если необходимо сохранять результаты работы алгоритма распознавания) имеет смысл все-таки записывать все содержимое выборки. Поэтому в комплексе базовые операции над выборками (выбор строк, объединение, фильтрация и т. п.) реализованы в виде класса SimpleSequenceSet, а функциональность, которая соответствует необычному механизму сериализации, сосредоточена в дочернем классе NamedSequenceSet.

Читать далее Программный комплекс по биоинформатике. Сериализация выборок

Программный комплекс по биоинформатике. Сохранение прогресса алгоритмов

Одна из особенностей комплекса — возможность сохранения и восстановления состояния для большинства реализованных алгоритмов. Пара причин, по которым такой механизм действительно нужен:

  • Алгоритмы распознавания и некоторые вспомогательные алгоритмы (например, алгоритмы отбора предикатов для иерархических композиций) работают достаточно долго (от 10 минут до нескольких часов). Хотелось бы иметь возможность в любой момент прервать работу алгоритма и вернуться к нему позже. (При прерывании выполнения программы пользователем сохранение состояния алгоритма возможно за счет использования Runtime.addShutdownHook.)
  • Во многих случаях имеет ценность информация, связанная с алгоритмом (например, порядок используемой модели для распознавания). Желательно, чтобы эту информацию не требовалось хранить вручную.

Наиболее очевидный способ хранения структурированных данных в Java, который и был использован — сериализация средствами интерфейса java.io.Serializable. У этого метода есть недостатки (например, при изменении структуры наследования класса или его переименовании десериализация перестает работать), но при разумном процессе разработки количество встреч с ними минимально. Более того, разработка с оглядкой на сериализацию побуждает с самого начала создавать правильную иерархию классов и подбирать для классов подходящие поля.

Читать далее Программный комплекс по биоинформатике. Сохранение прогресса алгоритмов

Распознавание на основе скрытых марковских моделей (часть 2)

На второй части семинара «Образный компьютер» я рассказал о том, о чем не успел в первой части — об алгоритмических композициях, в которых составляющие являются скрытыми марковскими моделями определенного порядка. На мой взгляд, алгоритмические композиции — самая интересная часть моей диссертации.

Презентация доклада: Распознавание на основе скрытых марковских моделей (часть 2).

Читать далее Распознавание на основе скрытых марковских моделей (часть 2)

Скрытые марковские модели в биоинформатике

Биоинформатика — применение методов математической статистики и информатики для анализа и обработки биологических данных: последовательностей нуклеотидов (ДНК) и аминокислот (белки).

Одной из основных категорий математических моделей, которые используются для анализа ДНК / генов и белков, являются скрытые марковские модели (СММ). В рамках СММ предполагается, что последовательность наблюдаемых состояний (нуклеотидов или аминокислот) порождается с помощью ненаблюдаемых (скрытых) состояний. Хорошо изученная задача — поиск оптимальной цепочки скрытых состояний по заданной наблюдаемой цепочке — имеет в биоиноформатике большую практическую ценность. В самом деле, если сопоставить скрытые состояния с характеристиками ДНК и белков, которые сложно замерить экспериментально (например, пространственная структура в белках, функциональные участки в генах), то становится возможным предсказывать эти характеристики на основе последовательностей нуклеотидов или аминокислот.

Скрытые марковские модели стали темой моей кандидатской диссертации (Методы распознавания на основе моделей Маркова со скрытыми переменными).

Читать далее Скрытые марковские модели в биоинформатике

Распознавание на основе скрытых марковских моделей

9 декабря на семинаре «Образный компьютер», который ведет Михаил Иванович Шлезингер (один из авторов EM-алгоритма), я докладывал о структурном распознавании для биологических последовательностей — ДНК и белков.

Презентация доклада: Распознавание на основе скрытых марковских моделей (успел рассказать до композиций алгоритмов, слайд 23).

Как известные алгоритмы распознавания на основе обобщенных скрытых марковских моделей, так и предложенные мной модели, объединяющие в себе обыкновенные СММ и марковские цепи, максимизируют функцию совместного правдоподобия для последовательности наблюдаемых и скрытых состояний. В связи с этим на семинаре возник вопрос: действительно ли такой критерий качества адекватен для рассматриваемых задач?

Читать далее Распознавание на основе скрытых марковских моделей