Аннотация результатов, полученных в 2017 году
В ходе выполнения проекта получен ряд результатов в области комбинирования нейросетевых моделей обработки больших объемов данных. Воспроизведены и улучшены результаты других исследовательских групп, показавших, что нейронные сети могут использоваться для обучения нейронных сетей. Разработана более устойчивая процедура для такого мета-обучения. Сам по себе этот результат свидетельствует, что оптимизируемый в ходе процедуры обучения глубинной нейронной сети функицонал обладает рядом особенностей, которые не учитываются стандартными методами (стохастической) оптимизации, но могут учитываться (и учитываются) нейросетевым оптимизатором. Известно, что современные нейронные сети обладают сильно избыточной параметризацией. С одной стороны, многочисленные исследования показывают, что избыточная параметризация позволяет упростить и ускорить процедуру обучения. С другой стороны, она приводит к неоправданно большим затратам по памяти и вычислительным ресурсам на этапе применения нейронной сети. Коллективом участником разработана технология т.н. разреживающего вариационного дропаута, которая позволяет устранить избыточность обученной нейроной сети за счет применения механизма стохастического вариационного вывода к нейробайесовской модели специального вида. Построен ряд расширений базовой модели, позволяющих использовать разработанный метод для ускорения сверточных (в том числе остаточных) сетей и для прореживания рекуррентных нейросетей. Одним интересным следствием перехода к нейробайесовским вероятностным моделям является возможность дообучения нейронной сети на новых данных без использования старых данных, на которых сеть была обучена исходно. Использование современных техник вариационного байесовского вывода позволило построить такие процедуры дообучения, обладающие существенно более высоким качеством, чем наивная донастройка на новые данные из текущего значения весов. Одной из наиболее перспективных байесовских парадигм является аппарат гауссовских процессов, обладающий рядом преимуществ при решении задач регрессии и классификации и, теоретически, допускающий комбинирование с современными нейронными сетями. Ключевым недостатком гауссовских процессов является высокая вычислительная сложность при переходе к обработке больших объемов обучающих выборок. Одним из возможных выходов является использование приближенного вариационного вывода на основе т.н. индуцируемых точек. В рамках проекта эта техника расширена на случай, когда индуцирующие точки образуют регулярную сетку в пространстве объектов. Это делает возможным использование тензорных разложений для существенного ускорения процедуры обучения, благодаря чему удается обучать гауссовские процессы даже с большим числом индуцирующих точек, чем объем исходной обучающей выборки. В ходе проекта начато исследование т.н. неявных вероятностных моделей (вариационных программ). Такие модели занимают промежуточное положение между МСМС самплерами (несмещенные, но неэффективные) и моделями на основе вариационного байесовского вывода (быстрые, но неточные). Простейшим примером таких моделей являются генеративные конкурирующие сети. На основе этих сетей предложена модель пополнения (огментации) обучающей выборки синтетическими примерами, позволившая улучшить качество обученного на пополненных данных классификатора в одной практически важной задаче (классификация дорожных знаков). Разработанные нейробайесовские моели успешно использованы в задаче синтеза новых химических веществ с заранее заданными свойствами и генерации определений по внутреннему представлению слова. По промежуточным результатам проекта опубликован ряд статей на ведущих мировых конференциях ранга А* (3 статьи) и А (2 статьи).

Аннотация результатов, полученных в 2018 году
За отчетный период коллективом исполнителей проекта выполнен ряд практических исследований по разработке генеративных моделей и техник генерации выборок из сложных распределений, использующих глубинные нейронные сети. Получены теоретические результаты, обосновывающие условия корректности применения разработанных моделей. В частности: - Разработан новый метод генерации выборок из вероятностных моделей с использованием нейронных сетей, в которых часть параметров задаются матрицами с ортогональными столбцами. Доказаны теоремы о реверсивности и симплектичности итерации метода, требуемых для обоснования его корректности. - Адаптирован алгоритм Метрополиса-Хастингса на случай когда предложное распределение задано в виде неявной вероятностной модели, а целевое распределение задано эмпирически (в виде выборки). Эксперименты демонстрируют улучшение на выборках изображений (CIFAR-10, CelebA) для широкого класса неявных вероятностных моделей. - Введены метрики для оценки размера носителя и степени неравномерности генеративной модели. Проведено эмпирическое исследование носителей порождающих моделей с использованием предложенных метрик. Численно подтверждены выдвинутые ранее гипотезы о размере носителя конкурирующих сетей. -Разработан новый метод оценки градиента матожидания функции потерь по параметрам дискретных распределений, основанный на факторизованном представлении тензора потерь при восстановлении латентных переменных. Предложенный метод объединяет в одну парадигму ряд известных подходов. В рамках продолжения исследований предыдущего года разработан байесовский метод иерархического разреживания рекуррентных нейронных сетей, состоящий в комбинации разреживания отдельных весов, гейтового разреживания и удаления нейронов. Разработан метод регуляризации нейронных сетей, основанный на отдельной регуляризации направления и магнитуды входного вектора весов, относящегося к нейрону. Также в рамках проекта предложены методы для решения конкретных прикладных задач, частично опирающиеся на полученные в ходе выполнения проекта научные результаты: - Предложена новая генеративная модель для задачи разработки лекарств. Новая модель способна обнаруживать молекулярные структуры, удовлетворяющие сотням условий. Экспериментальное сравнение с базовыми методами показывает значительный прирост в частоте удовлетворения условиям. - Реализованы и протестированы два нейросетевых метода встраивания дорожных знаков: безусловный и условный. Безусловный метод встраивания обучается встраивать дорожные знаки фиксированного класса, условный метод получается на вход пиктограмму знака, который нужно встроить. Экспериментальная оценка методов показала, что разработанные методы позволяют качественно встраивать изображения дорожных знаков. - Разработан и экспериментально протестирован метод классификации дорожных знаков с открытым набором классов. Разработанный метод использует метод поиска аномалий для классификации частый-редкий знак, а затем использует один из двух классификаторов (нейросетевой или kNN на нейросетевых признаках).

Аннотация результатов, полученных в 2019 году
В ходе работ по теме неявного вероятностного моделирования было достигнуто два основных научных результата: улучшение вероятностных моделей для сэмплирования из целевого эмпирического распределения с помощью алгоритма Метрополиса-Хастингса, а также разработка единого формализма методов Монте Карло с Марковскими цепями, который позволяет легкое внедрение нейросетевых алгоритмов в большое количество классических алгоритмов Монте Карло. По результатам работы была написана статья, которая в данный момент находится на рецензировании на конференцию ICML 2020. Разработан новый риманов метод оптимизации для многообразия тензоров в формате тензорного поезда ограниченного ранга. Основное преимущество нового метода по сравнению с ранее известными подходами – использование более эффективной операции ретракции, не требующей дорогостоящего SVD разложения. Эксперименты показывают значительное (до 11 раз) ускорение по времени нового метода относительно аналогов. В рамках направления по исследованию генеративных моделей с дискретными сущностями в латентном коде был проведен ряд экспериментов по ансамблированию одноранговых оценок тензора функции потерь при подсчете направления обучения вариационных автокодировщиков c дискретным латентным пространством: произведено сравнение ансамблирования независимых одноранговых оценок и последовательного приближения тензора остатков с помощью одноранговых приближений. Кроме того, был предложен метод введения дискретных сущностей в непрерывное пространство априорного распределения генеративных моделей благодаря использованию тензорного разложения. Для задачи поиска лекарств современными методами глубинного обучения был разработан метод детерминированного декодирования (deterministic decoding VAE, DD-VAE). Статья описывает новую генеративную модель, позволяющую выделять признаки в режиме обучения без учителя. Предложенный метод основан на максимизации приближенной нижней оценки на обоснованность для задачи детерминированного декодирования. Показано что, при выполнении определенных условий, решение приближенной задачи совпадает с решением исходной точной задачи оптимизации. Проведены эксперименты на синтетических данных, изображениях, а также молекулярных структурах. Для молекулярных структур модель исследовалась на задаче обучения распределению (distribution learning) и на задаче оптимизации свойств (goal-oriented learning). На обеих задачах модель показала лучший результат в сравнении с аналогичными известными ранее моделями. По результатам работы опубликована статья на конференции уровня Core A. В рамках работы по новым методам байесовского разреживания рекуррентных нейронных сетей разработана техника иерархического группового прунинга гейтовых рекуррентных нейронных сетей. В результате экспериментального сравнения с подходом (Wen18) на задаче генерации текстов показано, что разработанная техника приводит к более высокому уровню разреженности нейронов и гейтов при одинаковом уровне качества. В результате анализа полученных гейтовых структур выявлена их схожесть с гейтовыми структурами, полученными с помощью разработанной ранее техники иерархического байесовского разреживания. По направлению, связанному с созданием новых методов компьютерного зрения для анализа дорожной обстановки проведено экспериментальное исследование переносимости детектора дорожных знаков на примере переноса с российского набора данных на китайский набор данных. Эксперименты показали эффективность использования предобучения на российском наборе данных. Кроме этого, предложен метод прореживания выборки с помощью значений функции потерь детектора при обучении на данной выборке. Метод показал более высокое качество на выборках среднего размера по сравнению со случайным прореживанием обучающей выборки. Также Разработан метод повышения реализма синтетических изображений дорожных знаков, который позволяет синтезировать дорожные знаки тех классов, реальные примеры для которых отсутствуют. Метод позволяет повысить качество классификатора и детектора на редких знаках по сравнению с базовым методом, а именно генерацией синтетических данных без нейросетевого повышения реализма изображений знаков. В ходе выполнения проекта было начато исследование по стохастическому обобщению недавно предложенной парадигмы нейродифференциальных уравнений, обладающей рядом преимуществ относительно обычных глубинных нейронных сетей. При работе со стохастическими нейросетевыми дифференциальными уравнениями оказалось, что поведение модели на модельной задачи повторяется и на более сложных реальных задачах с классификацией изображений при условии, что не используется аугментация изображений. При этом при использовании аугментации изображений стохастические нейросетевые дифференциальные уравнения не дают прироста в качестве классификации в сравнении с обычными нейросетевыми дифференциальными уравнениями. Таким образом, можно сделать предположение, что добавление стохастического шума может помочь при работе с данными, для которых нет эффективных процедур аугментации данных - таких, как временные ряды. Результаты работы по стохастическим нейросетевым дифференциальным уравнениям представлены на уоркшопе конференции ICLR 2020. Были проведены эксперименты с использованием батч-нормализации в нейросетевых дифференциальных уравнениях, которые показали, что наивный способ добавления ее в архитектуру модели приводят к значительному падению в качестве классификации. При этом был предложен альтернативный способ нормализации, который помогает избежать падения.