... ↑
metanymous в посте Metapractice (оригинал в ЖЖ)
Начну с истории: с октября 2011 идут еженедельные (без каникул) трехчасовые Рабочие сессии (РС) нашей команды. Мы перемалываем всё новое, что появляется в нейронауках и, "боковым зрением" отслеживаем наиболее яркие явления в сфере искусственного интеллекта. С лета 2012-го появились фантастически успешные статьи по Deep Learning (DL) и наши ребята стали осаждать меня предложениями бросить "отстойную науку" Computational Neuroscience и целиком переключиться на перспективный и интересный DL. Я отвечал, что DL основан на Back Propagation (BP), который не реализуем в естественных нервных системах (это твёрдо установлено), и потому нам надо искать другие механизмы реализации интеллектуальных функций.
11 марта 2015 Владимир Шакиров принес на РС статью LCTA: "Они показывают, что DL возможен без BP. Вычислительные результаты убедительны, а математика какая-то запутанная". Я сам внимательно прочел статью. Результат её впечатляет: в нейронной сети действительно устанавливаются связи, позволяющие решать задачи при наличии только общего сигнала об ошибке.
Обратного распространения ошибки по "прямым" связям распространения сигнала не требуется. Математическая аргументация в статье объясняет, почему сети LCTA могут учиться даже быстрее, чем сети DL. Это - практическая сторона результата статьи LCTA. Содержательный анализ принципов работы нейронной сети LCTA позволяет выяснить возможную физиологическую интерпретацию смысла полученного результата (точнее, открытия). В самом деле, нейронная сеть LCTA обладает способностью научиться классифицировать изображения так же, как человек.
А состоит эта сеть из нейронов, связи между которыми изменяются в направлениях, зависящих от сочетания состояний (возбуждён/не возбуждён) пре- и постсинаптического нейронов и от дошедшего до синапса сигнала о расхождении ответа нейронной сети с правильным ответом. (В отличие от BP сигнал должен просто нести информацию о том, есть ошибка (ошибки! Покомпонентно, в том случае, когда правильный ответ представляет многомерный вектор!), и не обязан каждому синапсу сообщать, каков его количественный вклад в ошибку.)
Такая конструкция по существу представляет объединение многих элементов, способных к формированию условных рефлексов. Эврика! Оказывается И.П. Павлов был прав, когда говорил, что "условный рефлекс является основой формирования психических реакций всех живых организмов, включая процесс мышления человека современного вида" (цитирую по Википедии). Эта гипотеза была безусловно эпатирующей для своего времени и породила океаны справедливой критики. Но, если разобраться, критика не отвергает, а множественно уточняет Павловский принцип "организации высшей нервной деятельности".
Вот, собственно, что произошло (но, увы пока очень далеко от того, чтобы считаться общепринятым) в науке о механизмах работы мозга за последний год. Общепризнанным этот факт станет после того, как его подтвердит "официальный "дуплексный" печатный орган" Всемирного министерства науки (сиречь, журналы Nature и Science). В случае самого DL на признание ушло полтора года.
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631303970443926&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D