Показаны записи 5491 - 5500 из 30957
Анатолий Левенчук Конечно, какой-то взаимообмен между двумя тусовками "нейро" происходит! И, конечно, идёт взаимообмен: как исследователи мозга пытаются понять, каким алгоритмам может соответствовать работа естественной нейронной сети, так и наоборот -- нейрокомпьютерщики пытаются "повторить мозг". Но нужно чётко понимать, что как раз в эти дни происходит в DL отход от попыток создать махолёт и переход к самолётам с жёстким неподвижным крылом, а орнитологи пытаются позаимствовать у самолётчиков их САПРы для выяснения особенностей полёта птичек.
Это два разных проекта:
1. понимание, как устроен мозг (и какого типа там нейронная сетка, какая симуляционная модель могла бы быть мозга) -- выходом тут является компактное описание, теория (статья, Нобелевская премия и т.д.). Это наука нейрофизиология.
2. инженерный проект, который на выходе выдаст какого-нибудь personal assistant, который умеет отвечать на вопросы реактивно и проактивно давать советы. На выходе -- упакованные в формат продукта (или хотя бы прототипа) десятки изобретений, инженерных решений, в них не только наука используется (чтобы не много пробовать вариантов, а что-то расчитать по моделям -- уйти от чистого метода проб и ошибок в инженерии), но и эвристики, а то и просто новые идеи даже не на статусе эвристики (то есть таки куски работы идут методом проб и ошибок -- не ждём теории, не опираемся на эвристики, а "трясём"). Это инженерия (можно долго спорить об эпитетах, какая именно).
Да, есть множество мелких и крупных пересечений в этих проектах, но мне кажется, что не нужно преувеличивать пересечение орнитологии и авиастроения. В какой-то момент их нужно жёстко развести, а примеры бионики или биоинженерии давать как и в остальных таких парах -- курьёзами для научно-популярной прессы, примерами нестандартных путей развития мысли.
Я только что вот в тусовке deephack привёл пару ссылок: "по мотивам мозга" делающийся нейроморфный чип IBM и его критику от Lecunn -- это хороший комментарий к показу того, чем живые нейроны таки отличаются от потенциально более интересно устроенных неживых:
Вот про IBM нейрохардвер -- http://www.slideshare.net/Funk98/neurosynaptic-chips
И помним критику LeCunn проекта True North -- "My main criticism is that TrueNorth implements networks of integrate-and-fire spiking neurons. This type of neural net that has never been shown to yield accuracy anywhere close to state of the art on any task of interest (like, say recognizing objects from the ImageNet dataset). Spiking neurons have binary outputs (like neurons in the brain). The advantage of spiking neurons is that you don't need multipliers (since the neuron states are binary). But to get good results on a task like ImageNet you need about 8 bit of precision on the neuron states. To get this kind of precision with spiking neurons requires to wait multiple cycles so the spikes "average out". This slows down the overall computation". -- https://www.facebook.com/yann.lecun/posts/10152184295832143
Neurosynaptic chips
These slides use concepts from my (Jeff Funk) course entitled analyzing hi-tech opportunities to analyze how...
slideshare.net
http://www.slideshare.net/Funk98/neurosynaptic-chips
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631309083776748&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
Это два разных проекта:
1. понимание, как устроен мозг (и какого типа там нейронная сетка, какая симуляционная модель могла бы быть мозга) -- выходом тут является компактное описание, теория (статья, Нобелевская премия и т.д.). Это наука нейрофизиология.
2. инженерный проект, который на выходе выдаст какого-нибудь personal assistant, который умеет отвечать на вопросы реактивно и проактивно давать советы. На выходе -- упакованные в формат продукта (или хотя бы прототипа) десятки изобретений, инженерных решений, в них не только наука используется (чтобы не много пробовать вариантов, а что-то расчитать по моделям -- уйти от чистого метода проб и ошибок в инженерии), но и эвристики, а то и просто новые идеи даже не на статусе эвристики (то есть таки куски работы идут методом проб и ошибок -- не ждём теории, не опираемся на эвристики, а "трясём"). Это инженерия (можно долго спорить об эпитетах, какая именно).
Да, есть множество мелких и крупных пересечений в этих проектах, но мне кажется, что не нужно преувеличивать пересечение орнитологии и авиастроения. В какой-то момент их нужно жёстко развести, а примеры бионики или биоинженерии давать как и в остальных таких парах -- курьёзами для научно-популярной прессы, примерами нестандартных путей развития мысли.
Я только что вот в тусовке deephack привёл пару ссылок: "по мотивам мозга" делающийся нейроморфный чип IBM и его критику от Lecunn -- это хороший комментарий к показу того, чем живые нейроны таки отличаются от потенциально более интересно устроенных неживых:
Вот про IBM нейрохардвер -- http://www.slideshare.net/Funk98/neurosynaptic-chips
И помним критику LeCunn проекта True North -- "My main criticism is that TrueNorth implements networks of integrate-and-fire spiking neurons. This type of neural net that has never been shown to yield accuracy anywhere close to state of the art on any task of interest (like, say recognizing objects from the ImageNet dataset). Spiking neurons have binary outputs (like neurons in the brain). The advantage of spiking neurons is that you don't need multipliers (since the neuron states are binary). But to get good results on a task like ImageNet you need about 8 bit of precision on the neuron states. To get this kind of precision with spiking neurons requires to wait multiple cycles so the spikes "average out". This slows down the overall computation". -- https://www.facebook.com/yann.lecun/posts/10152184295832143
Neurosynaptic chips
These slides use concepts from my (Jeff Funk) course entitled analyzing hi-tech opportunities to analyze how...
slideshare.net
http://www.slideshare.net/Funk98/neurosynaptic-chips
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631309083776748&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
Vitali Dunin Anatoly Levenchuk! Вы пишете: "Я ж и говорю: два совершенно разных направления, в обоих есть слово "нейро" и слово "технология", но тусовки и методы непересекающиеся. Deep learning, как везде отмечается, это просто "ребрендинг нейронных сетей"." Вы почти правы: пересечение (практически точечное, например, в лице А.А. Фролова, и Вашего покорного слуги) всегда было, но сферы казались разными. Not any more, after Lillicrap et al., 2014 (далее, LCTA - по первым буквам авторов)!!!
Начну с истории: с октября 2011 идут еженедельные (без каникул) трехчасовые Рабочие сессии (РС) нашей команды. Мы перемалываем всё новое, что появляется в нейронауках и, "боковым зрением" отслеживаем наиболее яркие явления в сфере искусственного интеллекта. С лета 2012-го появились фантастически успешные статьи по Deep Learning (DL) и наши ребята стали осаждать меня предложениями бросить "отстойную науку" Computational Neuroscience и целиком переключиться на перспективный и интересный DL. Я отвечал, что DL основан на Back Propagation (BP), который не реализуем в естественных нервных системах (это твёрдо установлено), и потому нам надо искать другие механизмы реализации интеллектуальных функций.
11 марта 2015 Владимир Шакиров принес на РС статью LCTA: "Они показывают, что DL возможен без BP. Вычислительные результаты убедительны, а математика какая-то запутанная". Я сам внимательно прочел статью. Результат её впечатляет: в нейронной сети действительно устанавливаются связи, позволяющие решать задачи при наличии только общего сигнала об ошибке.
Обратного распространения ошибки по "прямым" связям распространения сигнала не требуется. Математическая аргументация в статье объясняет, почему сети LCTA могут учиться даже быстрее, чем сети DL. Это - практическая сторона результата статьи LCTA. Содержательный анализ принципов работы нейронной сети LCTA позволяет выяснить возможную физиологическую интерпретацию смысла полученного результата (точнее, открытия). В самом деле, нейронная сеть LCTA обладает способностью научиться классифицировать изображения так же, как человек.
А состоит эта сеть из нейронов, связи между которыми изменяются в направлениях, зависящих от сочетания состояний (возбуждён/не возбуждён) пре- и постсинаптического нейронов и от дошедшего до синапса сигнала о расхождении ответа нейронной сети с правильным ответом. (В отличие от BP сигнал должен просто нести информацию о том, есть ошибка (ошибки! Покомпонентно, в том случае, когда правильный ответ представляет многомерный вектор!), и не обязан каждому синапсу сообщать, каков его количественный вклад в ошибку.)
Такая конструкция по существу представляет объединение многих элементов, способных к формированию условных рефлексов. Эврика! Оказывается И.П. Павлов был прав, когда говорил, что "условный рефлекс является основой формирования психических реакций всех живых организмов, включая процесс мышления человека современного вида" (цитирую по Википедии). Эта гипотеза была безусловно эпатирующей для своего времени и породила океаны справедливой критики. Но, если разобраться, критика не отвергает, а множественно уточняет Павловский принцип "организации высшей нервной деятельности".
Вот, собственно, что произошло (но, увы пока очень далеко от того, чтобы считаться общепринятым) в науке о механизмах работы мозга за последний год. Общепризнанным этот факт станет после того, как его подтвердит "официальный "дуплексный" печатный орган" Всемирного министерства науки (сиречь, журналы Nature и Science). В случае самого DL на признание ушло полтора года.
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631303970443926&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
Начну с истории: с октября 2011 идут еженедельные (без каникул) трехчасовые Рабочие сессии (РС) нашей команды. Мы перемалываем всё новое, что появляется в нейронауках и, "боковым зрением" отслеживаем наиболее яркие явления в сфере искусственного интеллекта. С лета 2012-го появились фантастически успешные статьи по Deep Learning (DL) и наши ребята стали осаждать меня предложениями бросить "отстойную науку" Computational Neuroscience и целиком переключиться на перспективный и интересный DL. Я отвечал, что DL основан на Back Propagation (BP), который не реализуем в естественных нервных системах (это твёрдо установлено), и потому нам надо искать другие механизмы реализации интеллектуальных функций.
11 марта 2015 Владимир Шакиров принес на РС статью LCTA: "Они показывают, что DL возможен без BP. Вычислительные результаты убедительны, а математика какая-то запутанная". Я сам внимательно прочел статью. Результат её впечатляет: в нейронной сети действительно устанавливаются связи, позволяющие решать задачи при наличии только общего сигнала об ошибке.
Обратного распространения ошибки по "прямым" связям распространения сигнала не требуется. Математическая аргументация в статье объясняет, почему сети LCTA могут учиться даже быстрее, чем сети DL. Это - практическая сторона результата статьи LCTA. Содержательный анализ принципов работы нейронной сети LCTA позволяет выяснить возможную физиологическую интерпретацию смысла полученного результата (точнее, открытия). В самом деле, нейронная сеть LCTA обладает способностью научиться классифицировать изображения так же, как человек.
А состоит эта сеть из нейронов, связи между которыми изменяются в направлениях, зависящих от сочетания состояний (возбуждён/не возбуждён) пре- и постсинаптического нейронов и от дошедшего до синапса сигнала о расхождении ответа нейронной сети с правильным ответом. (В отличие от BP сигнал должен просто нести информацию о том, есть ошибка (ошибки! Покомпонентно, в том случае, когда правильный ответ представляет многомерный вектор!), и не обязан каждому синапсу сообщать, каков его количественный вклад в ошибку.)
Такая конструкция по существу представляет объединение многих элементов, способных к формированию условных рефлексов. Эврика! Оказывается И.П. Павлов был прав, когда говорил, что "условный рефлекс является основой формирования психических реакций всех живых организмов, включая процесс мышления человека современного вида" (цитирую по Википедии). Эта гипотеза была безусловно эпатирующей для своего времени и породила океаны справедливой критики. Но, если разобраться, критика не отвергает, а множественно уточняет Павловский принцип "организации высшей нервной деятельности".
Вот, собственно, что произошло (но, увы пока очень далеко от того, чтобы считаться общепринятым) в науке о механизмах работы мозга за последний год. Общепризнанным этот факт станет после того, как его подтвердит "официальный "дуплексный" печатный орган" Всемирного министерства науки (сиречь, журналы Nature и Science). В случае самого DL на признание ушло полтора года.
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631303970443926&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
Анатолий Левенчук То есть я чётко различаю архитектурный подход к roadmap (когда делаются какие-то модули общей системы после того, как договорились об интерфейсах -- типа как нарисовали самолёт и разошлись одни делать двигатели и жечь в них топливо в порядке эксперимента, другие варить композитные материалы для корпуса, а третьи исследовать рынок -- будет ли кто на таком самолёте летать, или ну его нафиг такой проект) против классификационого: делается некоторая "онтология" и кучка индивидуальных "прорывов" в полной автономии друг от друга. Пока классификационный подход, да ещё и в заявительном порядке: заявил проект -- и попал в классификатор, если проект "симпатичный". С учётом связи с возможностью финансирования, это просто вариант "вертолёт Бернанке" Смайлик «wink»
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631106433797013&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631106433797013&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
Anton Kolonin Сергей, все зависит от определения "нейротехнологий". Мы про это много говорили с А.Иващенко на корабле (правда, тогда шла речь в контексте "нейросемантики" Смайлик «wink» ). Если мы говороим, что нейротехнологии это "только то, что непосредственно прикручено к физическому нейрону", то - да - никакого отношения Смайлик «smile» Но тогда и аэронавтика не имеет право на существование, остается только орнитология. А если мы решаем "большую задачу" типа "понять как работает мозг и вылечить кучу людей" или "сделать общий (адаптивный) искусственный интеллект и сделать супер-крутых дружелюбных к человеку роботов" или "создать систему глобального человеко-машинного разума, позволяющего компаниям и странам эффективнее работать на локальных глобальных рынках", то - и нейроинформатика и нейробиология и психотерапия и лингвистика и проч. - все комплементарные составляющие.
19 августа в 2:14 · Отредактировано · Нравится · 3
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631096900464633&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
Анатолий Левенчук Я похожим странным образом определял "информатику" -- куда и computer science вошли, и лингвистика (ибо всё это не про плавление чугуна, а про тексты разного уровня формализации): http://ailev.livejournal.com/1008054.html -- но теперь тот текст хорошо ...Еще
Информатика
Информатика -- это работа агентов (людей и компьютеров) с текстами и кодами. Текст --...
ailev.livejournal.com
http://ailev.livejournal.com/1008054.html
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631102667130723&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
Anton Kolonin Если о определениях - вот тут есть слова про "нейроинформатику" и "нейрогеномику" (все - суть - нейротехнологии): http://www.webstructor.net/.../Cognitive-technologies... - причем противопоставления тут нет - у нас в Новосибирске есть очень хорошие работы (Колчанов, Афтанас, Савостьянов) по корреляции генетики и нейрофизиологии, сейчас в рамках текущей работы к этому подключем математику и психотерапию (Витяев, Завьялов).
19 августа в 2:46 · Нравится
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631104210463902&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
Анатолий Левенчук Тут можно сделать продуктивный ход в духе neuro-linguistic programming. Там один из выводов -- "в голове человека мир кодируется так же, как вовне головы: внутреннее аудио, внутреннее видео, внутренняя кинестетика и т.д. Это позволяет по крайней мере обсуждать то, что происходит внутри головы". Да, это включает только сознание. Но уже есть какая-то внятная теория сознания (http://ailev.livejournal.com/1193568.html), и можно было бы на эту тему подтянуть и DNN -- распознавать не только мир вовне человека, но и "в голове". Это ход на BCI, на уровне "внутренних голосов" и "внутреннего видения". Но я продолжаю считать, что стык разных "нейро" нужно специально конструировать -- просто от сбора ANN проектов и нейрофизиологических проектов ничего не произойдёт. Нужны архитектуры с BCI, а не только классификации, под которых можно всё на свете подвести.
Теория сознания как схемы внимания -- attention schema theory
ailev.livejournal.com
http://ailev.livejournal.com/1193568.html
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631104623797194&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
19 августа в 2:14 · Отредактировано · Нравится · 3
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631096900464633&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
Анатолий Левенчук Я похожим странным образом определял "информатику" -- куда и computer science вошли, и лингвистика (ибо всё это не про плавление чугуна, а про тексты разного уровня формализации): http://ailev.livejournal.com/1008054.html -- но теперь тот текст хорошо ...Еще
Информатика
Информатика -- это работа агентов (людей и компьютеров) с текстами и кодами. Текст --...
ailev.livejournal.com
http://ailev.livejournal.com/1008054.html
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631102667130723&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
Anton Kolonin Если о определениях - вот тут есть слова про "нейроинформатику" и "нейрогеномику" (все - суть - нейротехнологии): http://www.webstructor.net/.../Cognitive-technologies... - причем противопоставления тут нет - у нас в Новосибирске есть очень хорошие работы (Колчанов, Афтанас, Савостьянов) по корреляции генетики и нейрофизиологии, сейчас в рамках текущей работы к этому подключем математику и психотерапию (Витяев, Завьялов).
19 августа в 2:46 · Нравится
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631104210463902&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
Анатолий Левенчук Тут можно сделать продуктивный ход в духе neuro-linguistic programming. Там один из выводов -- "в голове человека мир кодируется так же, как вовне головы: внутреннее аудио, внутреннее видео, внутренняя кинестетика и т.д. Это позволяет по крайней мере обсуждать то, что происходит внутри головы". Да, это включает только сознание. Но уже есть какая-то внятная теория сознания (http://ailev.livejournal.com/1193568.html), и можно было бы на эту тему подтянуть и DNN -- распознавать не только мир вовне человека, но и "в голове". Это ход на BCI, на уровне "внутренних голосов" и "внутреннего видения". Но я продолжаю считать, что стык разных "нейро" нужно специально конструировать -- просто от сбора ANN проектов и нейрофизиологических проектов ничего не произойдёт. Нужны архитектуры с BCI, а не только классификации, под которых можно всё на свете подвести.
Теория сознания как схемы внимания -- attention schema theory
ailev.livejournal.com
http://ailev.livejournal.com/1193568.html
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631104623797194&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
http://metapractice.livejournal.com/487260.html
Фундаментальные задачи моделирования
Оригинал взят у ailev в НЛП и deep learning
Фундаментальные задачи моделирования
Оригинал взят у ailev в НЛП и deep learning
Вытащу свой коммент из огромной дискуссии в фейсбук-группе Neuronet2015(https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631338243773832&offset=0&total_comments=200&comment_tracking=%7B%22tn%22%3A%22R%22%7D), там где обсуждается различие глубокого обучения в мозге и в компьютере:
Одно из типовых ругательств НЛП: "это плохая психология, ибо бихевиоризм". На меня это ругательство действовало всегда ободряюще: бихевиоризм совсем не прост и совсем незаслуженно подзаброшен.
Вы своим комментарием про принцип Павлова "всё -- на условных рефлексах" в связи с нейронными алгоритмами работы мозга [обсуждались, в частности, работы типа http://arxiv.org/abs/1502.04156, Towards Biologically Plausible Deep Learning -- и что ничего кроме научения нейронных сеток, т.е. "условных рефлексов" в работе мозга практически и нет] подсказали интересную мысль: если сегодня тексты книжек по НЛП (которое нейролингвистическое программирование) читать после чтения нейросетевой литературы, то там типовые фразы "как вы научили свой мозг так восхитительно ошибаться" будут совсем по-другому читаться, вполне "научно" даже на нейронном уровне, а не метафорично!
Анатолий Левенчук Может это и не так плохо. Я всегда говорил, что в России есть шанс выпускать на мировом уровне только то, что можно передать по оптоволокну. Мозги по оптоволокну не передашь, а интеллект -- вполне (чем бы это "интеллект" ни оказалось, тут ведь тоже засада). Может, это и будет ключом к успеху ))) А мозговая инициатива получит новые способы обработки данных, тоже неплохо.
19 августа в 0:01 · Нравится · 4
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631071380467185&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
Анатолий Левенчук То есть "нейронет" из проекта интерфейса к нейронному живому мозгу стал проектом компьютинга на кремниевых нейронах? Неожиданный результат. Я бы считал это двумя разными направлениями, причём оба направления крайне интересны -- но у них слишком мало общего, чтобы в одном флаконе взбалтывать. Но что мимо нейрокомпьютинга мимо не прошли и решили поддержать, я даже удивлён: обычно всегда физиологи побеждали "этих непонятных без профессии" (ибо айтишники их тоже за своих не держат, а самоназвания у эээ... нейромантов ... коннектомистов нежити... нейросетемастеров... нет). Вот, один раз им свезло. Но и это ещё не "заднее слово", путь проектов в кулуарах правительства извилист и на поворотах много чего вылетает и влетает.
В любом случае, все будут продолжать делать, что делали. Это очень верное замечание.
19 августа в 0:19 · Нравится · 2
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631073903800266&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
Анатолий Левенчук Но не удержусь привести ссылочку по поводу "фантазий" современного нейрокомпьютинга: в последнее время там реализовали именно то, что изображено на карикатурке, причём "для общего случая". Для многих и многих это стало неожиданностью, даже самих эээ... нейромантов Смайлик «wink» http://xkcd.com/1425/
xkcd: Tasks
Warning: this comic occasionally contains strong language (which may be unsuitable for children),...
xkcd.com
19 августа в 1:16 · Нравится
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631086823798974&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
Анатолий Левенчук Конечно, задача диалога ещё не решена, но эксперименты уже более чем активны, и иметь какие-то результаты от русскоязычной команды было бы приятно (хотя научить результаты работы каких-нибудь голландцев поддерживать диалог по-русски -- это вам не вручную правила языка кодировать три года. Оставить на недельку жужжать в облаке -- и нате вам русский. Или украинский, или суахили).
19 августа в 1:18 · Нравится
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631087247132265&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
Анатолий Левенчук А дальше -- этот диалог бы втыкать прямо в мозг! И даже мозг в мозг, мимо диалога! Но это уже абсолютно другая задача, тот самый "нейровеб". Другие специалисты, другие лаборатории.
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631087627132227&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
19 августа в 0:01 · Нравится · 4
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631071380467185&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
Анатолий Левенчук То есть "нейронет" из проекта интерфейса к нейронному живому мозгу стал проектом компьютинга на кремниевых нейронах? Неожиданный результат. Я бы считал это двумя разными направлениями, причём оба направления крайне интересны -- но у них слишком мало общего, чтобы в одном флаконе взбалтывать. Но что мимо нейрокомпьютинга мимо не прошли и решили поддержать, я даже удивлён: обычно всегда физиологи побеждали "этих непонятных без профессии" (ибо айтишники их тоже за своих не держат, а самоназвания у эээ... нейромантов ... коннектомистов нежити... нейросетемастеров... нет). Вот, один раз им свезло. Но и это ещё не "заднее слово", путь проектов в кулуарах правительства извилист и на поворотах много чего вылетает и влетает.
В любом случае, все будут продолжать делать, что делали. Это очень верное замечание.
19 августа в 0:19 · Нравится · 2
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631073903800266&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
Анатолий Левенчук Но не удержусь привести ссылочку по поводу "фантазий" современного нейрокомпьютинга: в последнее время там реализовали именно то, что изображено на карикатурке, причём "для общего случая". Для многих и многих это стало неожиданностью, даже самих эээ... нейромантов Смайлик «wink» http://xkcd.com/1425/
xkcd: Tasks
Warning: this comic occasionally contains strong language (which may be unsuitable for children),...
xkcd.com
19 августа в 1:16 · Нравится
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631086823798974&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
Анатолий Левенчук Конечно, задача диалога ещё не решена, но эксперименты уже более чем активны, и иметь какие-то результаты от русскоязычной команды было бы приятно (хотя научить результаты работы каких-нибудь голландцев поддерживать диалог по-русски -- это вам не вручную правила языка кодировать три года. Оставить на недельку жужжать в облаке -- и нате вам русский. Или украинский, или суахили).
19 августа в 1:18 · Нравится
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631087247132265&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
Анатолий Левенчук А дальше -- этот диалог бы втыкать прямо в мозг! И даже мозг в мозг, мимо диалога! Но это уже абсолютно другая задача, тот самый "нейровеб". Другие специалисты, другие лаборатории.
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631087627132227&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
Sergei Shishkin Я ничего не знаю про "всех координаторов АСИ", но конкретно вчерашнюю встречу вел именно представитель АСИ и участвовали профильные эксперты - директор Ин-та ВНД, руководитель департамента психологии Вышки, завкафедрой ВНД биофака МГУ и др. (на всякий случай уточню: все перечисленные - не только администраторы, но и сами активно работающие ученые). А вот в сообщество, действительно, информация поступает нерегулярно. Но конкретно в данный момент подробное информирование уже, увы, могло бы дать не более чем "комильфо", т.к. закончилось время на обсуждения.
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1630927780481545&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1630927780481545&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
</>
Как нейронные сети связаны с проектами картирования?!
metanymous в посте Metapractice (оригинал в ЖЖ)
Анатолий Левенчук А теперь возвращаемся к теме картирования мозга, и даже картирования мозга билингвов и спрашиваем: как state of the art нейронные сети, которые выполняют сейчас все эти работы по переводу с языка на язык (концовка там и про визуальные языки, не вопрос) связаны с проектами картирования?!
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1630779907162999&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1630779907162999&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
Анатолий Левенчук Специально для Александра -- обзорчик достижений в машинном переводе начинается с " The relevance of the connectionist model to natural language processing is clear enough. The traditional stratificational approach to parsing and generation (morphology, syntax, semantics) .. is not seriously accepted .. as a psychologically real model of how humans understand and communicate". – Hutchins and Somers (1992),
. Дальше смотрим полные слайды (в которых lexical semantix nothing but a tiny part of overall end-to-end model),чтобы оценить современный подход -- https://drive.google.com/.../0B16RwCMQqrtdNUptOGtDeD.../view:
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1630777630496560&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
https://drive.google.com/file/d/0B16RwCMQqrtdNUptOGtDeDhxZ0E/view
. Дальше смотрим полные слайды (в которых lexical semantix nothing but a tiny part of overall end-to-end model),чтобы оценить современный подход -- https://drive.google.com/.../0B16RwCMQqrtdNUptOGtDeD.../view:
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1630777630496560&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
https://drive.google.com/file/d/0B16RwCMQqrtdNUptOGtDeDhxZ0E/view
Alexandre Prozoroff Только сейчас добрался до ФБ. Vitali Dunin, вы задали вопрос. Каким образом НС переводит текст с одного на другой язык, без классической семантики? Отличный вопрос. Где тут семантика? Чтобы ответить на него, я сделаю аналогию с другим вопросом - как найти и ухватить связь между формой и содержанием? В том смысле, что у любого содержания есть какая-то форма. Вопрос - какова связь? Диалектика считает, что они жестко связаны. Теория передачи информации базируется на том, что для заданного содержания можно найти ту самую форму (одну из многих), которая лучше всего подходит для передачи в канале связи, где есть шум. Уже здесь мы видим, что диалектика отстает от реальности: жесткой связи нет, есть отдельно форма, есть содержание, есть операция кодирования (определения новой формы). Вопрос - что связывает форму и содержание? Ответ - операция кодирования. Вопрос - где там семантика? Ответ - в соблюдении тех закономерностей, благодаря которым разные формы несут одно и то же содержание. Теперь вернемся к переводу с одного языка на другой при помощи НС. Это операция перекодирования. В том смысле, что вербальный язык - это сложный код.
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1630768390497484&offset=0&total_comments=201&comment_tracking={%22tn%22%3A%22R9%22}
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1630768390497484&offset=0&total_comments=201&comment_tracking={%22tn%22%3A%22R9%22}
Дочитали до конца.