Показаны записи 5491 - 5500 из 30962
</>
Нейронауки: существует ли свобода воли у человека?
metanymous в посте Metapractice (оригинал в ЖЖ)
Научное исследование. Нейронауки: существует ли свобода воли у человека?
http://www.kabmir.org/real/2685-science-free-will-exists.html
http://www.kabmir.org/real/2685-science-free-will-exists.html
Анатолий Левенчук Практически оффтоп, но не совсем оффтом (учитывая существование нейропсихологов): я всегда открыто придерживался находок NLP (нейролингвистического программирования в исполнении Гриндера и Бэндлера при поддержке Грегори Бейтсона) -- как это направление психопрактик бы ни ругалось всеми остальными патентованными (часто буквально) психологами. Ибо там всё настоящее, и совсем не дураки его делали. Одно из типовых ругательств: "это плохая психология, ибо бихевиоризм". На меня это ругательство действовало всегда ободряюще: бихевиоризм совсем не прост и совсем незаслуженно подзаброшен.
Вы своим комментарием про принцип Павлова "всё -- на условных рефлексах" в связи с нейронными алгоритмами работы мозга подсказали интересную мысль: если сегодня тексты книжек по НЛП (которое нейролингвистическое программирование) читать после чтения нейросетевой литературы, то там типовые фразы "как вы научили свой мозг так восхитительно ошибаться" будут совсем по-другому читаться, вполне "научно" а не метафорично! Надо бы в комьюнити openmeta в ЖЖ написать об этом, повеселить там людей. )))
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631338243773832&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R0%22%7D
Вы своим комментарием про принцип Павлова "всё -- на условных рефлексах" в связи с нейронными алгоритмами работы мозга подсказали интересную мысль: если сегодня тексты книжек по НЛП (которое нейролингвистическое программирование) читать после чтения нейросетевой литературы, то там типовые фразы "как вы научили свой мозг так восхитительно ошибаться" будут совсем по-другому читаться, вполне "научно" а не метафорично! Надо бы в комьюнити openmeta в ЖЖ написать об этом, повеселить там людей. )))
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631338243773832&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R0%22%7D
Vitali Dunin
Vitali Dunin Не идею, а работу ACTL. Оттуда есть также следствия для "машинного обучения", идущие из физиологических знаний. Мы их будем развивать в виде так сказать, DL++ Ну, а в целом, всё теперь замечательно... Спасибо за ссылку на саму статью. Ято-то я поленился...
Анатолий Левенчук
Анатолий Левенчук Чтобы лучше понимать, какие архитектурные развилки в этих "обучениях" (почему инженеры могут выбирать другие решения глубогих нейронных архитектур, нежели были выбраны эволюцией в мозге), я бы ещё рекомендовал статью посмотреть http://leon.bottou.org/publications/pdf/mloptbook-2011.pdf -- это ещё 2008 год. Суть: если оптимизируется на нехватку данных, то там одни алгоритмы "оптимальны", а если оптимизируется на нехватку времени обучения, то там совсем другие решения выходят в фавор (ибо некоторые алгоритмы сходятся долго, зато точно. А другие быстро, но с большой ошибкой -- и если у вас ограниченное время, то точный алгоритм может выдать бОльшую ошибку, чем заведомо неточный!).
Понимание всех этих особенностей и различает нейрофизиологию от инженерии нейронных сетей: в эволюцию вмешиваться можно только ограниченно, а вот с нуля строить можно совсем другую машинку -- вот, калькулятор проще устроен, но считает быстрее мозга, это мы должны брать за образец и для других функций.
Den Tulinov
Den Tulinov Не могу не заметить, что Back Propagation в естественных нервных системах вполне себе существует, хотя физиологи и не определились, зачем это нужно. А насчет «твердо установлено» – в биологии вообще редко какое отрицание можно установить твердо: у попу...Еще
Backpropagating action potentials in neurones: measurement, mechanisms...
sciencedirect.com
http://www.sciencedirect.com/science/article/pii/S0079610704000653
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631325997108390&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R6%22%7D
Vitali Dunin Не идею, а работу ACTL. Оттуда есть также следствия для "машинного обучения", идущие из физиологических знаний. Мы их будем развивать в виде так сказать, DL++ Ну, а в целом, всё теперь замечательно... Спасибо за ссылку на саму статью. Ято-то я поленился...
Анатолий Левенчук
Анатолий Левенчук Чтобы лучше понимать, какие архитектурные развилки в этих "обучениях" (почему инженеры могут выбирать другие решения глубогих нейронных архитектур, нежели были выбраны эволюцией в мозге), я бы ещё рекомендовал статью посмотреть http://leon.bottou.org/publications/pdf/mloptbook-2011.pdf -- это ещё 2008 год. Суть: если оптимизируется на нехватку данных, то там одни алгоритмы "оптимальны", а если оптимизируется на нехватку времени обучения, то там совсем другие решения выходят в фавор (ибо некоторые алгоритмы сходятся долго, зато точно. А другие быстро, но с большой ошибкой -- и если у вас ограниченное время, то точный алгоритм может выдать бОльшую ошибку, чем заведомо неточный!).
Понимание всех этих особенностей и различает нейрофизиологию от инженерии нейронных сетей: в эволюцию вмешиваться можно только ограниченно, а вот с нуля строить можно совсем другую машинку -- вот, калькулятор проще устроен, но считает быстрее мозга, это мы должны брать за образец и для других функций.
Den Tulinov
Den Tulinov Не могу не заметить, что Back Propagation в естественных нервных системах вполне себе существует, хотя физиологи и не определились, зачем это нужно. А насчет «твердо установлено» – в биологии вообще редко какое отрицание можно установить твердо: у попу...Еще
Backpropagating action potentials in neurones: measurement, mechanisms...
sciencedirect.com
http://www.sciencedirect.com/science/article/pii/S0079610704000653
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631325997108390&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R6%22%7D
Анатолий Левенчук Чтобы до кучи ссылка была на LCTA, ноябрь 2014 -- http://arxiv.org/abs/1411.0247 (Random feedback weights support learning in deep neural networks -- Timothy P. Lillicrap, Daniel Cownden, Douglas B. Tweed, Colin J. Akerman)
The brain processes information through many layers of neurons. This deep architecture is representationally powerful, but it complicates learning by making it hard to identify the responsible neurons when a mistake is made. In machine learning, the backpropagation algorithm assigns blame to a neuron by computing exactly how it contributed to an error. To do this, it multiplies error signals by matrices consisting of all the synaptic weights on the neuron's axon and farther downstream. This operation requires a precisely choreographed transport of synaptic weight information, which is thought to be impossible in the brain. Here we present a surprisingly simple algorithm for deep learning, which assigns blame by multiplying error signals by random synaptic weights. We show that a network can learn to extract useful information from signals sent through these random feedback connections. In essence, the network learns to learn. We demonstrate that this new mechanism performs as quickly and accurately as backpropagation on a variety of problems and describe the principles which underlie its function. Our demonstration provides a plausible basis for how a neuron can be adapted using error signals generated at distal locations in the brain, and thus dispels long-held assumptions about the algorithmic constraints on learning in neural circuits.
[1411.0247] Random feedback weights support learning in deep neural networks
arxiv.org
http://arxiv.org/abs/1411.0247
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631311117109878&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
The brain processes information through many layers of neurons. This deep architecture is representationally powerful, but it complicates learning by making it hard to identify the responsible neurons when a mistake is made. In machine learning, the backpropagation algorithm assigns blame to a neuron by computing exactly how it contributed to an error. To do this, it multiplies error signals by matrices consisting of all the synaptic weights on the neuron's axon and farther downstream. This operation requires a precisely choreographed transport of synaptic weight information, which is thought to be impossible in the brain. Here we present a surprisingly simple algorithm for deep learning, which assigns blame by multiplying error signals by random synaptic weights. We show that a network can learn to extract useful information from signals sent through these random feedback connections. In essence, the network learns to learn. We demonstrate that this new mechanism performs as quickly and accurately as backpropagation on a variety of problems and describe the principles which underlie its function. Our demonstration provides a plausible basis for how a neuron can be adapted using error signals generated at distal locations in the brain, and thus dispels long-held assumptions about the algorithmic constraints on learning in neural circuits.
[1411.0247] Random feedback weights support learning in deep neural networks
arxiv.org
http://arxiv.org/abs/1411.0247
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631311117109878&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
Анатолий Левенчук Да, прочёл. Мы эту идею, что можно сетки учить без backpropagation обсуждали ещё на хакатоне, нет? И я полностью признаю, что это существенный прорыв для исследователей мозга: от размахивания руками можно переходить к какому-то моделируемому мостику от низших физических уровней организации к высшим функциональным. Многие "загадки" становятся хоть как-то понятными, и спасибо за это толчку от DL-тусовки.
Мой краткий ответ: это отлично для нейрофизиологов, но сеткообучальщики отчаливают куда-то в другом направлении -- потому как эти другие направления оптимизируются по-другому (скажем, можно на чипе сделать 15тыс. умножителей, не вопрос, как это демонстрируется на современных FPGA-чипах -- см. http://ailev.livejournal.com/1207933.html).
Перспективная вычислительная инфраструктура для машинного...
ailev.livejournal.com
http://ailev.livejournal.com/1207933.html
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631310680443255&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
Мой краткий ответ: это отлично для нейрофизиологов, но сеткообучальщики отчаливают куда-то в другом направлении -- потому как эти другие направления оптимизируются по-другому (скажем, можно на чипе сделать 15тыс. умножителей, не вопрос, как это демонстрируется на современных FPGA-чипах -- см. http://ailev.livejournal.com/1207933.html).
Перспективная вычислительная инфраструктура для машинного...
ailev.livejournal.com
http://ailev.livejournal.com/1207933.html
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631310680443255&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
Анатолий Левенчук Конечно, какой-то взаимообмен между двумя тусовками "нейро" происходит! И, конечно, идёт взаимообмен: как исследователи мозга пытаются понять, каким алгоритмам может соответствовать работа естественной нейронной сети, так и наоборот -- нейрокомпьютерщики пытаются "повторить мозг". Но нужно чётко понимать, что как раз в эти дни происходит в DL отход от попыток создать махолёт и переход к самолётам с жёстким неподвижным крылом, а орнитологи пытаются позаимствовать у самолётчиков их САПРы для выяснения особенностей полёта птичек.
Это два разных проекта:
1. понимание, как устроен мозг (и какого типа там нейронная сетка, какая симуляционная модель могла бы быть мозга) -- выходом тут является компактное описание, теория (статья, Нобелевская премия и т.д.). Это наука нейрофизиология.
2. инженерный проект, который на выходе выдаст какого-нибудь personal assistant, который умеет отвечать на вопросы реактивно и проактивно давать советы. На выходе -- упакованные в формат продукта (или хотя бы прототипа) десятки изобретений, инженерных решений, в них не только наука используется (чтобы не много пробовать вариантов, а что-то расчитать по моделям -- уйти от чистого метода проб и ошибок в инженерии), но и эвристики, а то и просто новые идеи даже не на статусе эвристики (то есть таки куски работы идут методом проб и ошибок -- не ждём теории, не опираемся на эвристики, а "трясём"). Это инженерия (можно долго спорить об эпитетах, какая именно).
Да, есть множество мелких и крупных пересечений в этих проектах, но мне кажется, что не нужно преувеличивать пересечение орнитологии и авиастроения. В какой-то момент их нужно жёстко развести, а примеры бионики или биоинженерии давать как и в остальных таких парах -- курьёзами для научно-популярной прессы, примерами нестандартных путей развития мысли.
Я только что вот в тусовке deephack привёл пару ссылок: "по мотивам мозга" делающийся нейроморфный чип IBM и его критику от Lecunn -- это хороший комментарий к показу того, чем живые нейроны таки отличаются от потенциально более интересно устроенных неживых:
Вот про IBM нейрохардвер -- http://www.slideshare.net/Funk98/neurosynaptic-chips
И помним критику LeCunn проекта True North -- "My main criticism is that TrueNorth implements networks of integrate-and-fire spiking neurons. This type of neural net that has never been shown to yield accuracy anywhere close to state of the art on any task of interest (like, say recognizing objects from the ImageNet dataset). Spiking neurons have binary outputs (like neurons in the brain). The advantage of spiking neurons is that you don't need multipliers (since the neuron states are binary). But to get good results on a task like ImageNet you need about 8 bit of precision on the neuron states. To get this kind of precision with spiking neurons requires to wait multiple cycles so the spikes "average out". This slows down the overall computation". -- https://www.facebook.com/yann.lecun/posts/10152184295832143
Neurosynaptic chips
These slides use concepts from my (Jeff Funk) course entitled analyzing hi-tech opportunities to analyze how...
slideshare.net
http://www.slideshare.net/Funk98/neurosynaptic-chips
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631309083776748&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
Это два разных проекта:
1. понимание, как устроен мозг (и какого типа там нейронная сетка, какая симуляционная модель могла бы быть мозга) -- выходом тут является компактное описание, теория (статья, Нобелевская премия и т.д.). Это наука нейрофизиология.
2. инженерный проект, который на выходе выдаст какого-нибудь personal assistant, который умеет отвечать на вопросы реактивно и проактивно давать советы. На выходе -- упакованные в формат продукта (или хотя бы прототипа) десятки изобретений, инженерных решений, в них не только наука используется (чтобы не много пробовать вариантов, а что-то расчитать по моделям -- уйти от чистого метода проб и ошибок в инженерии), но и эвристики, а то и просто новые идеи даже не на статусе эвристики (то есть таки куски работы идут методом проб и ошибок -- не ждём теории, не опираемся на эвристики, а "трясём"). Это инженерия (можно долго спорить об эпитетах, какая именно).
Да, есть множество мелких и крупных пересечений в этих проектах, но мне кажется, что не нужно преувеличивать пересечение орнитологии и авиастроения. В какой-то момент их нужно жёстко развести, а примеры бионики или биоинженерии давать как и в остальных таких парах -- курьёзами для научно-популярной прессы, примерами нестандартных путей развития мысли.
Я только что вот в тусовке deephack привёл пару ссылок: "по мотивам мозга" делающийся нейроморфный чип IBM и его критику от Lecunn -- это хороший комментарий к показу того, чем живые нейроны таки отличаются от потенциально более интересно устроенных неживых:
Вот про IBM нейрохардвер -- http://www.slideshare.net/Funk98/neurosynaptic-chips
И помним критику LeCunn проекта True North -- "My main criticism is that TrueNorth implements networks of integrate-and-fire spiking neurons. This type of neural net that has never been shown to yield accuracy anywhere close to state of the art on any task of interest (like, say recognizing objects from the ImageNet dataset). Spiking neurons have binary outputs (like neurons in the brain). The advantage of spiking neurons is that you don't need multipliers (since the neuron states are binary). But to get good results on a task like ImageNet you need about 8 bit of precision on the neuron states. To get this kind of precision with spiking neurons requires to wait multiple cycles so the spikes "average out". This slows down the overall computation". -- https://www.facebook.com/yann.lecun/posts/10152184295832143
Neurosynaptic chips
These slides use concepts from my (Jeff Funk) course entitled analyzing hi-tech opportunities to analyze how...
slideshare.net
http://www.slideshare.net/Funk98/neurosynaptic-chips
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631309083776748&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
Vitali Dunin Anatoly Levenchuk! Вы пишете: "Я ж и говорю: два совершенно разных направления, в обоих есть слово "нейро" и слово "технология", но тусовки и методы непересекающиеся. Deep learning, как везде отмечается, это просто "ребрендинг нейронных сетей"." Вы почти правы: пересечение (практически точечное, например, в лице А.А. Фролова, и Вашего покорного слуги) всегда было, но сферы казались разными. Not any more, after Lillicrap et al., 2014 (далее, LCTA - по первым буквам авторов)!!!
Начну с истории: с октября 2011 идут еженедельные (без каникул) трехчасовые Рабочие сессии (РС) нашей команды. Мы перемалываем всё новое, что появляется в нейронауках и, "боковым зрением" отслеживаем наиболее яркие явления в сфере искусственного интеллекта. С лета 2012-го появились фантастически успешные статьи по Deep Learning (DL) и наши ребята стали осаждать меня предложениями бросить "отстойную науку" Computational Neuroscience и целиком переключиться на перспективный и интересный DL. Я отвечал, что DL основан на Back Propagation (BP), который не реализуем в естественных нервных системах (это твёрдо установлено), и потому нам надо искать другие механизмы реализации интеллектуальных функций.
11 марта 2015 Владимир Шакиров принес на РС статью LCTA: "Они показывают, что DL возможен без BP. Вычислительные результаты убедительны, а математика какая-то запутанная". Я сам внимательно прочел статью. Результат её впечатляет: в нейронной сети действительно устанавливаются связи, позволяющие решать задачи при наличии только общего сигнала об ошибке.
Обратного распространения ошибки по "прямым" связям распространения сигнала не требуется. Математическая аргументация в статье объясняет, почему сети LCTA могут учиться даже быстрее, чем сети DL. Это - практическая сторона результата статьи LCTA. Содержательный анализ принципов работы нейронной сети LCTA позволяет выяснить возможную физиологическую интерпретацию смысла полученного результата (точнее, открытия). В самом деле, нейронная сеть LCTA обладает способностью научиться классифицировать изображения так же, как человек.
А состоит эта сеть из нейронов, связи между которыми изменяются в направлениях, зависящих от сочетания состояний (возбуждён/не возбуждён) пре- и постсинаптического нейронов и от дошедшего до синапса сигнала о расхождении ответа нейронной сети с правильным ответом. (В отличие от BP сигнал должен просто нести информацию о том, есть ошибка (ошибки! Покомпонентно, в том случае, когда правильный ответ представляет многомерный вектор!), и не обязан каждому синапсу сообщать, каков его количественный вклад в ошибку.)
Такая конструкция по существу представляет объединение многих элементов, способных к формированию условных рефлексов. Эврика! Оказывается И.П. Павлов был прав, когда говорил, что "условный рефлекс является основой формирования психических реакций всех живых организмов, включая процесс мышления человека современного вида" (цитирую по Википедии). Эта гипотеза была безусловно эпатирующей для своего времени и породила океаны справедливой критики. Но, если разобраться, критика не отвергает, а множественно уточняет Павловский принцип "организации высшей нервной деятельности".
Вот, собственно, что произошло (но, увы пока очень далеко от того, чтобы считаться общепринятым) в науке о механизмах работы мозга за последний год. Общепризнанным этот факт станет после того, как его подтвердит "официальный "дуплексный" печатный орган" Всемирного министерства науки (сиречь, журналы Nature и Science). В случае самого DL на признание ушло полтора года.
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631303970443926&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
Начну с истории: с октября 2011 идут еженедельные (без каникул) трехчасовые Рабочие сессии (РС) нашей команды. Мы перемалываем всё новое, что появляется в нейронауках и, "боковым зрением" отслеживаем наиболее яркие явления в сфере искусственного интеллекта. С лета 2012-го появились фантастически успешные статьи по Deep Learning (DL) и наши ребята стали осаждать меня предложениями бросить "отстойную науку" Computational Neuroscience и целиком переключиться на перспективный и интересный DL. Я отвечал, что DL основан на Back Propagation (BP), который не реализуем в естественных нервных системах (это твёрдо установлено), и потому нам надо искать другие механизмы реализации интеллектуальных функций.
11 марта 2015 Владимир Шакиров принес на РС статью LCTA: "Они показывают, что DL возможен без BP. Вычислительные результаты убедительны, а математика какая-то запутанная". Я сам внимательно прочел статью. Результат её впечатляет: в нейронной сети действительно устанавливаются связи, позволяющие решать задачи при наличии только общего сигнала об ошибке.
Обратного распространения ошибки по "прямым" связям распространения сигнала не требуется. Математическая аргументация в статье объясняет, почему сети LCTA могут учиться даже быстрее, чем сети DL. Это - практическая сторона результата статьи LCTA. Содержательный анализ принципов работы нейронной сети LCTA позволяет выяснить возможную физиологическую интерпретацию смысла полученного результата (точнее, открытия). В самом деле, нейронная сеть LCTA обладает способностью научиться классифицировать изображения так же, как человек.
А состоит эта сеть из нейронов, связи между которыми изменяются в направлениях, зависящих от сочетания состояний (возбуждён/не возбуждён) пре- и постсинаптического нейронов и от дошедшего до синапса сигнала о расхождении ответа нейронной сети с правильным ответом. (В отличие от BP сигнал должен просто нести информацию о том, есть ошибка (ошибки! Покомпонентно, в том случае, когда правильный ответ представляет многомерный вектор!), и не обязан каждому синапсу сообщать, каков его количественный вклад в ошибку.)
Такая конструкция по существу представляет объединение многих элементов, способных к формированию условных рефлексов. Эврика! Оказывается И.П. Павлов был прав, когда говорил, что "условный рефлекс является основой формирования психических реакций всех живых организмов, включая процесс мышления человека современного вида" (цитирую по Википедии). Эта гипотеза была безусловно эпатирующей для своего времени и породила океаны справедливой критики. Но, если разобраться, критика не отвергает, а множественно уточняет Павловский принцип "организации высшей нервной деятельности".
Вот, собственно, что произошло (но, увы пока очень далеко от того, чтобы считаться общепринятым) в науке о механизмах работы мозга за последний год. Общепризнанным этот факт станет после того, как его подтвердит "официальный "дуплексный" печатный орган" Всемирного министерства науки (сиречь, журналы Nature и Science). В случае самого DL на признание ушло полтора года.
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631303970443926&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
Анатолий Левенчук То есть я чётко различаю архитектурный подход к roadmap (когда делаются какие-то модули общей системы после того, как договорились об интерфейсах -- типа как нарисовали самолёт и разошлись одни делать двигатели и жечь в них топливо в порядке эксперимента, другие варить композитные материалы для корпуса, а третьи исследовать рынок -- будет ли кто на таком самолёте летать, или ну его нафиг такой проект) против классификационого: делается некоторая "онтология" и кучка индивидуальных "прорывов" в полной автономии друг от друга. Пока классификационный подход, да ещё и в заявительном порядке: заявил проект -- и попал в классификатор, если проект "симпатичный". С учётом связи с возможностью финансирования, это просто вариант "вертолёт Бернанке" Смайлик «wink»
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631106433797013&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631106433797013&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
Anton Kolonin Сергей, все зависит от определения "нейротехнологий". Мы про это много говорили с А.Иващенко на корабле (правда, тогда шла речь в контексте "нейросемантики" Смайлик «wink» ). Если мы говороим, что нейротехнологии это "только то, что непосредственно прикручено к физическому нейрону", то - да - никакого отношения Смайлик «smile» Но тогда и аэронавтика не имеет право на существование, остается только орнитология. А если мы решаем "большую задачу" типа "понять как работает мозг и вылечить кучу людей" или "сделать общий (адаптивный) искусственный интеллект и сделать супер-крутых дружелюбных к человеку роботов" или "создать систему глобального человеко-машинного разума, позволяющего компаниям и странам эффективнее работать на локальных глобальных рынках", то - и нейроинформатика и нейробиология и психотерапия и лингвистика и проч. - все комплементарные составляющие.
19 августа в 2:14 · Отредактировано · Нравится · 3
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631096900464633&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
Анатолий Левенчук Я похожим странным образом определял "информатику" -- куда и computer science вошли, и лингвистика (ибо всё это не про плавление чугуна, а про тексты разного уровня формализации): http://ailev.livejournal.com/1008054.html -- но теперь тот текст хорошо ...Еще
Информатика
Информатика -- это работа агентов (людей и компьютеров) с текстами и кодами. Текст --...
ailev.livejournal.com
http://ailev.livejournal.com/1008054.html
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631102667130723&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
Anton Kolonin Если о определениях - вот тут есть слова про "нейроинформатику" и "нейрогеномику" (все - суть - нейротехнологии): http://www.webstructor.net/.../Cognitive-technologies... - причем противопоставления тут нет - у нас в Новосибирске есть очень хорошие работы (Колчанов, Афтанас, Савостьянов) по корреляции генетики и нейрофизиологии, сейчас в рамках текущей работы к этому подключем математику и психотерапию (Витяев, Завьялов).
19 августа в 2:46 · Нравится
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631104210463902&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
Анатолий Левенчук Тут можно сделать продуктивный ход в духе neuro-linguistic programming. Там один из выводов -- "в голове человека мир кодируется так же, как вовне головы: внутреннее аудио, внутреннее видео, внутренняя кинестетика и т.д. Это позволяет по крайней мере обсуждать то, что происходит внутри головы". Да, это включает только сознание. Но уже есть какая-то внятная теория сознания (http://ailev.livejournal.com/1193568.html), и можно было бы на эту тему подтянуть и DNN -- распознавать не только мир вовне человека, но и "в голове". Это ход на BCI, на уровне "внутренних голосов" и "внутреннего видения". Но я продолжаю считать, что стык разных "нейро" нужно специально конструировать -- просто от сбора ANN проектов и нейрофизиологических проектов ничего не произойдёт. Нужны архитектуры с BCI, а не только классификации, под которых можно всё на свете подвести.
Теория сознания как схемы внимания -- attention schema theory
ailev.livejournal.com
http://ailev.livejournal.com/1193568.html
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631104623797194&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
19 августа в 2:14 · Отредактировано · Нравится · 3
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631096900464633&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
Анатолий Левенчук Я похожим странным образом определял "информатику" -- куда и computer science вошли, и лингвистика (ибо всё это не про плавление чугуна, а про тексты разного уровня формализации): http://ailev.livejournal.com/1008054.html -- но теперь тот текст хорошо ...Еще
Информатика
Информатика -- это работа агентов (людей и компьютеров) с текстами и кодами. Текст --...
ailev.livejournal.com
http://ailev.livejournal.com/1008054.html
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631102667130723&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
Anton Kolonin Если о определениях - вот тут есть слова про "нейроинформатику" и "нейрогеномику" (все - суть - нейротехнологии): http://www.webstructor.net/.../Cognitive-technologies... - причем противопоставления тут нет - у нас в Новосибирске есть очень хорошие работы (Колчанов, Афтанас, Савостьянов) по корреляции генетики и нейрофизиологии, сейчас в рамках текущей работы к этому подключем математику и психотерапию (Витяев, Завьялов).
19 августа в 2:46 · Нравится
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631104210463902&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
Анатолий Левенчук Тут можно сделать продуктивный ход в духе neuro-linguistic programming. Там один из выводов -- "в голове человека мир кодируется так же, как вовне головы: внутреннее аудио, внутреннее видео, внутренняя кинестетика и т.д. Это позволяет по крайней мере обсуждать то, что происходит внутри головы". Да, это включает только сознание. Но уже есть какая-то внятная теория сознания (http://ailev.livejournal.com/1193568.html), и можно было бы на эту тему подтянуть и DNN -- распознавать не только мир вовне человека, но и "в голове". Это ход на BCI, на уровне "внутренних голосов" и "внутреннего видения". Но я продолжаю считать, что стык разных "нейро" нужно специально конструировать -- просто от сбора ANN проектов и нейрофизиологических проектов ничего не произойдёт. Нужны архитектуры с BCI, а не только классификации, под которых можно всё на свете подвести.
Теория сознания как схемы внимания -- attention schema theory
ailev.livejournal.com
http://ailev.livejournal.com/1193568.html
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631104623797194&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R9%22%7D
http://metapractice.livejournal.com/487260.html
Фундаментальные задачи моделирования
Оригинал взят у ailev в НЛП и deep learning
Фундаментальные задачи моделирования
Оригинал взят у ailev в НЛП и deep learning
Вытащу свой коммент из огромной дискуссии в фейсбук-группе Neuronet2015(https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631338243773832&offset=0&total_comments=200&comment_tracking=%7B%22tn%22%3A%22R%22%7D), там где обсуждается различие глубокого обучения в мозге и в компьютере:
Одно из типовых ругательств НЛП: "это плохая психология, ибо бихевиоризм". На меня это ругательство действовало всегда ободряюще: бихевиоризм совсем не прост и совсем незаслуженно подзаброшен.
Вы своим комментарием про принцип Павлова "всё -- на условных рефлексах" в связи с нейронными алгоритмами работы мозга [обсуждались, в частности, работы типа http://arxiv.org/abs/1502.04156, Towards Biologically Plausible Deep Learning -- и что ничего кроме научения нейронных сеток, т.е. "условных рефлексов" в работе мозга практически и нет] подсказали интересную мысль: если сегодня тексты книжек по НЛП (которое нейролингвистическое программирование) читать после чтения нейросетевой литературы, то там типовые фразы "как вы научили свой мозг так восхитительно ошибаться" будут совсем по-другому читаться, вполне "научно" даже на нейронном уровне, а не метафорично!
Дочитали до конца.