... ↑
metanymous в посте Metapractice (оригинал в ЖЖ)
Vitali Dunin Не идею, а работу ACTL. Оттуда есть также следствия для "машинного обучения", идущие из физиологических знаний. Мы их будем развивать в виде так сказать, DL++ Ну, а в целом, всё теперь замечательно... Спасибо за ссылку на саму статью. Ято-то я поленился...
Анатолий Левенчук
Анатолий Левенчук Чтобы лучше понимать, какие архитектурные развилки в этих "обучениях" (почему инженеры могут выбирать другие решения глубогих нейронных архитектур, нежели были выбраны эволюцией в мозге), я бы ещё рекомендовал статью посмотреть http://leon.bottou.org/publications/pdf/mloptbook-2011.pdf -- это ещё 2008 год. Суть: если оптимизируется на нехватку данных, то там одни алгоритмы "оптимальны", а если оптимизируется на нехватку времени обучения, то там совсем другие решения выходят в фавор (ибо некоторые алгоритмы сходятся долго, зато точно. А другие быстро, но с большой ошибкой -- и если у вас ограниченное время, то точный алгоритм может выдать бОльшую ошибку, чем заведомо неточный!).
Понимание всех этих особенностей и различает нейрофизиологию от инженерии нейронных сетей: в эволюцию вмешиваться можно только ограниченно, а вот с нуля строить можно совсем другую машинку -- вот, калькулятор проще устроен, но считает быстрее мозга, это мы должны брать за образец и для других функций.
Den Tulinov
Den Tulinov Не могу не заметить, что Back Propagation в естественных нервных системах вполне себе существует, хотя физиологи и не определились, зачем это нужно. А насчет «твердо установлено» – в биологии вообще редко какое отрицание можно установить твердо: у попу...Еще
Backpropagating action potentials in neurones: measurement, mechanisms...
sciencedirect.com
http://www.sciencedirect.com/science/article/pii/S0079610704000653
https://www.facebook.com/groups/1602081160032874/permalink/1626835187557471/?comment_id=1631325997108390&offset=0&total_comments=201&comment_tracking=%7B%22tn%22%3A%22R6%22%7D