[userpic]

Нейронные сети 

metanymous в посте Metapractice (оригинал в ЖЖ)

Существуют специализированные машины, эмулирующие работу нейронных сетей, — нейроморфические процессоры. В 2016 году была пройдена очередная важная веха в жизни чипа TrueNorth: в Ливерморской национальной лаборатории им. Э. Лоуренса (США) стартовал исследовательский проект в области глубокого обучения на основе этого процессора. TrueNorth — детище IBM, созданное в рамках программы DARPA SyNAPSE. Эта «железка» представляет собой эмулятор примерно 1 млн нейронов, каждый из которых снабжён 256 синапсами. При эмуляции работы мозга подобное оборудование позволит избежать существенной потери производительности, связанной с разницей в архитектуре мозга и традиционных фон-неймановских машин, к числу которых относятся наиболее мощные современные суперкомпьютеры. Вычислительных ядер в наиболее быстрых фон-неймановских машинах на много порядков меньше, чем синапсов в мозге. Предыдущий лидер рейтинга TOP-500 — китайский суперкомпьютер Tianhe-2 — был собран более чем из 30 тыс. Xeon’ов (на каждом из них — 24 логических ядра) и почти 50 тыс. 57-ядерных сопроцессоров Xeon Phi. В общей сложности получается около 3,6 млн ядер. У нынешнего лидера Sunway TaihuLight число ядер уже немного перевалило за 10 млн, но это всё равно во много раз меньше числа синаптических связей мозга, каждая из которых представляет собой хотя и сравнительно примитивное, но работающее одновременно со всеми другими вычислительное устройство.

На фото изображён Фрэнк Розенблатт, создатель первого нейрокомпьютера MARC I, а рядом с ним — его «железный» перцептрон.

Современные нейроморфические процессоры довольно далеко ушли от разработок Розенблатта, но и они пока что несовершенны. Один из отцов свёрточных нейронных сетей Ян Лекун критикует проект TrueNorth за выбор примитивной модели нейрона («интегрировать и сработать» — «intergate-and-fire»). Это исторически первая модель нейрона, предложенная ещё в 1907 году французским физиологом Луи Лапиком. Лекун между делом проговаривается о том, что его критика вовсе не абстрактна: он сам работает над альтернативным проектом NeuFlow, использующим 16-битные состояния нейронов вместо бинарных состояний в TrueNorth. Аппаратная база NeuFlow — программируемые пользователем вентильные матрицы (FPGA) и интегральные схемы особого назначения (ASIC).