Скиннеровское моделирование (1) Революция кликера

Законы обучения — это научные законы, благодаря им и работает дрессировка с кликером. Однако технология дрессировки с кликером, т.е. правила, которые мы открываем для себя, обучая кого то с его помощью, до конца ещё не поняты. Действительно ли кликер даёт более быстрый результат, чем сказанное слово? Да, мы получили этот результат эмпирическим путём, по сообщениям людей, которые занимались в группах, использующих слова, как маркерные сигналы, а затем, учивших тот же материал при помощи кликера. Они нашли, что и собаки, и их владельцы при помощи кликера осваивали материал в два раза быстрее, чем обычным путём, мы можем сказать, что это происходит, но не можем понять, почему.
Карен Прайор Дрессировка собак с помощью кликера

Мы сравнивали в роли маркерных сигналов:
(а) короткие слова
(б) хлопки в ладони
(в) постукивания
(г) прочее

(1) Чем менее вариабельный сигнал - в данном случае это постукивания - тем лучше результат. И для животных. И для человека. Ну, а по однородности сигнала будет/есть вне конкуренции кликер.

(2) Но, метанойя способностей оперантного формирования, демонстрирует две выраженные стадии.
а) На ее первой стадии максимальный результат дают менее вариабельные сигналы. Среди которых идеальный есть кликер (см пп1).
б) Но на следующей стадии максимальной эффективностью обладают как раз вариабельные сигналы.
в) Нет никакой возможности "прорваться" к стадии б) в обход стадии а).

Прим: под метанойей оперантного формирования мы понимаем и навык генерации оперантной экспрессии, и навык адекватного реагирования на оперантную экспрессию. Справедливо и для друзей наших меньших. И для человеков.

Отсюда http://community.livejournal.com/metapractice/142421.html?thread=2323541#t2323541

--Подскажите, пожалуйста, как полезнее подкреплять себя, когда 1) понимаешь, что в голову пришла хорошая идея, 2) вовремя внимание обратил на свои действия.
--Это два разных процесса/результата. Два типа подкрепления. Но, можно подкреплять и первое, и второе вперемешку.

Да, я понимаю, что два процесса. Вперемешку, то есть можно подкреплять одним и тем же образом.

--На этой встрече я описал agens'у и retif'у как я подкрепляю себя, когда замечаю, что рука с мышкой ведет курсор к тому элементу интерфейса, который мне позволит отвлечься от текущей деятельности. Например, чтение одного материала прервется чтением чего-нибудь другого. agens и retif посоветовали подкреплять не то, что я замечаю попытки отвлечься, а то, что мне удается проработать дольше без всяких отвлечений.
--Они правы.

А как тогда это делать?

--Но как конкретно это делать я не понял. В итоге получилось, что я вообще перестал пытаться тут что-то изменить путем целенаправленно подкрепления. И думаю, что в итоге стало только хуже :). Что же лучше подкреплять? И как подкреплять? Я этого делал поглажыванием (со временем стал иногда просто касанием) рукой груди и добрым словом.
--Это обсуждаемо.

Вот и обсудим.

Подскажите, пожалуйста, как полезнее подкреплять себя, когда 1) понимаешь, что в голову пришла хорошая идея, 2) вовремя внимание обратил на свои действия. На этой встрече я описал agens'у и retif'у как я подкрепляю себя, когда замечаю, что рука с мышкой ведет курсор к тому элементу интерфейса, который мне позволит отвлечься от текущей деятельности. Например, чтение одного материала прервется чтением чего-нибудь другого. agens и retif посоветовали подкреплять не то, что я замечаю попытки отвлечься, а то, что мне удается проработать дольше без всяких отвлечений.

Надо более точно поставить вопрос. Будет он не о том как полезнее подкреплять себя. Правильный вопрос: как/какими сигналами делать разметку определенного рабочего процесса:
--неудачный вариант, когда совершается правильное своевременное действие рабочего процесса и затем оно эээ типа как-то самоподкрепляется
--удачный вариант, когда совершение правильного своевременного действия рабочего процесса само автоматически вызывает некий сигнал "разметки" - он же и подкрепление

так где же купить такой кликер? Поищу по зоомагазинам!

Читал "Не рычите на собаку", но не использовал. То есть не вытаскивал из текста пошаговые инструкции, а читал скорее как художественную литературу.
О! Отлично. Вот, как художественную просмотрите и "Несущие ветер". Она есть на либ.ру. Приятное чтение и исчерпывающий ответ на ваш вопрос из уст самой Прайор. Плюс куча интереснейших фактов о Бейтсоне, Скиннере, дельфинах, Гаваях и пр, и пр :)

Наконец, я схватила старый степлер. И дело пошло. В глазах старушки-кобылы загорелся азарт, и за день мы научились стольким вещам, со сколькими не справились бы и за месяц. Как человек, испробовавший все устройства, которые только издают звуки, заявляю, что степлер – лучше всего остального, конечно, если у вас нет настоящего кликера.
http://slb4.livejournal.com/32741.html

При чтении книги я подумал о том, для чего применяется оперантное формирование:
1. Большая часть книги посвящена дрессировке, при которой закреплялись и "приводились под стимульный контроль" элементы обычного поведения. Для человека это, наверно, избавление от вредных и приобретение полезных привычек, обучение новым видам деятельности по известным алгоритмам, улучшение качества того, что человек уже умеет. В этой книге и в “Собаке” на эту тему много информации.
2. Про вторичное обучение – всего одна глава. Является ли творчество дельфинов аналогом творчества у людей? Переносим ли метод творческой дрессировки, случайно найденный КП для дельфинов на людей?
3. И работает ли оперантное формирование на “низком уровне”. Например можно ли научить глаза видеть так же хорошо вдали, как и вблизи?

“Первым решающим этапом, согласно инструкциям Рона, было закрепление сигнала «сейчас получишь корм».”

Надо ли при формировании своего поведения связывать щелчок кликера с безусловным (пищевым?) подкреплением, или достаточно сказать себе, что щелчок это и есть подкрепление?

Что собственно формируется?

Формируется подсознательный навык "дрессировщика". "Дрессировщик" это человек, который непроизвольно стремится преобразовать поведение других людей:
-- за счет "позитивного" на них воздействия
--при этом от "отмеряет" позитивные воздействия очень маленькими порциями
--при этом он очень точно выдает эти порции поощрения как раз в тот момент, когда он получает элемент нужного ему поведения

4. С самого начала и по мере хода диалога Чарли может заметить, что Алиса как-то мгновенно и удачно произносит слова/междометия/возгласы одобрения. Как раз в тот момент (или немедленно сразу после) когда Чарли проявил какую-то конструктивную активность.
(Это признак того, что Алиса технично владеет оперантным формированием по Б.Ф. Скиннеру. Еще это значит, что Алиса либо обладает развитой осознаной наблюдательностью и сама заметила четкий паттерн оперантного формирования присущий всем демонстрациям классиков/авторов НЛП, либо обладает творческой интуицией и непроизвольно скопировала и воспроизводит этот паттерн. )
http://community.livejournal.com/openmeta/39946.html?thread=464906#t464906

При чтении книги я подумал о том, для чего применяется оперантное формирование:
1. Большая часть книги посвящена дрессировке, при которой закреплялись и "приводились под стимульный контроль" элементы обычного поведения. Для человека это, наверно, избавление от вредных и приобретение полезных привычек, обучение новым видам деятельности по известным алгоритмам, улучшение качества того, что человек уже умеет. В этой книге и в “Собаке” на эту тему много информации.

Да.

2. Про вторичное обучение – всего одна глава. Является ли творчество дельфинов аналогом творчества у людей?

Да.

Переносим ли метод творческой дрессировки, случайно найденный КП для дельфинов на людей?

Да.

3. И работает ли оперантное формирование на “низком уровне”. Например можно ли научить глаза видеть так же хорошо вдали, как и вблизи?

Да, при условии что в вашем распоряжении будет некая "вариация" четкости видения.

--“Первым решающим этапом, согласно инструкциям Рона, было закрепление сигнала «сейчас получишь корм».”
--Надо ли при формировании своего поведения связывать щелчок кликера с безусловным (пищевым?) подкреплением, или достаточно сказать себе, что щелчок это и есть подкрепление?

Считается, что у человека многие вторичные/третичные и пр. рефлексы формируются и без подкрепления. Но, критерий истины - практика.

Подкрепление - это то что увеличивает веротность формируемого поведения, поэтому подкрепление срабатывает по-определению. Отрывок перевода про подкрепление и что является подкреплением http://anglerhood.livejournal.com/178339.html
С практической точки зрения, подкреплять себя удобнее не пищей, а глотательным движением. Так получается эффективнее и полезнее для фигуры :) Причем, это только один из тысяч способов самоподкрепления и он не всегда подходит, например, при игре на барабанах глотание сбивает меня с ритма и я использую простое "ага!" или отдых.

Однажды на званом обеде я пожаловалась профессору Гарвардского
университета доктору Эрнсту Ризу на то, что никак не найду способа
фиксировать все происходящее во время сеанса дрессировки иначе, чем в
словесной форме. По-видимому, эта проблема вообще неразрешима, вздохнула я.

Эрни рассказал мне про прибор, который называется "фактографом", а затем
самым любезным образом одолжил мне его. Эта любопытная машинка непрерывно
прокручивает на одной скорости бумажную ленту под двадцатью малюсенькими
перьями, которые выписывают двадцать тоненьких линий.
К машинке присоединяется пульт с двадцатью кнопочками. При нажатии на
кнопку соединенное с ней перо делает на линии маленький зубец. Поль Бэккас,
институтский дрессировщик, и я попробовали использовать этот прибор для
записи сеансов дрессировки одного дельфина. Первый ряд кнопок
мы отвели под возможные действия дрессировщика: включает сигнал,
выключает сигнал, свистит, дает рыбу, отходит от бортика и тому подобное.
Остальные ряды были посвящены возможным действиям дельфина - поведенческим
элементам, которые с ним отрабатывались,
и дополнительным действиям (ест рыбу, плещет водой, меняет направление
и т.п.).
Мы провели три таких сеанса. Поль быстро научился точно нажимать нужную
кнопку. Просматривая бумажную ленту после сеанса, мы убедились, что зубчики
рассказывают о множестве вещей, которые в горячке сеанса остались
незамеченными: например, что при команде повернуть направо животное каждый
раз чуть-чуть замедляло движение или что свисток чуть-чуть запаздывал. Вот
зубчик на линии там, где животное выполнило то, что от него требовалось, а
вот зубчик поощрительного свистка -
не точно над первым, а немного дальше. Ленту протащило на сантиметр с
лишним, то есть животное получило поощрение заметно позже своего действия.
Зубчики образовывали определенные системы, их повторяющиеся группы
указывали, что незаметно для нас у животного выработалась поведенческая цепь
и оно дает три ответные реакции подряд независимо от того, какие команды или
другие реакции вторгаются между ними! Поразительно!

Спасибо за "http://anglerhood.livejournal.com/178339.html". Получается что:
1. Глотательное движение это подкрепление того же типа, что и еда, и тогда полезна депривация. Например, делать какие либо упражнения надо в состоянии голодном, жаждущем и т.д.
2. Щелчек кликера это скорее генерализованный подкрепитель, который “обменивается” на удовлетворение от результатов упражнения, на одобрение окружающих или на что либо еще.

Спасибо за "http://anglerhood.livejournal.com/178339.html". Получается что: 1. Глотательное движение это подкрепление того же типа, что и еда, и тогда полезна депривация. Например, делать какие либо упражнения надо в состоянии голодном, жаждущем и т.д. 2. Щелчек кликера это скорее генерализованный подкрепитель, который “обменивается” на удовлетворение от результатов упражнения, на одобрение окружающих или на что либо еще.

Тогда, надо так. По полному профилю сделать вариабельную связь между подкреплением глотательным движением (без реальной пищи) и кликером. Далее работать с кликером.

Спасибо за "http://anglerhood.livejournal.com/178339.html".
Пожалуйста, я еще другие главы из первой части переводил, в моём журнале рядом с этим постом.

Получается что: 1. Глотательное движение это подкрепление того же типа, что и еда,
Я думаю, что глотательное движение подкрепляется ощущением еды/воды во рту. То есть тут имеет место опосредованное подкрепление.

и тогда полезна депривация. Например, делать какие либо упражнения надо в состоянии голодном, жаждущем и т.д.
тут будет уместнее говорить о проголодавшемся вместо голодным, и слегка испытывающим жажду вместо жаждущем. Сильная депривация будет снижать эффективность.

Щелчек кликера это скорее генерализованный подкрепитель, который “обменивается” на удовлетворение от результатов упражнения, на одобрение окружающих или на что либо еще.
Я не знаю на что "обменивается" подкрепитель и "обменивается" ли он вообще на что либо. Это и не нужно знать для того, что бы применять оперантное формирование. Пытаясь узнать, почему же срабатывает подкрепитель вы пытаетесь заглянуть внутрь "чёрного ящика", что нарушает один из основыных принципов оперантного формирования, и вы начинаете заниматься психоанализом вместо этого.
С точки зрения оперантного формирования вы можете только наблюдатью Можно ли наблюдать как продкрепитель "обменивается" на удовлетворение? Я в этом сильно сомневаюсь. Так что я рекоммендую сместить фокус внимания с размышлений о том, почему подкрепитель подкрепляет, на поиск того, что подкрепляет интересующее вас поведение.

Играли с помощью степлера в ээ тут надо придумать какое-нибудь название для стандартной игры :) Типа там «Дрессировщики» :)

Переоткрыли принципы ОФ — чётко различимый сигнал, сигнал даётся во время действия (если после, то поощряется УХОД от цели), и т.д. и т.п. Самоотчёт с роли Исполнителя/субъекта типично — это сам Исполнитель решил задачу. При этом Исполнитель не понял, что за задача была. Если ему не рассказать, так и не поймёт, что же он решил. Со стороны Дрессировщика, если давать сигнал прямо точно-точно и сразу же в первый момент приближения, задание казавшееся сложным выполняется в эталонные десять кликов и две с половиной минуты. Со стороны Наблюдателя заметно, что стоит Дрессировщику проморгать промежуточный рубеж в выполнении комплексного задания (не дать сигнал) — Исполнитель начинает бродить кругами, сходя с "рельс"/пути модели выполнения задания.

За пару дней прошли сложности задач начиная от "взять в руки бутылку", продолжая "сесть за комп и нажать Пуск" (хаха, человек на роли Исполнителя вырубил комп сразу же, задачка в этот момент для Дрессировщика превратилась из простой в весьма занимательную), заканчивая "поднять дротик с пола и попасть с расстояния не менее чем вот отсюда и не меньше чем в семёрку" (в промежутке где-то были "отжаться от пола" и т.п.). Потом вместо Наблюдателя начали играть с двумя Дрессировщиками и двумя разными сигналами (и двумя независимыми заданиями, которые Исполнителю надо выполнить в любом порядке). Прошли всего 1 или 2 захода по трём ролям в таком раскладе, но, предположительно, стратегия Исполнителя — забить на второй сигнал, двигаясь только по одному. Но при этом второй сигнал его в фоне уже обучает/готовит к следующему заданию.

Заметили, что игра развивает вариабельность поведения и у Исполнителя, и у Дрессировщика. Ну, это разная какая-то вариабельность. У Исполнителя прямая двигательная, а у Дрессировщика вариабельность путей достижения цели. Если Дрессировщик представил себе один путь и игнорирует приближение Исполнителя к его (Дрессировщика) цели другим путём — достижение цели затягивается. Дрессировщику надо как бы выискивать среди общего набора случайной активности Исполнителя в данный момент времени тот квант, который ведёт к загаданной цели (а он всегда есть).

Наблюдая за Дрессировщиком, можно заметить наряду с эталонным договорённым сигналом "~теплее" (щелчок) невербальные сигналы "очень холодно", "холодно" и "горячо", подаваемые без использования кликера.

Поговорили о применении ОФ в жизни. Я рассказал о применении в качестве стимула_ОФ конвенциальных сигналов, привёл пару историй из книг по ОФ. Возник вопрос. Если мы заранее договорились об использовании щелчка в качестве поощрения в этом упражнении, то мы могли заставить сделать друг друга с помощью ОФ почти всё что угодно. Будут ли также эффективны конвенциальные сигналы?

Обсудили возможность применения ОФ в повседневной коммуникации. Обсудили пользу от выполнения игры по трём ролям.