ОперантноеФормирование

side_effect 29 апреля 2005, 10:51 в Openmeta (оригинал в ЖЖ)

некоторое время назад между мной, с одной стороны, и agens сотоварищи с другой, возник спор об ОперантномФормировании, или, говоря бытовым языком, о дрессировке. вообще, конечно, понятие ОФ шире, оно является одним из видов коммуникации. цель ОФ состоит в том, чтобы субъект выполненил задуманное оператором определенное действие или последовательность действий. предметом спора была оптимизация собственно процесса. agens утверждал ( со ссылками на Карен Прайотт ), что самым эффективным методом является наличие положительного подкрепления, в случае выполнения субьектом полностью или частично желаемого поведения и полное отсутствие к-л реакции оператора на поведение нежелательное. определенный смысл в таком способе, безусловно, есть, но дело в том, что он далеко не всегда является оптимальным. так как ОФ является коммуникацией, то процесс ОФ является процессом обмена информацией. обычно цель ОФ достигается довольно медленно. это происходит из-за того, что субъект не может сразу понять, чего именно от него хотят. фактически, субъект своими действиями задает оператору вопрос, а тот положительным подкреплением отвечает на него "да", а отсутствием подкрепления - "нет". таким образом, задача субъекта сводится к бинарному поиску правильного ответа. как и любая бинарная коммуникация, Положительно-Нейтральное Подкрепление является достаточно надежным каналом ( в плане однозначности интерпретации субъектом информации от оператора ) передачи информации. обратная сторона медали - узость этого канала. как правило, должно пройти достаточно большое количество итераций, чтобы субъект начал уверенно демонстрировать требуемое поведение.

---

другим существенным недостатком этого метода является то, что из всего множества возможных состояний субъекта лишь несколько являются звеньями искомой цепочки состояий. поэтому субъекту обычно приходится действовать методом перебора, в ожидании положительного подкрепления. если бы к-л образом удалось достичь соотношения положительного подкрепления и его отсутствия как 1:1, то это бы существенно ускорило процесс.

---

можно пойти другим путем - увеличить информационную емкость канала, например, путем введения дополнительно Отрицательного Подкрепления ( ОП ). полученный таким образом троичный поиск значительно сокращает количество итераций - теперь субъект в состоянии заведомо определить, в каком направлении ему идти не следует. ( конечно, и в этом случае тоже желательно, чтобы все три ответа оператора по частоте употребления находились в одинаковой пропорции, и здесь у оператора остается больше свободы в выдаче различных подкреплений, чем в случае Положительно-Нейтрального ОФ ). однако на практике, при применении Троичного ОФ следует иметь ввиду некоторые его особенности.

---

1) так как субъект коммуницирует с оператором, то и способы подкрепления ассоциируются у него с оператором. поэтому, если ОП для субъекта будет слишком болезненным, то он может связывать такое подкрепление не с собственными действиями, а с личностью оператора, что приведет, в лучшем случае, к снижению эффективности коммуникации, а в худшем - к полной потере контакта. именно по этой причине Прайор обычно применяла Положительно-Нейтральное ОФ. однако, зная этот механизм, можно избежать указанных неприятных последствий. например, диссоциировав ОП от личности оператора - сделать так, чтобы оно производилось обезличенными элементами окружающей среды.

---

2) в случаях, когда от субъекта требуется вариативность поведения, ОП, как правило, мешает. здесь все просто - субъект, при попытках найти правильное поведение, пробует различные варианты, на некоторых из них натыкается на ОП и может сделать вывод, что "лучше особо не рыпаться". эта проблема тоже в некоторой степени преодолима, если вспомнить, что ОП не обязательно должно быть болезненным. ведь суть ОП заключается не в том, чтобы причинить субъекту боль, а в том, чтобы направить поиск в нужное русло.

---

таким образом, Троичное ОФ, при правильном применении, может довольно существенно повысить скорость процесса ОФ. в принципе, если и дальше повышать количество возможных ответов оператора, то можно добиться дальнейшего повышения эффективности. ограничением здесь является способность субъекта к правильному пониманию выдаваемой оператором информации ( априори полагаем, что оператор "умнее" субъекта ). вырожденным случаем ОФ является прямая просьба оператора на человеческом языке "сделай то-то и то-то". понятно, что к большинству животных такой подход неприменим.

---

также различные субъекты могут по-разному реагировать на способы подкрепления, точнее, на мотивацию, которая затрагивается такими способами. у высокоогранизованых животных, выступающих в качестве субъектов, приоритеты часто смещаются в сторону менее материальных вещей, типа игры или даже просто общения с оператором. в таких случаях и ОП должно иметь гораздо более мягкие формы выражения.