Скиннеровское моделирование (10) Karen Pryor «Don't shoot the dog!»

Простите, вы хотели обсудить в данной теме некие цитаты из книга/автора. А свелось все к указанию на некие "свободные источники", которым мы как первоочередным делом в метапрактике не занимаемся. Т.е. на фоне интенсивного рабочего обсуждения это еще как-то допустимо. Типа в пылу полемики.

Да-да, понимаю. Простите. Я скоро начну выписывать. Могу удалить все ссылки, привел их только для точности. Мол все же только перевод используется и в нем могут быть искажения смысла, внесенные переводчиком.

можно и так, но насколько я понимаю, тексты Прайор, не смотря на то, что пишет она хорошо, не содержат той магической компоненты, которую можно найти у БиГов. поэтому не вижу большого смысла все с оригиналом давать. только в некоторых ситуациях, когда интересен буквалисткий взгляд уместно привести цитату на английском.

Эта книга о том, как обучать кого угодно: человека или животное, старого или молодого, самого себя или других - и чему угодно. Как добиться, чтобы кот спрыгнул с кухонного стола, а бабушка перестала ворчать; как управлять поведением домашних животных, детей, начальства и друзей; как улучшить свои достижения в теннисе, гольфе, математике, развить память? Все это можно достичь, используя принципы обучения с подкреплением.
...
Законы подкрепления просты: их можно за десять минут записать на школьной доске и за час выучить. Применение их в основном зависит от ситуации, обучение с подкреплением подобно игре, в которой надо быстро соображать. Каждый может быть тренером, но некоторые от природы способны к этому больше, чем другие. Вам вовсе не обязательно отличаться каким-то особым терпением, быть сильной личностью, не требуется и особого подхода к детям и животным, можно не обладать и тем, что цирковой дрессировщик Франк Бук называет силой человеческого взгляда.

Хочется отметить, что Прайор с первых слов задает такие вот ~хорошие пресуппозиции.

Фраза про «человеческий взгляд» Франка Бука заинтересовала мое внимание. И я заглянул в оригинал:

«You do not need special qualities of patience, or a forceful personality, or a way with animals or children, or what circus trainer Frank Buck used to call the power of the human eye. »

Может быть Бук говорил что-то более конкретное, что может оказаться подходящим материалом для моделирования.
А Франк Бук, видимо, это вот это человек: http://en.wikipedia.org/wiki/Frank_Buck_(animal_collector)

Основа этой теории по разным источникам известна как модификация поведения, теория подкрепления, оперантное обусловливание, бихевиоризм, психология поведения и т.д.; это тот раздел психологии, который принес мировую известность Б.Ф.Скиннеру, профессору Гарвардского университета.

Существуют два вида подкрепления: положительное и отрицательное.
Положительное подкрепление - это нечто, желаемое субъектом: пища, ласка или похвала. Негативное подкрепление - это то, чего субъект хотел бы избежать: шлепок, нахмуривание бровей, неприятный звук (предупреждающий зуммер в машинах, который раздается, если вы забыли пристегнуть ремень безопасности, - это отрицательное подкрепление).

Тут очевидно можно провести параллель между ОФ и мотивацией. Отрицательное ОФ — отрицательная мотивая; положительное ОФ - положительная мотивация. И еще одним моментом, который похожи — это подкрепление при осуществление какой-то длительной программы поведения. В «Используй свой мозг» Бэндлер выявляется стратегию мотивации одной женщины, и она говорит, что испытываю небольшую часть приятного переживания, которое ожидает ее в конце, при завершении каждого небольшого шага.
Отсюда вопрос — не является ли предпочитаемая стратегия мотивации в какой-то степени отражение того, как именно происходило воспитание/выработка поведения.
Например, кого-то в школу заставляют идти, заставляют учится, грозясь наказанием. А кому-то больше везет, их хвалят, ими гордятся. И эти уроки для кого-то становятся решающими в их дальнейшей жизни.

Как уже говорилось, подкрепление должно совершаться в связи с действием, которое предполагается видоизменить. Подкрепление - это информация. Оно говорит субъекту, что именно вам нравится. Когда субъект пытается обучиться, информационное содержание подкрепления становится важнее самого подкрепления. В тренировке спортсменов или при обучении танцоров именно восклицания инструктора "Да!" или "Хорошо!", отмечающие нужное движение, а не разбор тренировки или репетиции в раздевалке дают требующуюся информацию.

Я вот думаю, а человека ведь можно дать подкреплении в большинстве случае и чуть позже. Конечно, когда речь идет как в примерах о танце или спорте, то, вероятно, единственный момент поощрить какое-либо отработаваемое действие — это в тот же после его совершения. Но если речь идет о том, чтобы подкрепить не какое-то конкретное действие, а более сложную программу поведения, например, возьмем тот же спорт, тренировку, то подкрепление можно дать, похвалив не тут сразу прямо после окончания тренировки, а позже. Конечно, и тут, наверное, ценность подкрепления может угаснуть если пройдет достаточное количество времени. Но я думаю, что закономерность такая — чем сложнее и длиннее программа поведения, тем на более поздний срок можно отложить подкрепление. Ну, например, человек готовился-готовился к экзамену и сдал его. Необязательно же сразу ему сообщаться какой он молодец. Это можно сделать и через неделю. И более того потом еще несколько раз похвалить его. Не уверен еще в качестве своего примера, ведь, конечно, тут сам сдача экзамена может быть и чаще всего будет подкреплением.

Мы всегда слишком запаздываем, подкрепляя друг друга. "Послушай, дорогая, вчера вечером ты выглядела замечательно", - звучит совсем не так, как та же фраза, сказанная вовремя. Отсрочка подкрепления может даже оказать вредное воздействие ("А что, разве я сейчас не выгляжу замечательно?"). Мы свято верим, что сила слов перекроет ошибки во времени подкрепления.

И тут как раз я думаю, что если быть достаточно искуссным коммуникатором, то можно поведение, указанное в данном примере, подкрепить и на следующий день. Только не в лоб так говорить, а грубо говоря, сначала получить доступ к тому вчерашнему переживанию и затем уже похвалить.
Так что может Прайор и права в общем, что сила слов не может исправить ошибки во времени подкрепления, но в данном примере эта сила все-таки недооценена.

Слишком раннее подкрепление тоже неэффективно.
...
Мне кажется, что иногда и детей мы подкрепляем слишком рано, находясь под ложным впечатлением, будто мы их подбадриваем ("Молодец, хорошо, ты уже почти все сделала правильно"). Возможно, при этом мы подкрепляем попытки. Но существует разница между попыткой сделать что-то и выполнением этого. Причитания типа "я не могу" иногда отражают фактическое положение вещей, но они могут являться и признаками того, что часто подкреплялись просто попытки. Вообще, подкрепление поведения, которое еще не совершилось, - подарками, обещаниями, комплиментами или чем-нибудь в этом роде - ни капельки не подкрепляет это поведение. Если что-то и подкрепляется, так это поведение, совершающееся в данное время: верояшве всего - выпрашивание подкрепления.

Вот это заставило меня задуматься. Как бы провести грань между создание мотивации у человека, приободрении и слишком ранним подкреплением. Может быть мои теплые слова подкрепляют в человеке, как раз то, чего бы я не хотел, и он даже он не хотел. Меня и раньше терзали такие сомнения, но тут они облечены в форму, с которой можно поработать.

Для того чтобы поддерживать уже выученное поведение нa определенном уровне надежности, не только не надо подкреплять его все время, а даже, наоборот, следует прекратить регулярные подкрепления и перейти на эпизодическое использование подкрепления, подаваемого в случайном и непредсказуемом порядке. Это и есть то, что психологи называют вариабельным режимом подкрепления. Вариабельный режим гораздо более эффективен для поддержания поведения, чем постоянный, предсказуемый.

Настолько важная идея, что хочется ее просто выписать. Совершенно не понятно, почему это должно работать, но не доверять и смысла не вижу. Подумать, как это можно использовать в самоподкреплении.

Действенность вариативного подкрепления лежит в основе всех азартных игр. Если каждый раз, опустив в автомат 5 центов, будете получать десять, то скоро вы потеряете к этому интерес.

В сервисы социальных сетей тот же механизм присутствует. Народ даже сообразил: «Vkontakte, как холодильник - знаешь что ничего нового нету, но 5 раз зайдёшь и проверишь.»

Условное подкрепление представляет собой какой-либо изначально ничего незначащий сигнал - звук, свет, движение - который умышленно связывают с подачей подкрепления.
...
Наша жизнь изобилует условными подкреплениями. Нам нравится слышать, как звонит телефон или видеть набитый почтовый ящик, даже если половина звонков неинтересна и большая часть корреспонденции - утиль, потому что множество случаев научили нас связывать звонок или конверт с хорошим. Нам нравится рождественская музыка, и мы ненавидим запах зубного кабинета. Мы храним окружающие нас вещи - картины, посуду, трофеи - не потому, что они красивы или полезны, а потому, что они напоминают нам о временах, когда мы были счастливы, или о людях, которых мы любили. Они представляют собой условные подкрепления.

Ну из этого описания хорошо видно, что условное подкрепление — это определенного вида якорь. Как назвать переживание, которое якорится, и если в этом смысл, я сходу не соображу.

Практически дрессировка животных с использованием положительного подкрепления почти всегда должна начинаться с выработки условного подкрепления. Прежде чем начать выработку поведения как такового, пока субъект еще ничего особенного и не делает, вы учите его понимать значимость условного подкрепления, сочетая его с пищей, поглаживанием или другим истинным подкреплением.

Угу. Дрессировка животного начинается с установки определенного вида якоря.

Как только вы выработали условное подкрепление, вы должны пользоваться им осторожно, не разбрасывать без толку, иначе его сила уменьшится.

Как и в случае с якорением? Или подождите, ведь якорь может быть типа самоподкрепляющимся? Хотя, кстати, вроде никаких закомерностей на этот счет нигде не указано.

Я вот думаю, а человека ведь можно дать подкреплении в большинстве случае и чуть позже. Конечно, когда речь идет как в примерах о танце или спорте, то, вероятно, единственный момент поощрить какое-либо отработаваемое действие — это в тот же после его совершения. Но если речь идет о том, чтобы подкрепить не какое-то конкретное действие, а более сложную программу поведения, например, возьмем тот же спорт, тренировку, то подкрепление можно дать, похвалив не тут сразу прямо после окончания тренировки, а позже.

Так и дельфина ведь поощряют "дважды":
— прямо во время правильного действия щелчком
— потом — рыбкой, в общем количестве пропорциональном сумме щелчков

а более сложную программу поведения, например, возьмем тот же спорт, тренировку, то подкрепление можно дать, похвалив не тут сразу прямо после окончания тренировки, а позже.

Мне кажется, тут всё-таки продолжает действовать главное правило ОФ — подкрепляется всё без задержки. В таком случае правильно задать вопрос — а что конкретно так подкрепляется?

Может типа какие-то отсроченные процессы развития силы/ловкости и т.п., которые после тренировки прямо в момент подкрепления проходят в теле.

Конечно, и тут, наверное, ценность подкрепления может угаснуть если пройдет достаточное количество времени. Но я думаю, что закономерность такая — чем сложнее и длиннее программа поведения, тем на более поздний срок можно отложить подкрепление.

Чем сложнее и длиннее программа — тем большее в ней скрытых шагов, которые будут идти уже после "официального" окончания. Они и будут подкрепляться.

Ну, например, человек готовился-готовился к экзамену и сдал его. Необязательно же сразу ему сообщаться какой он молодец. Это можно сделать и через неделю. И более того потом еще несколько раз похвалить его. Не уверен еще в качестве своего примера, ведь, конечно, тут сам сдача экзамена может быть и чаще всего будет подкреплением.

Поощрение, скажем, позитивных воспоминаний, связанных со сданным экзаменом. Или продолжающей фоном идти обработки знаний, связанных со сданным предметом. Или ещё чего вроде того.

Я что-то совершенно не обратил внимание на этот момент.
Но здесь я не имел в виду, что человека поощряют «дважды». Я скорее говорю о разных уровнях поощрения: подкрепление конкретного элемента, подкрепление цепочки элементов, подкрепление всего занятий. И чем более масштабно поведение, т.е. дольше по времени, тем на более длительный срок можно отложить подкрепление.

Конечно можно искуссно владеть ОФ на одном сигнале подкрепления и тем самым решать поставленную задачу/проблему. Типа не выдавать подкрепления слишком часто. Сложность должна со временем расти. Подкреплять реальное продвижение.

Но может поставленная тобой задача уже решена типа в компьютерных играх за рамками описываемой Карен модели ОФ. Там используются вложенные циклы активности-и-подкреплений. Шаги подкрепляются одним стимулом, а завершение всего действия другим.

[(1* 2* 3*)* (4* 5* 6*)* (7* 8* 9*)*]*

Цифрами обозначены отдельные шаги, разным цветом звёздочек — разные стимулы подкрепления.

Ты говоришь, похоже, о том же что я только что описал:
http://community.livejournal.com/metapractice/281369.html?thread=6209049#t6209049 :)

Я скорее говорю о разных уровнях поощрения: подкрепление конкретного элемента, подкрепление цепочки элементов, подкрепление всего занятий. И чем более масштабно поведение, т.е. дольше по времени, тем на более длительный срок можно отложить подкрепление.

Но в любом случае чтобы всё это имело смысл, надо предполагать что "действие" типа экзамена не оканчивается сдачей экзамена. Или нет? А мы продолжаем подкреплять какую-то продолжающуюся на тему/связанную с "экзаменом" (м.б. уже отдалённо-ассоциативно) активность. Это не "отложенное подкрепление" уже давно сданного экзамена, это прямо точно-вовремя подкрепления чего-то другого, что следует за сдачей экзамена.

Ты говоришь, похоже, о том же что я только что описал:
http://community.livejournal.com/metapractice/281369.html?thread=6209049#t6209049 :)
:) Ну да, программы-подпрограммы.

Но в любом случае чтобы всё это имело смысл, надо предполагать что "действие" типа экзамена не оканчивается сдачей экзамена. Или нет?
Ага. Под подкрепление после сдачи экзамена подразумевалось, что подкрепляется достаточное изучение предмета.

А мы продолжаем подкреплять какую-то продолжающуюся на тему/связанную с "экзаменом" (м.б. уже отдалённо-ассоциативно) активность.
Ну почему отдаленную активность. Прямо связанную — изучение предмета или даже более широко — образование.

Это не "отложенное подкрепление" уже давно сданного экзамена, это прямо точно-вовремя подкрепления чего-то другого, что следует за сдачей экзамена.
Хм. Вот учился я, учился. Меня за сидение за книжками подкрепляли. Потом я сдал экзамен. Меня похвалил — и я типа чувствую какой я молодец, что учусь. Вообще, пожалуй, тут такое сложное поведение как обучение, что совершенно не понятно, где его начало, а где конец. Тогда да, можно сказать, что подкрепление спустя время после экзамена — будет подкреплением какого-то текущего поведения, которое имеет место быть, но не прямо сейчас.

Как назвать переживание, которое якорится, и если в этом смысл, я сходу не соображу.

М.б. в этом месте и нет смысла заглядывать в чёрный ящик. Даже обычный первокодовый гипноякорь должен якорить ДЕЙСТВИЯ. Для субъекта по приколу, что у него изменились внутренние ощущения/переживания приятным ему путём. Но оператор должен убедиться, что вместе с тем и изменились внешние действия, в которые субъект будет автоматически вовлечён в прежде проблемном контексте.

Вроде где-то метанимус писал близкое/подобное (сорри если переврал :) ). Там было написано что-то вроде: после стандартной интеграции якорей, когда субъект попадает в прежде проблемный контекст, происходит что-то вроде повторной реинтеграции якорей, которая сопровождает/вызывает выбор оптимального поведения.

--Но в любом случае чтобы всё это имело смысл, надо предполагать что "действие" типа экзамена не оканчивается сдачей экзамена. Или нет?
Ага. Под подкрепление после сдачи экзамена подразумевалось, что подкрепляется достаточное изучение предмета.
--А мы продолжаем подкреплять какую-то продолжающуюся на тему/связанную с "экзаменом" (м.б. уже отдалённо-ассоциативно) активность.
Ну почему отдаленную активность. Прямо связанную — изучение предмета или даже более широко — образование.

Согласен.

--Это не "отложенное подкрепление" уже давно сданного экзамена, это прямо точно-вовремя подкрепления чего-то другого, что следует за сдачей экзамена.
Хм. Вот учился я, учился. Меня за сидение за книжками подкрепляли. Потом я сдал экзамен. Меня похвалил — и я типа чувствую какой я молодец, что учусь. Вообще, пожалуй, тут такое сложное поведение как обучение, что совершенно не понятно, где его начало, а где конец. Тогда да, можно сказать, что подкрепление спустя время после экзамена — будет подкреплением какого-то текущего поведения, которое имеет место быть, но не прямо сейчас.

Это не очень понял :)

Это не очень понял :)
Я тоже :). Пытался интегрировать твою мысль. Посмотреть на все, исходя из акцентируемых тобой вопросов. Но что-то с ходу не получилось. Попробую в скором времени более формально подойти к описанию поведения. Надеюсь, что удастся адекватно разбить на шаги и тогда будет более проще и понятнее прикинуть.

Как и в случае с якорением? Или подождите, ведь якорь может быть типа самоподкрепляющимся? Хотя, кстати, вроде никаких закомерностей на этот счет нигде не указано.

А какой якорь "самоподкрепляется"?

— Есть типа якорь на кванты невербальной активности (например, на КГД). Он не будет "самоподкрепляться", насколько я понимаю. В том смысле что если ты слишком мало устанавливал якорь на одно движение КГД и начал его преждевременно утилизировать на другом, то в итоге он станет типа такой смесью двух, вместо того чтобы вызывать чётко первое.
— Есть якорь на кванты вербальной активности. Он, аналогично, не будет "самоподкрепляться".
— Есть типа интерфейсы ДХЕ вроде "выключателей" и "кнопок". М.б. они в какой-то мере "самоподкрепляются".
— Есть гипно-якорь в стиле первого кода. М.б. он в какой-то мере "самоподкрепляется".

т.е стиль мотивации определяется стилем стилей стратегий покрепления к тем или иным действиям в детстве. но вопрос: что же приводит к использованию взрослым того или иного стиля подкрепления из детства для реализации мотивации взрослой жизни?

это
1. незнание другого паттерна?
2. организация некоторых факторов (теже транзактные игры) так чтобы поддерживать предпочтительный для дества паттерн?
3. или иное?

Я вот думаю, а человека ведь можно дать подкреплении в большинстве случае и чуть позже.

достаточно сомнительное утверждение?..или нет?

т.е. понимаю, ты выводил его из того, что подкрепление действия в точный момент позволяет из той же иконографической памяти вытянуть действие, на которое человек не обращал внимание, но которое важно в данном обучении. или просто для организма точно определить желательное действие. т.е. мы имеем некий набор внутренних процессов, которые нужно модифицировать путем выделения некоторой части и увеличения ее значимости. в то же время, мышление не относится к таким ненаблюдаемым внутреним процессам, но желательное мышление вполне может основыватся на внутрених процессах, которые нужно переформировать используя подкрепление по точному времени. или если не основывается на внутренних процессах, но тогда оно является той же частью мотивации. во втором случае имеет смысл работать с процессами мотивации. но такие процессы опять же внутренние, и опять же для их переформирования нужно точное по времени подкрепление.

Но я думаю, что закономерность такая — чем сложнее и длиннее программа поведения,

для цепочек поведения, в начале подкрепляется последнее действие, потом подкрепляется предпоследнее действие и последнее, и т.д. ты же говоришь лишь о подкрепление, допустим, нахождения в раздевалке. полезно для мотивации (подкрепления мотивации как некоторого процесса) и бесполезно для подкрепления конкретной цепочки действий.

Ну, например, человек готовился-готовился к экзамену и сдал его. Необязательно же сразу ему сообщаться какой он молодец. Это можно сделать и через неделю.

ИМХО ОФ работает с конкретными внутренними процессами. поэтому следует различать подкрепление некоторых стратегий/процессов и подкрепление той же мотивации (как процеса мотивации) для реализации сознательных действий. имхо сознательные действия не определяются ОФ. т.е. да можно заставить преподавателя вести лекцию из угла лекционного помещения, но если преподаватель получит информацию, что наиболее эффективное обучение можно вести с кафедры, то он просто примет решение и пойдет туда.

Мы всегда слишком запаздываем, подкрепляя друг друга. "Послушай, дорогая, вчера вечером ты выглядела замечательно", - звучит совсем не так, как та же фраза, сказанная вовремя. Отсрочка подкрепления может даже оказать вредное воздействие ("А что, разве я сейчас не выгляжу замечательно?"). Мы свято верим, что сила слов перекроет ошибки во времени подкрепления.

ОФ связано с текущими процессами. на данный момент высказывания благодарности в примере женщина осознает, что оно выглядит обычно. далее мужчина говорит, что вчера она выглядела отлично, как результат осознание, что сейчас она выглядит хуже чем вчера.

ИМХО очень точная метафора от Карен Прайон.

--Возможно, при этом мы подкрепляем попытки...
--Вот это заставило меня задуматься...

опять же можно вспомнить формирование цепочек действий, подкрепление частичного правильного действия. вот здесь возникает вопрос, а что будет это частично правильное действие в комплексных ситуациях(?) (не в ситуациях когда мы, например, подкрепляем голубя подойти к нужной точке, там все просто -- частично правильное действие это: 1 -- поворот головы в нужно направление; 2 -- движение в нужном направлении; 3 -- увеличение скорости движения в нужном направлении; и очень сложный момент получения окончательного вознаграждения при достижении точки (хотя нужно еще подкрепить остановку на нужном месте)).

Так и дельфина ведь поощряют "дважды":
— прямо во время правильного действия щелчком
— потом — рыбкой, в общем количестве пропорциональном сумме щелчков

правда одно поощрение (один тип) используется для формирование поведения, другой для его поддержания, как подкрепление всего комплексного поведения.

хорошо нейронная сеть реагировала бы следующим образом.
1. она научалась, что есть некий желатеьный исход для каждого из шагов
2. научалось понимать, что некий блок окончен

но 2 не значит, что оно как-то связано с 1 (по заданным условиям) это просто некоторое деление. если по 1 задания лесенкой увеличивают сложность, а по 2 сложность очередного шага будет чуть падать, то 2 будет связан с тем, что следующий шаг будет проще. но по данным условиям 2 никак не определяет подкрепление цепочки шагов 1.

Там было написано что-то вроде: после стандартной интеграции якорей, когда субъект попадает в прежде проблемный контекст, происходит что-то вроде повторной реинтеграции якорей, которая сопровождает/вызывает выбор оптимального поведения.

не скажу за metanymous-а :))

но весьма полезно для реализации терапевтического процесса обучать клиента реагированию на проблемную ситуацию. и да, интеграция якорей формирует процесс, который будет/должен и реинтегрировать выбор и в реальных ситуация, с которыми будет сталкиваться клиент.

Я скорее говорю о разных уровнях поощрения:

да откуда этим уровням возникнуть? имхо в ОФ подкрепляется некий внутрений процесс. а вот уже значимость этих процессов и может определять "уровень". но для самого ОФ нет уровней, есть только внутренние процессы.

--Я скорее говорю о разных уровнях поощрения:
--да откуда этим уровням возникнуть?

Всё что кто угодно делает сгруппировано во вложенные циклы.

имхо в ОФ подкрепляется некий внутрений процесс.

но Скиннер-то как раз не заглядывал внутрь "чёрного ящика" :)

а вот уже значимость этих процессов и может определять "уровень".

в обсуждаемом случае значимость создаётся ээ искусственно системой сигналов поощрения

но для самого ОФ нет уровней, есть только внутренние процессы.

для самого ОФ нет никаких внутренних процессов, есть только внешнее поведение

для цепочек поведения, в начале подкрепляется последнее действие, потом подкрепляется предпоследнее действие и последнее, и т.д.

для цепочек поведения ПО ХОДУ ИХ ИСПОЛНЕНИЯ подкрепляется сначала первое действие, потом второе и т.д. вплоть до последнего за которое выдаётся самое ээ "сильное" поощрение. если первое действие не подкрепляется субъект не вовлекается в цепочку.

Если я правильно понял, вы говорите о том, что можно с помощью ОФ подкреплять некие подсознательные процессы ("внутренние процессы" — на самом деле мы можем подкреплять лишь внешние сигналы/проявления этих процессов), которые уже дальше сами по себе приведут к нужным действиям.

С другой стороны, вспомните систему званий и учёта выслуги, использующуюся в определённых профессиональных контекстах. Влияет именно на сознательное поведение и влияет очень сильно.

хорошо нейронная сеть реагировала бы следующим образом

реальные люди реагируют абсолютным вовлечением в такие цепочки. от компьютерных игр до армии.

я имел в виду, что один тип используется во время тренировок, для формирования последовательностей дейтсвий. другой же используеются во время выступлений для всего сформированного сложного действия.

т.е. нужно обращаться к исходникам, мы противоречим друг другу.

ОФ — это типа драйвера, который может облегчить (а иногда даже типа — вовлечь при полном отсутствии исходной мотивации/желания) обучение. Но собственно модель конечного поведения должна быть заготовлена заранее.

для цепочек поведения ПО ХОДУ ИХ ИСПОЛНЕНИЯ подкрепляется сначала первое действие, потом второе и т.д. вплоть до последнего за которое выдаётся самое ээ "сильное" поощрение. если первое действие не подкрепляется субъект не вовлекается в цепочку.

читай исходники, ты не прав. там была даже фраза, что Карен не смогла придумать применение этому правилу кроме как заучивание стихотворений начиная с последнего четырехстишья.

--имхо в ОФ подкрепляется некий внутрений процесс.
--но Скиннер-то как раз не заглядывал внутрь "чёрного ящика" :)

а подкрепляя некоторый процесс мы "не заглядываем" в его природу.

--а вот уже значимость этих процессов и может определять "уровень".
--в обсуждаемом случае значимость создаётся ээ искусственно системой сигналов поощрения

т.е. давай полностью твое утвержедние: для подкрепления используются сигналы с разной степенью "уровня". попровляй, если не точен.

читай исходники

чтение исходников не освобождает от необходимости думать самому дополнительно :)

ты не прав. там была даже фраза, что Карен не смогла придумать применение этому правилу кроме как заучивание стихотворений начиная с последнего четырехстишья.

а я тебе про другое. обучение идёт с конца. а когда субъект выполняет цепочку, он выполняет её сначала. читай исходники — там тебе напишут — каждое следующее действие служит подкреплением для предыдущего :) таким образом получается что:
— один стимул поощрения (не явный) = типа "переход" между шагами
— второй стимул поощрения — завершение всей цепочки и получения свистка/рыбки

Получается два (один в друго вложенный) цикла подкреплений.

т.е. давай полностью твое утвержедние: для подкрепления используются сигналы с разной степенью "уровня". попровляй, если не точен.

1. Сигналы используются любые
2. "Уровни"/"сила" сигналов формируется по ходу их натурального применения. Какой сигнал используется для подкрепления большего числа ээ атомарных действий, тот в итоге и будет ээ "сильнее".

--но для самого ОФ нет уровней, есть только внутренние процессы.
--для самого ОФ нет никаких внутренних процессов, есть только внешнее поведение

внутренние процессы естественно будут иметь некоторое внешнее проявление, по которому мы их и подкрепляем. процессы были затронуты как обобщение, когда мы можем подкреплять как конкретное поведение, так и такие процессы как мотивация. процессом в одном из случаев может быть и некоторое напряжение мышц и его результат движение.

я утверждаю, что ОФ и сознательный выбор -- явления разной природы, хотя они и могут пересекатся. но такое пересечение это ошибка сознательного выбора.

понял. то есть фактически, вообще-то, мы МОЖЕМ подкреплять даже очень-очень маленькие "кванты" действия, и субъект в итоге таки имеет все шансы их просуммировать и самостоятельно вовлечься в макро/масштабное поведение

хорошо, некие реальные люди отреагировали таким образом, а теперь представьте то подкрепление, которе мы обсуждаем. вопрос в том , что мы конкретно подкрепляем.

да, здесь последующее действие становятся условным подкреплением для предыдущего.

а смысл в самом понятии силы? ты собираешься смешивать при ОФ разные сигналы? и для того чтобы знать, какой из сигналов будет определять поведение вводишь понятие силы сигнала?

вопрос по ОФ: как "осваивать" заготовленую заранее модель? т.е. мы имеем некоторое комплексное поведение, но не можем наблюдать некий полный шаг. хотя ответ может быть следующим: разбить требуемый шаг на еще более мелкие, пока не получим возможность наблюдать некоторый мелкий шаг. и таким способом сформировать все цепочку.

Совершенно не понятно, почему это должно работать, но не доверять и смысла не вижу.

см, например, первую книгу Прайон "Несущие ветер", там есть хорошая метафора.

Приведи, пожалуйста, один пример "вложенных иерархий стимулов подкрепления".

Ну, например, вложенную иерархию из трех стимулов.

А то я уже несколько времени сижу - фантазирую на что может быть похожа эта "вложенная иерархия подкреплений" и ничего путного вообразить не могу.

Выплата за неделю - месячная премия - доска почёта.

ПРИ УСЛОВИИ ЧТО ЭТО КАКОЕ-ТО ОДНО ДОСТИЖЕНИЕ/ДЕЙСТВИЕ.

Звание - выслуга лет - пенсия.

А ЧТО КОНКРЕТНО ФОРМИРУЕТСЯ В ЭТОМ СЛУЧАЕ/ПРИМЕРЕ?

Прыжок - щелчок - рыбка.

Не понял чего/кого в этом примере "щелчок".

Впрочем, я не удивлюсь, что итоговой книге Скиннера, кажется эээ "за пределами свободы и совести", - там широкие социальные обобщения человеческих контекстов. И вот, я не удивлюсь, если в этой финальной аналитически-философской

...философской работе Скиннер описывает эти твои вложенные иерархии стимулов. Я эту книгу не читал. Переводов ее нет. Я ее держал в руках и перелистывал.

--Выплата за неделю - месячная премия - доска почёта.
--ПРИ УСЛОВИИ ЧТО ЭТО КАКОЕ-ТО ОДНО ДОСТИЖЕНИЕ/ДЕЙСТВИЕ.

Почему это? Даже на уровне базовых техник КП формируются ЦЕПОЧКИ ДЕЙСТВИЙ и ВАРИАТИВНОЕ ПОВЕДЕНИЕ. Почему бы не тогда не формировать цепочки с вариациями. Для поддержки таких цепочек с вариациями (и циклами) и работают многоуровневые системы ОФ.

--Звание - выслуга лет - пенсия.
--А ЧТО КОНКРЕТНО ФОРМИРУЕТСЯ В ЭТОМ СЛУЧАЕ/ПРИМЕРЕ?

В первую очередь формируется лояльность (системе, оператору).

Во вторую очередь конкретное множество профессионального поведения.

--Прыжок - щелчок - рыбка.
--Не понял чего/кого в этом примере "щелчок".

Ну здесь с животными - щелчок дрессировщика для дельфина. Щелчок поощряет отдельное упражнение, при этом в течение дня дельфин выполняет разные упражнения и за каждый получает щелчок. Несколько щелчков приравниваются/выражаются в одной большой порции рыбки. Два уровня.

Почему это? Даже на уровне базовых техник КП формируются ЦЕПОЧКИ ДЕЙСТВИЙ и ВАРИАТИВНОЕ ПОВЕДЕНИЕ. Почему бы не тогда не формировать цепочки с вариациями. Для поддержки таких цепочек с вариациями (и циклами) и работают многоуровневые системы ОФ.

Применять ЦЕПОЧКИ ИЗ РАЗНЫХ ПОДКРЕПЛЕНИЙ ДЛЯ ЦЕПОЧЕК ДЕЙСТВИЙ ЕСТЬ МЫСЛЬ СОВЕРШЕННО ОРИГИНАЛЬНАЯ. Но, не проработанная.

--Звание - выслуга лет - пенсия.
--А ЧТО КОНКРЕТНО ФОРМИРУЕТСЯ В ЭТОМ СЛУЧАЕ/ПРИМЕРЕ?
--В первую очередь формируется лояльность (системе, оператору).

"Лояльность" это не поведение. Какие проявления лояльности формируются в этой цепочке?

Во вторую очередь конкретное множество профессионального поведения.

"Множество профессионального поведения" - это непонятно что такое.

--Прыжок - щелчок - рыбка.
--Не понял чего/кого в этом примере "щелчок".
-Ну здесь с животными - щелчок дрессировщика для дельфина.

Ааа, не сообразил сразу.

Щелчок поощряет отдельное упражнение, при этом в течение дня дельфин выполняет разные упражнения и за каждый получает щелчок. Несколько щелчков приравниваются/выражаются в одной большой порции рыбки. Два уровня.

Но, в базовой технологии введение порционности в сами пищевые стимулы резко усложняет и замедляет основной процесс формирования.

Не веришь - возьми котенка со двора и начни его формировать по указанной тобой выше системе. А я заключаю с тобой пари, что у тебя ничего с таким формированием не получится.

Причем, мне кажется, было бы чрезвычайно ценно понять что там в таком процессе работает так "разрушительно". Но, никто таких сравнительных анализов не делал. А сам Скиннер и его последователи указали только один работающий вариант формирования.

Хотя, в темные годы перестройки я на кафедре моего вторичного дообучения на психолога видел интересный американский журнал по оперантному формированию. С множеством теории, практики, экспериментов, приложений и т.п. М.б. и сейчас такие журналы есть. М.б. они есть в онлайн. Может быть на не изобретать велосипед, а просто почитать хорошие источники?

Применять ЦЕПОЧКИ ИЗ РАЗНЫХ ПОДКРЕПЛЕНИЙ ДЛЯ ЦЕПОЧЕК ДЕЙСТВИЙ ЕСТЬ МЫСЛЬ СОВЕРШЕННО ОРИГИНАЛЬНАЯ. Но, не проработанная.

Это применяется в компьютерных играх, особенно ролевых, со времён их появления. И фактически в точности те же процессы подкреплений использует любая социальная организация: корпорация, армия, госслужба и т.д.

"Лояльность" это не поведение. Какие проявления лояльности формируются в этой цепочке?

Лояльность — это продолжение выполнения любых лично бессмысленных и бесполезных действий за символическую награду!

"Множество профессионального поведения" - это непонятно что такое.

Работник макдональдса ради попадания на доску почёта быстрее сервирует бутерброды и перемешивает картошку :)

Но, в базовой технологии введение порционности в сами пищевые стимулы резко усложняет и замедляет основной процесс формирования.

Не веришь - возьми котенка со двора и начни его формировать по указанной тобой выше системе. А я заключаю с тобой пари, что у тебя ничего с таким формированием не получится.

Так Карен Прайор наоборот пишет, что сразу же надо выработать рефлекс на кликер, чтобы фактическое пищевое подкрепление было отложенным! Кликер получается вторичный стимул подкрепления. Человеческие социальные системы работают не только на вторичных, но и на третьичных и так далее стимулах подкрепления. Ну, скажем, деньги являются вторичным стимулом подкрепления.

Причем, мне кажется, было бы чрезвычайно ценно понять что там в таком процессе работает так "разрушительно". Но, никто таких сравнительных анализов не делал. А сам Скиннер и его последователи указали только один работающий вариант формирования.

Не совсем понял, что именно не работает. Кликер же работает? Можно использовать кликер вместо рыбки. А рыбку выдавать в конце дня.

Хотя, в темные годы перестройки я на кафедре моего вторичного дообучения на психолога видел интересный американский журнал по оперантному формированию. С множеством теории, практики, экспериментов, приложений и т.п. М.б. и сейчас такие журналы есть. М.б. они есть в онлайн. Может быть на не изобретать велосипед, а просто почитать хорошие источники?

Ну, если где-то уже сводят в одно социальные системы, игры, и оперантное формирование, то почитать конечно надо :)

В этих вопросах Хомский настоящий враг Скиннеру.

Хомский чистый теоретик, не имеющий ни одного экспериментального подтверждения своих идей. Их даже не смогли воспроизвести через лингвистический софт. При достаточно больший вложенных ресурсах и и времени.

А Скиннер всегда шел от эксперимента. Скиннер имеет право сделать финальные обобщения своих жизненных разработок.

--"Лояльность" это не поведение. Какие проявления лояльности формируются в этой цепочке?
--Лояльность — это продолжение выполнения любых лично бессмысленных и бесполезных действий за символическую награду!

Например, лояльно посещаю кассу за зарплатой, но весь месяц не работаю.

--"Множество профессионального поведения" - это непонятно что такое.
--Работник макдональдса ради попадания на доску почёта быстрее сервирует бутерброды и перемешивает картошку :)

"быстрее сервирует бутерброды и перемешивает картошку"

Так Карен Прайор наоборот пишет, что сразу же надо выработать рефлекс на кликер, чтобы фактическое пищевое подкрепление было отложенным! Кликер получается вторичный стимул подкрепления. Человеческие социальные системы работают не только на вторичных, но и на третичных и так далее стимулах подкрепления. Ну, скажем, деньги являются вторичным стимулом подкрепления.

ТЫ СКАЗАЛ О ПОРЦИОННОСТИ СТИМУЛОВ.

--"Лояльность" это не поведение. Какие проявления лояльности формируются в этой цепочке?
--Лояльность — это продолжение выполнения любых лично бессмысленных и бесполезных действий за символическую награду!
--Например, лояльно посещаю кассу за зарплатой, но весь месяц не работаю.

Ну, тогда так - ходите на работу, дисциплинировано сидите с 9 до 18, ничего не делаете, и в конце месяца получаете зарплату. Да. Лояльность имеет место, которая вырабатывается системой ОФ. Но при этом конкретная подкрепляемая деятельность зависит от того, как чётко и на что настроено ОФ первого уровня.

"быстрее сервирует бутерброды и перемешивает картошку"

Улыбается посетителям, исполняет команды менеджера, и т.д. Где чётко прописан тех процесс, там вложенные системы ОФ будут работать не только на лояльность, но и на этот тех процесс. Где он не прописан, там будет работать за подкрепление безделья.

ТЫ СКАЗАЛ О ПОРЦИОННОСТИ СТИМУЛОВ.

Разумеется, в это вся суть. Говоря "вложенные" системы, я имею в виду, что стимулы следующего порядка появляются после многократных повторений стимулов предыдущего порядка.

Приготовил много бутербродов - похвалил начальник в конце дня. Провёл много дней с похвалой - вывесили на доску почёт. Провисел на доске несколько месяцев - повысили.

Сценарная расплата. У каждого своя. Кстати описанные Берном "купоны", за которыми следует "сценарная расплата" — в точности такая двухуровневая система поощрений и есть.

Почему сюрпризом? Вполне закономерно заканчивается. Это зависит от того, что ОФ подкрепляет, будет ли это приятным или не приятным.

Кстати, MMORPG (массовые сетевые ролевые игры) де-факто уже совершенно полноценные социальные структуры. Поскольку в них люди точно также конкурируют или сотрудничают, общаются для достижения общей цели или обмана, ведут дела и строят личные отношения, следуют законам и правилам или нарушают их и т.д. И игровые деньги свободно или условно-свободно конвертируются в твёрдую (внешнюю/"реальную") валюту.

У вас не было клиентов с жалобой на зависимость от комп. игр? :)

Наоборот, пытался изнутри структуры уменьшить их зависимость.

Искал паттерны-признаки систем, которые могут потенциально работать в конструктиве. В отличие от систем, которые делаются только для их последующего разрушения.

Кстати, такой признак есть и он простой. Ежели в системе с огромным нажимом уже на первых шагах новичка требуют, чтобы он подписывал в систему родных, близких и знакомых - такая система делается только исключительно для ее обрушения.

А какие паттерны априори работают в конструктиве?

Может быть такой критерий возможно применить к любой паразитической системе? О наркоманах-то тоже вроде начинают беспокоиться, когда нагрузка с их зависимости на родственников переходит, или нет?

А какие паттерны априори работают в конструктиве?

Ну, это надо затевать отдельную тему про ресурсные модели МЛМ. В первую очередь должен быть адекватный продукт для сетевого распространения. Причем, продукт должен быть предъявлен в самом начале развертывания сети. Исключена отсроченная активизация условных продуктов типа сертификатов и т.п.

Второй психологический критерий я уже указал: разворачивающаяся система ДОЛЖНА ТРЕБОВАТЬ ПОДПИСАНИЯ ЛЮДЕЙ ИСКЛЮЧЕННЫХ ИЗ МАЛЕЙШЕЙ МЕРЫ ЛЮБЫХ БЛИЗКИХ, РОДСТВЕННЫХ ИЛИ ДАЖЕ ДРУЖЕСТВЕННЫХ ОТНОШЕНИЙ. А почему так? А потому, что когда систему намеренно обрушивают с тем чтобы верхушка системы могла улизнуть с награбленным, вот эти самые личные, родственные и дружественные связи внутри системы амортизируют/гасят коллективный гнев низовых системных участников. Как только система обрушивается низовые члены системы немедленно тонут В РАЗБОРКАХ С РОДНЫМИ И БЛИЗКИМИ, И ДРУЗЬЯМИ! Вместо того, чтобы немедленно объединиться, изловить и линчевать воровскую/бандитскую верхушку системы.

Вблизи это выглядит чрезвычайно впечатляющей и ужасно. Указанный мной механизм амортизации работает с 500% процентной надежностью.

Может быть такой критерий возможно применить к любой паразитической системе? О наркоманах-то тоже вроде начинают беспокоиться, когда нагрузка с их зависимости на родственников переходит, или нет?

Ну, что ты такое говоришь. Наркоманство сразу же ложится тяжелым грузом на родственников. И психологически, и организационно, и материально. Наркоман горит в одном своем аду потребления отравляющих в-в и разрушения своего организма и психики. А в параллельном аду горят его родственники, на глазах которых с первых тактов наркомании исходная личность исчезает и остается только наркоманская часть/оболочка. А до исходной личности не достучаться никакими словами. Только невербальными установками поведения и несгибаемым намерением вернуть заблудшую душу в мир без наркотиков/отравляющих в-в.