Слишкое раннее подкрепление неэффективно ↑
metatheo в посте Metapractice (оригинал в ЖЖ)
Слишком раннее подкрепление тоже неэффективно.
...
Мне кажется, что иногда и детей мы подкрепляем слишком рано, находясь под ложным впечатлением, будто мы их подбадриваем ("Молодец, хорошо, ты уже почти все сделала правильно"). Возможно, при этом мы подкрепляем попытки. Но существует разница между попыткой сделать что-то и выполнением этого. Причитания типа "я не могу" иногда отражают фактическое положение вещей, но они могут являться и признаками того, что часто подкреплялись просто попытки. Вообще, подкрепление поведения, которое еще не совершилось, - подарками, обещаниями, комплиментами или чем-нибудь в этом роде - ни капельки не подкрепляет это поведение. Если что-то и подкрепляется, так это поведение, совершающееся в данное время: верояшве всего - выпрашивание подкрепления.
Вот это заставило меня задуматься. Как бы провести грань между создание мотивации у человека, приободрении и слишком ранним подкреплением. Может быть мои теплые слова подкрепляют в человеке, как раз то, чего бы я не хотел, и он даже он не хотел. Меня и раньше терзали такие сомнения, но тут они облечены в форму, с которой можно поработать.
7 комментариев
сначала старые сначала новые
Конечно можно искуссно владеть ОФ на одном сигнале подкрепления и тем самым решать поставленную задачу/проблему. Типа не выдавать подкрепления слишком часто. Сложность должна со временем расти. Подкреплять реальное продвижение.
Но может поставленная тобой задача уже решена типа в компьютерных играх за рамками описываемой Карен модели ОФ. Там используются вложенные циклы активности-и-подкреплений. Шаги подкрепляются одним стимулом, а завершение всего действия другим.
[(1* 2* 3*)* (4* 5* 6*)* (7* 8* 9*)*]*
Цифрами обозначены отдельные шаги, разным цветом звёздочек — разные стимулы подкрепления.
Но может поставленная тобой задача уже решена типа в компьютерных играх за рамками описываемой Карен модели ОФ. Там используются вложенные циклы активности-и-подкреплений. Шаги подкрепляются одним стимулом, а завершение всего действия другим.
[(1* 2* 3*)* (4* 5* 6*)* (7* 8* 9*)*]*
Цифрами обозначены отдельные шаги, разным цветом звёздочек — разные стимулы подкрепления.
--Возможно, при этом мы подкрепляем попытки...
--Вот это заставило меня задуматься...
опять же можно вспомнить формирование цепочек действий, подкрепление частичного правильного действия. вот здесь возникает вопрос, а что будет это частично правильное действие в комплексных ситуациях(?) (не в ситуациях когда мы, например, подкрепляем голубя подойти к нужной точке, там все просто -- частично правильное действие это: 1 -- поворот головы в нужно направление; 2 -- движение в нужном направлении; 3 -- увеличение скорости движения в нужном направлении; и очень сложный момент получения окончательного вознаграждения при достижении точки (хотя нужно еще подкрепить остановку на нужном месте)).
--Вот это заставило меня задуматься...
опять же можно вспомнить формирование цепочек действий, подкрепление частичного правильного действия. вот здесь возникает вопрос, а что будет это частично правильное действие в комплексных ситуациях(?) (не в ситуациях когда мы, например, подкрепляем голубя подойти к нужной точке, там все просто -- частично правильное действие это: 1 -- поворот головы в нужно направление; 2 -- движение в нужном направлении; 3 -- увеличение скорости движения в нужном направлении; и очень сложный момент получения окончательного вознаграждения при достижении точки (хотя нужно еще подкрепить остановку на нужном месте)).
хорошо нейронная сеть реагировала бы следующим образом.
1. она научалась, что есть некий желатеьный исход для каждого из шагов
2. научалось понимать, что некий блок окончен
но 2 не значит, что оно как-то связано с 1 (по заданным условиям) это просто некоторое деление. если по 1 задания лесенкой увеличивают сложность, а по 2 сложность очередного шага будет чуть падать, то 2 будет связан с тем, что следующий шаг будет проще. но по данным условиям 2 никак не определяет подкрепление цепочки шагов 1.
1. она научалась, что есть некий желатеьный исход для каждого из шагов
2. научалось понимать, что некий блок окончен
но 2 не значит, что оно как-то связано с 1 (по заданным условиям) это просто некоторое деление. если по 1 задания лесенкой увеличивают сложность, а по 2 сложность очередного шага будет чуть падать, то 2 будет связан с тем, что следующий шаг будет проще. но по данным условиям 2 никак не определяет подкрепление цепочки шагов 1.
хорошо нейронная сеть реагировала бы следующим образом
реальные люди реагируют абсолютным вовлечением в такие цепочки. от компьютерных игр до армии.
реальные люди реагируют абсолютным вовлечением в такие цепочки. от компьютерных игр до армии.
ОФ — это типа драйвера, который может облегчить (а иногда даже типа — вовлечь при полном отсутствии исходной мотивации/желания) обучение. Но собственно модель конечного поведения должна быть заготовлена заранее.
хорошо, некие реальные люди отреагировали таким образом, а теперь представьте то подкрепление, которе мы обсуждаем. вопрос в том , что мы конкретно подкрепляем.
вопрос по ОФ: как "осваивать" заготовленую заранее модель? т.е. мы имеем некоторое комплексное поведение, но не можем наблюдать некий полный шаг. хотя ответ может быть следующим: разбить требуемый шаг на еще более мелкие, пока не получим возможность наблюдать некоторый мелкий шаг. и таким способом сформировать все цепочку.