От классического условного рефлекса имени И.П. Павлова этот рефлекс отличается тем, что основывается на активной целенаправленной деятельности животного, вызванной какой-либо потребностью. И подкреплением при этом является результат этой самой активной и целенаправленной деятельности. В то время как при классическом условном рефлексе подкреплением является безусловный, или просто второй по действию раздражитель.
Оперантное научение было открыто американским ученым Э.Л. Торндайком благодаря сообразительности кошек и собак. Дело в том, что Торндайк, выясняя способность животных к обучению, сконструировал специальную клетку, снабженную дверцей с несложным запором. Закрывая в этой клетке кошек и собак, он со здоровым злорадством ученого наблюдал, как братья его меньшие обучались эту дверцу открывать. А обучались открывать дверцу братья и сестры меньшие посредством совершения разнообразных попыток, некоторые из которых были удачными, а некоторые нет. Поэтому Торндайк и назвал открытую им форму научения «методом проб и ошибок».
Рефлексом же эту форму научения окрестил гораздо позже еще один известный американский ученый — Б.Ф. Скиннер, посвятивший ему всю свою научную жизнь. Именно поэтому среди нескольких отцов оперантного рефлекса Скиннер считается главным отцом. Однако справедливости ради отметим, что впервые в мире дрессировку, основанную на оперантном научении, описал наш замечательный дрессировщик Владимир Дуров в своей книге «Дрессировка животных. Психологические наблюдения над животными, дрессированными по моему методу. 40-летний опыт». Таким образом, о русском варианте оперантной дрессировки вы можете прочитать в книге Владимира Дурова, а американский вариант оперантной дрессировки хорошо описан в книге психолога и дрессировщицы Карен Прайор «Не рычите на собаку!», которую, кстати, тоже советую прочитать.
Общую методику оперантной дрессировки по Скиннеру можно описать в виде следующих этапов:
Этап депривации. Так называл этот этап Скиннер в 30-х годах прошлого века. Однако сейчас этот этап следует называть «этапом выбора и создания базовой потребности».
При формировании оперантного условного рефлекса могут быть использованы практически все из известных собакам потребностей, но Скиннер чаще использовал пищевую потребность. И смысл этапа депривации заключался в том, что Скиннер либо недокармливал животных какое-то время, либо морил их голодом. Считалось, что пищевое подкрепление только тогда становилось значимым для животного и эффективным для научения, когда это животное теряло около 20% живого веса. О времена, о нравы!
Этап формирования условного пищевого подкрепления. В своих исследованиях Скиннер использовал автоматические кормушки, звук которых должен был стать для животных сигналом к появлению гранулы корма. И для этого требовалось время. Этап считался завершенным, когда в ответ на звук механизма подачи корма крыса тут же бежала к кормушке.
По сути этот этап является формированием классического условного звукового рефлекса с пищевым подкреплением. Он также служит основанием так называемой кликер-дрессировки — способа дрессировки с использованием условного звукового пищевого положительного подкрепления.
И приходится признать, что школу оперантной дрессировки от отечественной традиционной дрессировки выгодно отличает внимание, которое оперантная дрессировка уделяет вопросу подкрепления. Особенно положительному и вероятностному подкреплению.
Этап формирования реакции. В качестве модельного поведения Скиннер обучал своих крыс нажимать на педаль, а голубей клевать клавишу. Формирование реакции нажатия на педаль осуществлялось одним из трех способов: способом проб и ошибок (спонтанного формирования), путем направленного или последовательного формирования и способом мишени.
Спонтанное формирование заключалось в том, что животное, путешествуя по ящику Скиннера, случайно нажимало на педаль и постепенно связывало нажатие на нее с включением автокормушки.
При направленном формировании включал автокормушку исследователь, подкрепляя вначале любую ориентацию в сторону педали, затем приближение к ней и, наконец, нажатие на нее. Ну чем не кликер-дрессировка!
А способ мишени заключался в том, что на клавишу наклеивали гранулу корма, попытки оторвать которую и приводили к нажатию на рычаг.
Современная методика оперантной дрессировки для инициации нужного поведения допускает использование практически всех известных способов воздействия на животное. Однако считается неэффективным использование аверсивных (приводящих к боли или неприятным ощущениям) воздействий.
Подведение поведения под стимульный контроль или введение дифференцирующего стимула. Другими словами, введение условного раздражителя или команды.
Скиннер и его сторонники считали, что формирование действия и одновременная параллельная выработка его связи с условным раздражителем (командой) — два разных процесса. А одновременное усвоение двух разных вещей осложняет научение. Поэтому традиционные оперантники сначала формируют поведение, а затем вводят команду.
Следует особо подчеркнуть, что в оперантном научении дифференцирующий стимул по большому счету не является командой в нашем понимании. Команда — это ведь как приказ? Мы обычно так трактуем ее. А дифференцирующий стимул — это информация о том, что именно сейчас исполнение поведения наиболее эффективно и вообще возможно. Таким образом, «команда» в оперантной дрессировке несет функцию позволения и разрешения совершить поведение.
Чтобы стало понятней, разберем введение в эксперимент лампочки как дифференцировочного раздражителя. Итак, крыса научилась нажимать на педаль и нажимает на нее, когда хочет есть. Исследователь включает лампочку на пару секунд и создает условия, при которых нажатие на педаль только при включенной лампочке приводит к подаче корма. А когда лампочка выключается, то, сколько ни нажимай, будет тебе комбинация из трех пальцев! Т. е. включение лампочки создает, разделяет, различает, дифференцирует разные условия. И крыса это скоро начинает понимать. А поскольку она очень хочет есть (у нее же создана пищевая потребность!), то, увидев включенную лампочку, тут же бежит к педали и ну на нее нажимать! Со стороны кажется, что включенная лампочка заставляет крысу, приказывает ей нажимать на педаль. Но теперь-то вы понимаете, что это не так. Включенная лампочка говорит: теперь можешь нажимать на педаль. И только!
Закрепление поведения. Закрепление сформированного поведения до навыка осуществляется путем повторения с использованием вероятностного подкрепления. Полезно также для этого же использовать различные потребности и, соответственно, применять разное подкрепление.
Отечественный вариант оперантной методики дрессировки, берущий начало от Владимира Дурова, отличается только тем, что позволяет сразу вводить исполнительный стимул (команду, дифференцирующий стимул, условный раздражитель). Практика показывает, что навык формируется ничуть не медленнее, чем при импортной методике. А поскольку позволяет исключить целый этап, то экономит время. Так что есть смысл поддержать отечественного производителя дрессировочных методик!
