[分享]淺壇學習理論及制約

Hi,

我想,直接來談談訓練馬(動物)的一些理論基礎.我要分享的是'學習理論 (Learning Theory)' 及 '制約 (conditioning)".這是第一步.

為什麼我要先把這兩個項目明白?因為,許多訓練動物的方式,有些有效,有些無效,成功的原因多是因為訓練方式能夠符合學習理論的原則.失敗的原因也多是不了解動物是如何學習,而強用人的思維去蠻幹.

比如說,馬兒今天不知是為什麼,騎著騎著他開始亂蹦亂跳的.我不小心摔了馬,走了一分鐘的路,把他牽來打了一頓,教訓教訓.看他以後還敢不!有經驗的訓馬者,知道這是無效地,馬根本不知曉自己為什麼背教訓.

言規正傳.什麼是學習理論?

學習理論,是心理學的一個課題,主要是想要了解動物透過何種方法 '學會' 各種行為.

學習的方式,有的是透過本能,比如說嬰兒出生時便會吸奶.有些是透過社會環境,或是觀察,或記憶,模仿,或是 "正規的教育訓練".

我們訓練馬,著重的是利用馬的一些本能,透過制約反應,來施以 "正規的教育訓練".

所以,了解了制約反應,加上洽當的應用,我們可以一一建構訓練的課目,調教我們的愛馬.

制約反應,我們必須要了解兩大課題: 1. 古典制約 (classical conditioning); 2. 建構式制約 (operand conditioning).

古典制約是由俄羅斯科學家 Pavlov 所發現,並詳以科學的辨證,這個理論不是三言兩語可以講清楚.且讓我慢慢道來.

Pavlov原本在研究動物的消化機制.由於它的研究,人們發現了唾液腺的存在,他也因此獲得諾貝爾獎.

Pavlov無意間,在研究消化機制的過程,發現實驗的動物(狗)在餵食前,只要看到助理研究員,就算不給食物,也會流口水. Pavlov想要知道到底是什麼東西引起狗的口水反應.

在之前的科學界,人們認為是看到食物引起口水反應.好比我們走進黑暗的房間,開了電燈開關,燈就亮了.我們把食物的出現等同是開關,流口水等同是燈亮.我們不開開關,燈就不會亮.同樣地,我們不給食物,狗就不該流口水. Pavlov 的發現,就好像是我們走進黑暗的房間,還沒有開開關,燈就自己亮了.

Pavlov做了一些實驗.實驗中,有四個元素:

1. 無條件刺激 (unconditioned stimulus): 指的是一種幾乎是引起本能反應的外來刺激.如: 見到食物; 異物快速逼近眼睛(我們會本能地閉眼); 或手接觸到高溫的物體.

2. 無條件反應 (unconditioned response): 指的是生物對 "無條件刺激" 的反應.這種反應不需學習,幾乎是本能.比如是我們上面提到的 "流口水", "閉眼".

1 引起 2. 1 ---> 2.

3. 條件式刺激 (conditioned stimulus): 指的是實驗者想要添加在原本 "無條件刺激" 隻上的新次激.比如,實驗助理的出現,對狗是一個刺激.或是之後 Pavlov 加入的搖鈴聲.

4. 條件式反應 (conditioned response): 指的是由於條件式刺激而引發的反應.

古典制約開始於 1 及 2, 我們再把他轉換到 3 及 4.

首先,狗看到食物,就流口水. 1 = 食物出現; 2 = 流口水. 我們說,食物的出現引起流口水. 簡單表達, 是 : 1 ---> 2

現在,我們加上一個人為的因子,我們決定每一次餵食時,都搖鈴.鈴聲就是 3.狗仍然因為看到食物而流口水.

重複好幾次搖鈴再餵食,我們接著只搖鈴,就算不給食物,狗也開始流口水.於是,這個流口水的行為,已不是由於食物的出現,而引發的反應.相反的,這反應是由鈴聲引起的,換句話說,我們已經可以藉著搖鈴來控制狗的流口水.這時的流口水,已經成為 "條件式反應".

我們成功的達到了 3 ------> 4. 狗也學會了聽到鈴聲就流口水.

待續.

h4v6sY

以待续结束的文章，可是续呢，HP？哈哈

h4v6sY

期待下文。

H版主的各篇马术心得贴，受教了！

h4v6sY

繼續古典制約的話題.

我們喜歡錢，也是由於古典制約的過程，讓我們"學會"對錢的喜愛。為什麼這麼說?試想，嬰兒在兩三歲時，是否對 "錢" 有任何的好惡?幼兒的快樂根源與 "錢" 一點關聯也沒有。反而是大人，因為學會了 "透過錢可以滿足物質的慾望，因而帶來快樂" 的概念。因此，錢就成為了 "引發我們心情快樂" 的外在刺激。

為什麼要講古典制約?這對我們訓練動物有什麼幫助?原因是這樣。在訓練動物的過程，我們如果能夠了解動物對哪一種"外在刺激"有強烈的喜好，我們可以利用古典制約的方式，把那一種"外在刺激"轉變成我們較容易掌握，控制的"人為刺激"，如此，訓練員可以比較容易建立一個 "獎勵" 的系統，從而把動物置放在訓練流程中。動物也容易知道當訓練員送出某一特定訊號時，就表示我(動物)做對了，快來領獎。

簡單來說，我們利用動物的本能喜好，透過古典制約來讓動物認識一個 “獎勵”的信號，從而開始訓練的基礎。

舉個例子來講。我們如何訓練海豚?很顯然的，訓練員不可能拿個繩子套在海豚脖子上，強拉海豚做各種特技。那麼，該怎麼做呢?

h4v6sY

我們了解，動物有三種最基本的生活需求: 1。 性慾的滿足。 2。 食物的滿足。 3。 肢體的休息。訓練員無法滿足第一項，但是可以設法滿足 2 與 3。我們因此藉由 2 與 3，來建立獎勵的信息。

以海豚為例。如果我們決定用食物來做獎勵的方式，我們也決定某一種  “哨音”， 是獎勵的信號。我們要做的，便適用古典制約的方法，讓海豚學會 “哨音就代表食物的供給”。 方法很簡單。如同 Pavlov 所做的實驗，從現在起，每餵食一條小魚，便吹哨。如此重複多次，海豚便會開始把 “哨音” 及 “訓練員餵食食物” 聯想起來。

接著，試著在海豚游在訓練員身邊時，只吹哨音。如果海豚已經經過古典制約學會哨音” 代表 “訓練員將餵食食物”， 海豚極有可能會主動游向訓練員索食。此時訓練員也應立刻發以食物獎勵。加強這個制約的強度。如此繼續重複多次。很快的， 訓練員的哨音，便代表 “過來吃食物” 的信息。如果我們相信 “過來吃食物”是一種獎勵，那麼，我們已經透過古典制約建立了一個獎勵的系統。

現在，海豚已經了解哨音代表的意義。一個成功的”獎勵制約”，將是只要一聽聞信號，動物會立刻停下身邊的工作，前來領獎。換言之，只要我們吹哨，不管海豚身在何方，或是正在做什麼事，海豚都會立即停頓下來，向訓練員游去領取食物。

先寫到這。賣個關子。請各位想想，接下來如何利用這哨音的獎勵系統，來訓練海豚跳呼拉圈。

 

HP

h4v6sY

哨音與替代信號:

在動物訓練中，有一個很重要的工具，就是” 替代信號”。英文叫 “Bridged Signal”。我們剛才提的哨音，就是一個” 替代信號”。所謂的替代信號，就是一個人造的信息，這個信息對動物來說，代表了獎勵的意義。

其實，錢也是一個替代信號。這信號對大部分的成年人有強烈的意義。

為什麼我們需要替代信號?原因是因為訓練員需要一個方便而且可以隨意發送的信息，來告訴所訓練的動物 “答對了! 做得好”.

之前，我們知道，訓練員可以用食物，或是肢體休憩，或壓力的消除，或是遊戲來獎賞動物。但是，這些東西都不是一個 “信息”，相反的，他們是實際的物質或是難以用語言聲音來表達的事物。他們都需要訓練員以具體的”行動”來表達“答對了”的想法。這不但對訓練員來說，難以實行，對訓練過程來講，更添難度。

h4v6sY

替代信號對動物的意義,是“答對了! 做得好，快來領賞”。這個把一個人為，原來對動物毫無意義的信息，連結到動物能實際感受到需求滿足的快感.這也是為什麼英文叫 “Bridged Signal”。因為這信息實現了訓練員可以直接連結動物滿足感的重點.

替代信號應該要清楚，極易分辨,以及，最重要的，精準及短捷。

精準及短捷是非常非常重要的。多精準? 多短呢?越準越好，越短越好。為什麼?

請看以下的實驗.

研究員想要了解馬對於記憶回想(Memory recall)有多大的能力。設計了以下的實驗。馬被牽到沙場，距離馬約 10 公尺處，置放兩個餵食桶。桶距離彼此約 5 公尺。桶邊各坐著一位研究助理。實驗開始，兩個助理中其中一位在馬注視下，把零食丟入桶中。此時，立刻放開馬匹，研究馬是否準確的走向有食物的餵食桶。如此重複多次。

實驗發現，有大於 75% 的機率，馬可以正確地走向有食物的餵食桶。

繼續下一個實驗。此時，相同的設定，只是，我們在零食放入桶後，間隔五秒，才放馬讓馬去找尋食物。同樣地，研究馬是否準確的走向有食物的餵食桶。

實驗發現，馬可以正確地走向有食物的餵食桶的機率，只有 50%。也就是說，這與是否看到食物的置放，沒有差別。

這個實驗代表什麼意義?對我們訓馬有什麼啟發?這和替代信號 “精準及短捷”有什麼關聯?

h4v6sY

從以上的實驗,我們了解,馬對於五秒鐘前所發生的事情,是無法將他與目前的情形做出連結.換言之,馬只活在當下,對於幾秒前的記憶,沒有處理的能力.所以,對於馬的獎懲,也應該在當下立刻執行.

常看到一些情況,就是馬做了一些調皮事,把騎士摔下馬背.騎士氣呼呼地前去找馬.牽來後修理一頓.這馬也可憐,根本不知道自己為什麼背處罰.更糟的事,他可能會誤解被處罰的原因.他可能誤認為,騎士跑過來就表示自己要挨打.或是其他奇怪的事造成自己受處分.

從另一角度來看,獎勵也應該立即實施.否則,馬也會誤解自己被獎勵的原因.

這些種種,牽連到我常常提到的 precise timing 的問題.如果我們無法精準,短捷地 "標示" (英文叫 Mark the desired behavior) 好的行為而加以獎勵,那麼被獎勵的行為,可能根本不是我們原本想要教育的.

所幸,人類在研究動物行為與學習的過程裡,發現了一個可以好好利用的東西.這東西,行為學家稱他叫 "標示器" (英文叫 Marker).Marker 的用途,就是用來標示動物提供好行為的工具. Marker 可以是任何形式,有人用鈴鐺,有人用哨子.有人用閃光.有人用響片 (clicker).所有的 Marker,都有一個特點,就是他們在標示行為時,十分的短暫而且容易分辨.這使得動物更容易明白,是哪一個行為可以引發訓練員觸動 Marker.

Marker 本身如果再經由古典制約,讓動物了解獎勵隨之而來,那麼,訓練員便擁有一個強有力的工具,可以讓動物,從被動地接納訓練員的各種奇怪的壓力 (pressure), 轉變成動物主動地尋找可能的答案.訓練的結構,因此完全改觀.

這個 Marker,便成為我們前面所提的Bridge signal.

[此贴子已经被作者于2009/12/9 13:43:00编辑过]

h4v6sY

h4v6sY

Jose,

Are u trying to teach him to stop? Have you succefully charged the clicker? Doesn't seem to me that the marker is conditioned to become a positive reinforcer for Ranger.

There's a test to make sure the clicker is well charged by teaching the horse long and low. Here's what to do:

This is done in the ground. Lunge the horse in the round pen. Start with walk. The moment he lowers his head, I click. He should stop and look at me and come to me for reward. Then, he'll gradually learn to offer the "low" more. I'll click for every try. Then, I'll raise the bar, meaning I'll try to push him fo a bit "long" and click for one step. Later, I click for 2 steps, and so on. Once he can walk long and low for 12 steps (this is a magical # I found), I'll start teaching him long and low in trot.

Again, in the trot, once he offers to "lower" his head by a simple try, I'll Click and reward him. Again, slowly raise the bar. Once he can do "low" for 12 steps, I'll ask him to do "LONG" by giving him a bit pressure through the whip. This will build up the long and low in trot.

The test is the horse should ALWAYS STOP when it hears I click. Only at that time I'm sure that the clicker is well conditioned then I'll try to move up to his back.

Same thing for cantering long and low.

Let me know if it is clear.

[此贴子已经被作者于2009/12/10 1:51:12编辑过]

h4v6sY

BTW, Does ranger become more motivated in doing stuff?

HP

h4v6sY

yes, he seems more focused on working with me，he doesn't seem to quick to "ditch" me before i even get into his paddock and seems like he's interested in knowing "what are we going to do today?" he's just happy doing nothing haha

[此贴子已经被作者于2009/12/10 9:49:35编辑过]

>he doesn't seem to quick to "ditch" me

Ha ha ha! My horse ALWAYS wants to be with me...

>"what are we going to do today?"

Yes, that's right. We want the horse always ask :What do you want? What can I do for you?

This is the motivation. Without motivation, training is no fun for them.

HP

请版主继续！

这个主题我也很喜欢！

QUOTE:

以下是引用hppeng在2009/12/10 10:31:00的发言：

Yes, that's right. We want the horse always ask :What do you want? What can I do for you?

回HP版，响片遥控器失灵

今天Ranger说可以玩bridleless & bareback，但去了龙头跟引绳它立刻掌握了主动权， 也让我尝下被马骑的滋味

http://www.tudou.com/programs/view/FwavYvID3C4/

http://www.tudou.com/programs/view/z0YMx8naquM/

You took too big a step.. It took me months for me to make sure my horse really pays attention to me...

Didn't you just say "Goor trainers know things take time..."

HP

汗～～后怕

当我骑马难下时， 才明白去了龙头对Ranger 来说， it simply mean,"yes, the ride really is over now, why are you still on my back", 它没发飄把我甩下， 已经给足了Jose面子

> it simply mean,"yes, the ride really is over now, why are you still on my back?"

Oh my god! You are REALLY listening to your horse now. Great job! Click & Treat, c/t, c/t.

我想,你應該從 walk 開始,而不是直接 canter/lope...

我現在還不敢 ride bridless. 壓根還沒有訓練這個.日後再說.

QUOTE:

以下是引用虎甲在2009/12/12 14:36:00的发言：

请版主继续！

这个主题我也很喜欢！

虎哥，既然您关注此，就留言，还等您公布图解呢？ 

[此贴子已经被作者于2009/12/14 8:54:46编辑过]