從動態(tài)建立機(jī)器人到機(jī)能建立機(jī)器人

-.z本科生畢業(yè)設(shè)計翻譯資料中文題目：從行為機(jī)器人到目的機(jī)器人英文題目：Frombehaviour-basedrobotstomotivation-basedrobots學(xué)生**：許金鵬學(xué)號：14020122班級：140201專業(yè)：機(jī)械工程及自動化指導(dǎo)教師：呼詠從行為機(jī)器人到目的機(jī)器人摘要：市場上兒童和家庭娛樂機(jī)器人的出現(xiàn)實際上創(chuàng)立了目的機(jī)器人的新類型，人們提出了不同類型機(jī)器人框架構(gòu)造的分類方法。目的機(jī)器人的框架構(gòu)造分為系統(tǒng)發(fā)育和個體發(fā)育體系。本文描述了一種用于特殊試驗裝置的試驗性框架，試驗結(jié)果說明機(jī)器人和環(huán)境的相互作用可以產(chǎn)生新動力。裝有個體發(fā)育構(gòu)造的目的機(jī)器人可能為新一代個體機(jī)器人的開展奠定根底。關(guān)鍵字：聯(lián)合學(xué)習(xí)，開展，娛樂機(jī)器人，行為機(jī)器人，目的機(jī)器人引言被制造設(shè)計出來的娛樂機(jī)器是能與人相互交流，這種交流主要是在以下幾個水平：從選擇一系列設(shè)定好的行為到獨立的能力和自動的行動。娛樂機(jī)器人通過觸覺，開關(guān)和聲音識別模塊獲得行為指令。據(jù)報道，最尖端的機(jī)器人能通過與特定環(huán)境的相互作用而產(chǎn)生一種獨特的特性。經(jīng)過一系列開展階段后，機(jī)器人吸引大大了消費者，此外，這類機(jī)器人在一定程度上必須能表達(dá)感情，如快樂、悲傷、氣憤和吃驚。娛樂機(jī)器人很精細(xì)而且能夠獨立探測到它周圍的環(huán)境：這些機(jī)器人在與它們個體歷史的關(guān)系中得到了開展，我們把這一類機(jī)器人定義為基于目的的機(jī)器人，因為它們的目的是重新創(chuàng)立生物體的機(jī)能構(gòu)造?，F(xiàn)在，從行為機(jī)器人到動力機(jī)器人的時代已經(jīng)到來了。最近，在神經(jīng)系統(tǒng)學(xué)和機(jī)器人學(xué)方面，以什么作為動力的問題的問題得到了研究，人們從一個更全面的學(xué)科構(gòu)架研究這一問題。我們提出了一種技術(shù)方法在不需要很大構(gòu)架的機(jī)器人身上建立動力，基于行為的機(jī)器人利用設(shè)計時安裝在它們體內(nèi)的固定“動力〞電路。甚至那些能夠?qū)W習(xí)新行為的系統(tǒng)也必須照設(shè)計時編好的一定程序而行，例如，如果一個機(jī)器人必須學(xué)習(xí)用手臂觸及一個給定的目標(biāo)，它就會根據(jù)預(yù)定的“動力〞來學(xué)習(xí)移動。相反，基于動力的機(jī)器人必須能夠在設(shè)計時不具有的動力驅(qū)動下執(zhí)行操作，但是這種動力通過與環(huán)境的相互作用來獲得。例如，一個像上一代數(shù)碼相機(jī)這樣“智能〞電子裝置就能執(zhí)行一大系列的“智能〞任務(wù)：它依據(jù)光線選擇最好的指令，為了選擇最正確曝光、焦距和一大系列相關(guān)的參數(shù)，它把復(fù)雜的程序應(yīng)用于每個指令。它是根據(jù)環(huán)境改變自己的行為以得到最正確的結(jié)果。然而，無論在一個長途旅程中它的內(nèi)存存儲了什么程序，它的行為都不會改變。任何外部環(huán)境都不能改變它的內(nèi)在初始設(shè)計的程序指令。另一種可能的選擇就是，如果一個三歲的孩子進(jìn)展同樣長的旅程，他/她可能會有變化。他/她或他/她周圍發(fā)生的事是會改變的不僅僅是他/她的記憶，將來的開展，內(nèi)在準(zhǔn)則及未來可能改變他/她的事件的發(fā)生的方式也會改變，三歲孩子和數(shù)碼相機(jī)之間的媒介，就是一種典型的人造神經(jīng)網(wǎng)絡(luò)來執(zhí)行指令，如語言識別程序，這是一種靈敏的儀器，它能識別一般男性或女性發(fā)出的正常的聲音。它存儲了每個人的聲音，改變它的內(nèi)部參數(shù)來學(xué)習(xí)如何提高它的執(zhí)行能力。這樣他們的性能就比相機(jī)優(yōu)良：發(fā)生在他們周圍的事可以改變他們的行為。如果我們以兩個不同個體使用的不同的語音識別程序為例，他們的不同點在于：每一個都由他自己專門的聲音。另一方面，如果我們以兩個不同攝影師使用不同的相機(jī)為例，他們是完全是一樣的。甚至是典型的人造神經(jīng)網(wǎng)絡(luò)也缺少*些東西：他們的目標(biāo)是一樣的。他們的經(jīng)歷是部相互依賴的但是他們不改變目標(biāo)。另一方面，一個的三歲孩子隨時都有可能有新的目標(biāo)。經(jīng)歷會改變他/她的行為和準(zhǔn)則。從前面的例子可以很清楚的看出基于目的的生物和基于行為的生物存在明顯的差異。在下面的章節(jié)會詳細(xì)描述這種差異，同時會提出一個人造生物的備用構(gòu)造。一只小野鴨在印刻作用之前不知道它媽媽的樣子，然而自從它在有利條件下看到媽媽，它就有強(qiáng)烈的目的再看母鴨一次。在這種印刻作用之前，對任何一種可見目標(biāo)都不感興趣，但是之后小野鴨很快就試圖把母鴨形象鎖定在它的視野之內(nèi)。這個目的就是“把母鴨的形象鎖定在視野之內(nèi)〞，它下面的行動就是為了使這件事盡可能頻繁的發(fā)生。如果那只獨特的雌鳥沒有把自己展現(xiàn)給小野鴨，幼鳥可能對它就不會產(chǎn)生任何興趣。如果一個不同的形象代替真正的母鴨展現(xiàn)給幼鴨，假設(shè)是KonradLorenz的面孔，幼鳥將會試圖最大限度的“把KonradLorenz的面孔鎖定在視野之內(nèi)〞。更復(fù)雜的行為方式都是基于已發(fā)生事件〔目的〕的重復(fù)這一觀念。Peter與Susan共度一美好的夜晚，因此他再次邀請她就是為了重復(fù)這一美好的經(jīng)歷。Mary在威尼斯度過了一美好的時光，所以她方案在那里過下一個假期。構(gòu)建機(jī)器人的體系構(gòu)造：分類生物系統(tǒng)的目的不全是天生的：他們只有一些很有限、殘留下來的、固定的目的。隨著他們的長大、開展，生物系統(tǒng)會不斷產(chǎn)生新的目的，分別依賴于兩個因素：遺傳背景和以前的經(jīng)歷。為了選出一個特殊的目的，這兩個因素都是必要的。小野鴨沒有目的跟隨它的親生母親。但是由于基因遺傳野鴨具有一種能力選擇鳥作為母親的目的。那種特殊的鳥〔很可能是它母親〕就變成了一種目的，這種目的控制了小野鴨的學(xué)習(xí)?；谛袨榈娜嗽鞓?gòu)造的行為依賴于經(jīng)歷和設(shè)計初定義的目的〔目標(biāo)〕。在復(fù)雜的生物體系，行為仍依賴于經(jīng)歷和目的；然而，目的不是預(yù)先設(shè)定好的。目的是經(jīng)歷和有限數(shù)量的固有本能〔遺傳的〕相互作用的結(jié)果。在許多復(fù)雜的生物體系，區(qū)分系統(tǒng)發(fā)育和個體發(fā)育的外在特征是可能的，自然生長相對于培養(yǎng)。一般而言，物種開展史涉及產(chǎn)生新構(gòu)造〔基因、身體特征、行為、本能〕過程的時間*圍要比個體發(fā)育長。相反，個體發(fā)育僅限于單個個體的生命跨度。此外，個體發(fā)育能被系統(tǒng)發(fā)育庫〔基因和本能〕或者外界不可預(yù)知的偶然驅(qū)動。這里我們支持這一觀點：區(qū)別行動者或?qū)ο笤谡嬲_展之前決定的目標(biāo)和行動者出生之后指定的目標(biāo)，是有必要的。我稱前者為本能后者為目的。這篇論文的目的就是說明在鳥的印刻作用下，開展過程中產(chǎn)生目的的一系列簡單的程序。則在一個人造體系中實現(xiàn)本能和目的是否有可能呢.我們按照構(gòu)造學(xué)把它分為：固定控制框架，學(xué)習(xí)框架和個體發(fā)育框架〔圖1〕。在第一種框架下〔圖1.a〕，體系不能改變它要做什么。有一種DecisionMaker〔結(jié)果制造者〕模型，它先輸入信號然后再根據(jù)預(yù)先設(shè)定的固定線路模型輸出信號。具有這種構(gòu)造的體系很容易調(diào)節(jié)裝置或?qū)崿F(xiàn)機(jī)械自動化。在第二種框架下〔圖1.b〕下，體系能夠改變它的行為以完成預(yù)先設(shè)定的任務(wù)。這種體系能夠改變它如何行動。RuleMaker〔規(guī)則制造者〕模型可以根據(jù)預(yù)先設(shè)定的固定線路標(biāo)準(zhǔn)改變DecisionMaker〔目的制造者〕模型內(nèi)含的先前的規(guī)則。具有這種構(gòu)造的體系加強(qiáng)了學(xué)習(xí)或催促學(xué)習(xí)人造神經(jīng)網(wǎng)絡(luò)。在第三種構(gòu)架〔圖1.c〕下，體系不僅能改變?nèi)绾巫鍪裁?，還可以分辨那是什么。這種MotivationMaker模型提出了RuleMaker模型追求的目標(biāo)。圖1:三個可能的構(gòu)造在第一種情況中〔上圖〕介紹了體系是什么和如何定義priori；第二種情況〔中圖〕體系改變了它如何行為而不是它在做什么；最后一種情況〔下列圖〕體系不僅改變了做什么也改變了如何做。基于目的的框架構(gòu)造我們提出的構(gòu)造是根據(jù)以前定義的分類法建立的個體發(fā)育體系。下面的觀點是一種物理構(gòu)造〔用于構(gòu)建提出的構(gòu)造〕，它是由外來的事件激發(fā)，并在這個根底上產(chǎn)生動力。提出的這種構(gòu)造利用根本的聯(lián)合程序，簡單的Hebbian學(xué)習(xí)和基于事件的推理。框架構(gòu)造受到外界的刺激并產(chǎn)生信號〔相應(yīng)信號〕，這些信號依賴于體系對外來刺激的評估。例如，如果外界刺激是母親的面孔，體系就會產(chǎn)生一個強(qiáng)烈的相應(yīng)信號。如果外界刺激是一暗灰色的物體，相應(yīng)的信號就會微弱多了。這種框架構(gòu)造有三個主要的模塊：分類模塊，主要是作為模式分類器；系統(tǒng)拓展模塊，包含預(yù)先設(shè)定的準(zhǔn)則；個體發(fā)育系統(tǒng)，用于Hebbian學(xué)習(xí)，并利用分類模塊儲存的模式產(chǎn)生新準(zhǔn)則。分類模塊儲存的外界刺激又是以系統(tǒng)拓展模塊和個體發(fā)育模塊產(chǎn)生的相應(yīng)信號為根底。相應(yīng)信號起初依賴于系統(tǒng)拓展模塊選擇的外界信號的比例，隨后，被個體發(fā)育模塊產(chǎn)生的新信號覆蓋。這種框架構(gòu)造的目的是模仿人類目的的產(chǎn)生。例如，即使人類的系統(tǒng)發(fā)育對汽車沒有明確的遺傳密碼，他也會對汽車產(chǎn)生興趣。相反，雖然昆蟲不能產(chǎn)生新的目的，但是必須遵循遺傳規(guī)則：沒有系統(tǒng)發(fā)育的開展。這種框架構(gòu)造的一個論點就是明確地分為個體發(fā)育局部和系統(tǒng)發(fā)育局部。3.1分類模塊分類模塊的功能是把外來事件的刺激分門歸類，分類模塊輸入的外界的信號是不連續(xù)的。不必限定時間，不必區(qū)分性質(zhì)，可以是任何一種信號〔大量的聽覺信號，視覺信號，過濾的視覺信號〕。我們用真數(shù)的向量s的代表每一個信號，CM創(chuàng)立了一連串的簇Ci。簇的定義是以聚類內(nèi)部建立的準(zhǔn)則和相應(yīng)信號的存在為根底的〔見圖2〕。圖.2.動機(jī)體系框架方案圖一旦承受到外界信號，種類向量c就會計算，它就是CM的輸出數(shù)據(jù)。在分析外界信號時種類向量要包含盡可能多的元素的CM內(nèi)簇。C的元素提供了簇最正確描述的當(dāng)前刺激的標(biāo)志。3.2系統(tǒng)拓展模塊相應(yīng)的系統(tǒng)發(fā)育信號Rph(t)來自系統(tǒng)拓展模塊〔見圖2〕。這一模塊關(guān)于外界信號相應(yīng)比例的內(nèi)部創(chuàng)立準(zhǔn)則的唯一模塊〔例如，分類模塊不具有任何相似的特征〕。從功能上講，它和遺傳本性具有一樣的作用。這與顯著體系和關(guān)注機(jī)制是相似的：它選擇哪個刺激值得體系的關(guān)注。個體發(fā)育模塊有兩種不同的工作方式：〔1〕它根據(jù)一些內(nèi)部的準(zhǔn)則自動產(chǎn)生信號；〔2〕它根據(jù)外界的事件產(chǎn)生信號。在第二種情況下，PM需要一定的根本能力來識別外界環(huán)境中特殊事件的發(fā)生〔母親的出現(xiàn)，色彩柔和的或明亮的物體的出現(xiàn)〕。例如，一個嬰兒看一個色彩明亮的物體比一個色彩暗淡的物體更好奇，這是毫無依賴于以前的經(jīng)歷。這種行為需要固有線路作用的存在來尋找圖像的特征。這種模塊提供了能夠選擇正確行動〔例如那些能夠優(yōu)化引起注意的刺激的行動〕存在的準(zhǔn)則。3.3個體發(fā)育模塊盡管個體發(fā)育體系模塊內(nèi)部建立了有關(guān)特性和外界信號相應(yīng)比例的準(zhǔn)則，但是它會根據(jù)經(jīng)歷選擇新的準(zhǔn)則。從機(jī)能上講，這與生物體系獲得個體發(fā)育準(zhǔn)則發(fā)揮著同樣的作用。個體發(fā)育模塊就像CMc(t)輸出信號的一個門戶。這個門戶作用是通過與CM內(nèi)簇元素數(shù)量一樣的內(nèi)部向量g=(g1,g2-----gn)。g包含在個體發(fā)育模塊之內(nèi)。OM的輸出信號在元素gi最大量計時CM的元素ci時計算出來：Gi的門戶作用〔因此使用字母g〕是允許或防止CM的輸出信號進(jìn)一步增加。如果gi是負(fù)的，相應(yīng)的ci就給了相應(yīng)信號。因為ci描述的是存儲的體系經(jīng)歷過程中獲得不同種類的信號，所以Ron就表示了個體發(fā)育開展的結(jié)果。這種構(gòu)造的結(jié)果就是產(chǎn)生了一種新的強(qiáng)化信號Ron(t),它僅僅依賴于體系實際的經(jīng)歷〔如，收到的輸入信號〕。在這里Ron(t)被稱為相應(yīng)個體發(fā)育信號，因為它來自體系的實際經(jīng)歷。它是個體系統(tǒng)和它的歷史的開展；因此它與個體發(fā)育相稱。向量g是關(guān)于同步事件的信號〔h(t),c(t)〕Hebbian學(xué)習(xí)的結(jié)果；當(dāng)h(t)和ci(t)同時發(fā)生時就產(chǎn)生了學(xué)習(xí)。如果信號h(t)和組分ci(t)是及時相關(guān)的，gi的值趨近為1。相反地作用如下：其中可以用于調(diào)節(jié)學(xué)習(xí)的速度。元素ci(t)相對于CM輸出信號的第i個元素，h(t)為控制個體發(fā)育模塊行動的信號。h(t)有四種不同的選擇：〔ⅰ〕h(t)設(shè)為一負(fù)的常量；〔ⅱ〕h(t)為一預(yù)先設(shè)定的時間變量；〔ⅲ〕h(t)等于的輸出信號；〔ⅳ〕h(t)是關(guān)于相關(guān)環(huán)境信號的獨立信息來源。試驗結(jié)果：動力的出現(xiàn)為了檢測構(gòu)造的合理性，我們一個試驗，看具有我們設(shè)計的框架構(gòu)造的機(jī)器人能否依據(jù)它的經(jīng)歷產(chǎn)生新動力。在試驗中，外來視覺刺激的種類使系統(tǒng)的行為產(chǎn)生改變，這是不同于行為機(jī)器人。行為機(jī)器人不同行為之間的轉(zhuǎn)換是由設(shè)計者定義的動力而引發(fā)的，并不依賴于新產(chǎn)生的自我目的。由于與環(huán)境的相互作用，體系增加了不但可以改變系統(tǒng)怎么〔行動〕做也可以改變做什么〔基于行為的動力〕的新動力。在初步的試驗中，系統(tǒng)有它單個的行為：指向或不看物體，這個動作不是構(gòu)架學(xué)習(xí)的結(jié)果，而是表現(xiàn)了構(gòu)架的新動力的效果。AbstractTheappearanceonthemarketofentertainmentrobotsforchildrenandfamilieshasipsofactocreatedthenewcategoryofmotivation-basedrobots.Ata*onomyofthearchitecturesofdifferentrobotcategoriesisproposed.Thearchitectureofmotivation-basedrobotsisphylogeneticandontogenetic.Atentativearchitectureforaspecifice*perimentalsetupisdescribed.Theresultsofthee*perimentshowthatanewmotivationarisesfromtheinteractionbetweentherobotandtheenvironment.Motivation-basedrobotsequippedwithontogeneticarchitecturemightprovidethefoundationforanewgenerationofrobotscapableofontogeneticdevelopment.Keywords:Associativelearning;Development;Entertainmentrobots;Behaviour-basedrobots;Motivation-basedrobots1.IntroductionManufacturersdesignentertainmentrobotscapableofinteractingwithhumans.Thisinteractionoccursatseverallevels:fromtheselectionofasetofin-builtbehaviourstothecapabilityofbeingindependentandactingonitsown.Entertainmentrobotslearnactionsthroughtouchsensors,switchesandvoicerecognitionmodules.Themostsophisticatedrobotsaresaidtodevelopuniquepersonalitiesthroughtheinteractionwithaspecificenvironment.Robotsthatgothroughaseriesofdevelopmentphases(realorsimulatedfromtoddler,tochild,toadult)appealtoconsumers.Moreover,robotsmustshowemotionslikehappiness,sadness,angerandsurprise,indifferentdegrees.Entertainmentrobotsmustbecuriousandmustbeabletoe*ploretheirsurroundingsontheirown:theserobotsdevelopinrelationtotheirpersonalhistory.Wedefinethisclassofrobotsasmotivation-basedrobotsbecausetheyaimatre-creatingthemotivationalstructureofbiologicalbeings.Thetimehasnowetomovefrombehaviourbasedrobots[1]tomotivation-basedrobots[2–4].Recently,inneuroscienceandrobotics,theproblemofwhatmotivationishasbeeninvestigatedinthemoregeneralframeworkofwhatasubjectis[5,6].Weproposeanengineeringapproachtocreatemotivationsinrobotsthatdoesnotrequiresuchabroadframework.Behaviour-basedrobotsmakeuseoffi*ed“motivations〞hardwiredintheirstructureatdesigntime[7–9].Evensystemsthatarecapableoflearningnewbehavioursmustpursueatargetofsomekindprogrammedatdesigntime;forinstance,ifarobothastolearntoreachagiventargetwithitsarm,itwilllearntomoveaccordingtoapredefined“motivation〞.Onthecontrary,themotivation-basedrobotsmustbeabletoperformactionsdrivenbymotivationswhichtheydidnotpossessatdesigntime,butwhichtheyhavedevelopedbyinteractingwiththeenvironment.Forinstance,an“intelligent〞electronicdevicelikealast-generationdigitalphotocameraperformsalonglistof“intelligent〞tasks:itselectsthebestprogramdependingonthelight,itappliesaple*procedureforeachprograminordertoselecttherighte*posure,therightfocusandalonglistofrelatedparameters.Itmodifiesitsbehaviouronthebasisoftheenvironmentalconditionsinordertooptimisetheendresult.Yet,notwithstandingwhathasbeenstoredinitsinternalmemoryduringalongjourney,itsbehaviordoesnotchange.Noe*ternaleventcanmodifyitsinternalproceduresastheywereoriginallydesigned.Alternatively,ifa3-year-oldchildcameonthesamelongjourney,she/hewouldchange.Theeventsthathappenedto/aroundhim/herwouldchangenotjusthis/hermemorybutalsohis/herfuturedevelopment,his/herinternalcriteriaandthewayinwhichfutureeventswillmodifyhim/her.Onanintermediatelevelbetweenthe3-year-oldchildandthecamera,thereareclassicartificialneuralnetworkimplementations,suchasspeechrecogniserprograms.Theyarecleverdevices;theyrecognizenormalspeechpronouncedbyanaveragemaleorfemalevoice.Theystoreindividuals’voicesandmodifytheirinternalparametersinordertolearnhowtoimprovetheirperformance.Inthisrespecttheyarebetterthanthecamera:whathappenstothemmodifiestheirbehaviour.Ifwetaketwodifferentinstancesofspeechrecogniserprogramsusedbytwodifferentindividuals,theyaredifferent:eachisspecializedonitsowner’svoice.Ontheotherhand,ifwetaketwocamerasusedbytwodifferentphotographers,theyaree*actlythesame.Evenclassicartificialneuralnetworksarelackingsomething:theirgoalsremainthesame.Independentlyoftheire*periencestheydonotchangetheirgoals.Ontheotherhand,the3-year-oldchilddevelopsnewgoalsatanytime.E*periencesmodifybothhis/herbehavior(s)andhis/hercriteria.Fromthepreviouse*ample,itisclearthatthereisadifferencebetweenmotivation-basedbeingsandbehavior-basedbeings.Inthene*tparagraphthisdifferencewillbedescribedindetailandacandidatearchitectureforartificialbeingswillbeproposed.Amallardducklingbeforeitsimprintingprocesshasnoideaofthevisualappearanceofitsmother;however,sincethebirdseesitsmotherunderfavorableconditions,itdevelopsastrongmotivationtoseethemotherduckagain.Beforetheimprintingtherewasnointerestwhatsoeverforthatkindofvisualobject,butimmediatelyafterwards,themallardducklingtriestokeeptheimageofitsmotherinsideitsvisualfield.Themotivationis‘tohavethemother’simageinsidethevisualfield’.Allitsfollowingactionsareperformedinordertomakethiseventoccurasfrequentlyaspossible.Ifthatparticularmother-birdhadnotshownitselftothemallardduckling,thenewbornbirdwouldnothavedevelopedanyinterestinit.Ifadifferentimagehadbeenshowninsteadoftherealmother,letussaythefaceofKonradLorenz,thenewbornbirdwouldhavetriedtoma*imizetheevent‘tohavethefaceofKonradLorenzinsidethevisualfield’.Moreple*behaviouralpatternsarebasedonthesameconceptofrepetitionofanoccurredevent(motivation).PeterhadaniceeveningwithSusansoheinvitesheragaininordertorepeatthepleasante*perience.MaryhadapleasanttimeinVeniceandsosheplansanewholidaythere.2.Architecturesforbuildingrobots:ata*onomyNotallthemotivationsofbiologicalsystemsarefi*edatbirth:theyonlypossessaverylimited,survivaldriven,built-insetofmotivations.Astheygrowanddevelop,biologicalsystemscontinuouslygeneratenewmotivationsonthebasisoftwoseparatefactors:theirgeneticbackgroundandtheirpaste*perience.Botharenecessaryinordertoselectaparticularmotivation.Amallardducklingdoesnothavethemotivationtofollowitsgeneticmother.Yet,viaitsgeneticbackground,thebirdpossessesthecapabilityofchoosingabirdandselectingitasamotivation.Thatparticularbird(hopefullyitsmother)willbeethemotivationthatwillcontrolthelearningofthebird.Thebehaviourofbehaviour-basedartificialstructuresdependsone*perienceandmotivations(goals)definedelsewhereatdesigntime[1,2].Inple*biologicalsystems,behaviourstilldependsone*perienceandmotivations;yet,motivationsarenotfi*ed.Motivationsaretheresultoftheinteractionbetweene*perienceandalimitednumberofhardwiredinstincts(theonesprovidedbygenes).Inmanyple*biologicalsystems,itispossibletodistinguishbetweenphylogeneticaspectsandontogeneticones,natureversusnurture[10–12].Ingeneral,phylogenyreferstothoseprocessesthatproducenewstructures(genes,bodilyfeatures,behaviours,instincts)inatimescalelargerthanthatofsingleindividuals.Onthecontrary,ontogenyislimitedtothelifespanofsingleindividuals[10].Furthermore,ontogenycanbedrivenbythephylogeneticrepository(genesorinstincts)orbytheunpredictablecontingenciesoftheenvironment.Hereweendorsetheviewthatisnecessarytodistinguishbetweengoalswhicharedeterminedbeforetheactualdevelopmentofanagentorsubject,andthosegoalswhicharespecifiedafterthebirthoftheagent.Wewillcalltheformerinstinctsandthelattermotivations.Theobjectiveofthispaperistoillustrateasimplesetofprocedureswhichproducemotivationsduringdevelopment,asinthecaseoftheimprintingprocedureofbirds.Isitpossibletoimplementinstinctsandmotivationsinanartificialsystem?Weproposeata*onomyofarchitectures:afi*edcontrolarchitecture,alearningarchitectureandanontogeneticarchitecture(Fig.1).Inthefirstcase(Fig.1a),thesystemhasnocapabilityofmodifyinghowitdoeswhatitdoes.ThereisasimpleDecisionMakermodule,whichtaketheinputsignalandproducestheoutputonthebasisofsomeapriorihard-wiredmodule.E*amplesofthisstructurearesimplecontroldevicesormachineautomata.Inthesecondcase(Fig.1b),thesystemiscapableofmodifyingitsbehaviourtofulfilsomeaprioritarget.Thesystemiscapableofmodifyinghowitbehaves.TheDecisionMakermoduleisflankedbyaRuleMakermodule.TheRuleMakermodulecanmodifytheapriorirulescontainedintheDecisionMakermoduleonthebasisofapriorihard-wiredcriteria.E*amplesofthisstructurearereinforcementlearningorsupervisedlearningartificialneuralnetworks.Inthethirdcase(Fig.1c),thesystemiscapableofmodifyingnotonlyhowitdoeswhatitdoes,butalsotodefinewhatitdoes.TheMotivationMakermodulesetsthegoalsthathavetobepursuedbytheRuleMakermodule.3.Amotivation-basedarchitectureTheproposedarchitectureisontogeneticaccordingtothepreviouslydefinedta*onomy.Theunderlyingideaistohaveaphysicalstructure(thatimplementstheproposedarchitecture),whichisactivatedbyiningeventsanddevelopsmotivationsonthisbasis.Theproposedarchitecturemakesuseofelementaryassociativeprocesses,simpleHebbianlearningandcasebasedreasoning.Thearchitecturereceivesaniningstimulusandproducesasignal(RelevantSignal)whichdependsonthevaluethesystemgivestotheiningstimulus.Forinstance,iftheiningstimuluscorrespondstothemother’sface,thesystemwillproduceastrongRelevantSignal.Iftheiningstimuluscorrespondstoadullgreyobject,theRelevantSignalwillbeweaker.Thearchitectureismadeofthreemainmodules:theCategoryModulethatisbasicallyapatternclassifier;thePhylogeneticModulethatcontainstheaprioricriteria;theOntogeneticModulethatappliesHebbianlearninganddevelopsnewcriteriabyusingthepatternsstoredintheCategoryModule.TheiningstimuliarestoredintheCategoryModuleonthebasisoftheRelevantSignalingfromthePhylogeneticModuleandtheOntogeneticModule.Atthebeginning,theRelevantSignaldependsonthosepropertiesoftheiningsignalsthatareselectedbythePhylogeneticModule.Subsequently,theRelevantSignalisflankedbythenewsignalsingfromtheOntogeneticModule.Thearchitectureisaimedatmimickingthedevelopmentofmotivationsinhumanbeings.Forinstance,ahumandevelopsaninterestforcarsevenifnothinginhis/herphylogeneticcodeise*plicitlydirectedtowardscars.Onthecontrary,aninsectcannotdevelopnewmotivationsbutmustfollowitsgeneticblueprint:ithasnoontogeneticdevelopment.Oneoftheissuesofthisarchitectureistoe*plicitlydividetheontogeneticpartfromthephylogeneticpart.3.1.CategoryModuleThecategorymodulehastheroleofgroupinginclusters,classesandcategoriesofstimuliingfromthee*ternalevents.Adiscreteflowofiningsignalsistheinputofthecategorymodule.Nohypothesisisrequiredfortheirtiming;nohypothesisisrequiredfortheirnature.Thesesignalscouldbeofanykind(chunksofauditorysignals,visualimages,filteredvisualimages).Eachsignalisrepresentedbyavector_sofrealnumbers(_s∈Rn).CMcreatesaseriesofclustersCigroupingclassesofstimuliwhereeachclusterCiisasetofstoredstimuli.Theprocessofclusterdefinitionisbasedonaninternallybuilt-incriteriaforclusteringandonthepresenceofaRelevantSignal(seeFig.2).Wheneveraniningsignalisreceived,aCategoriesVector_c,whichistheoutputoftheCM,isputed.TheCategoriesVectorcontainsasmanyelementsastheclustersinsidetheCMatthetimeinwhichtheiningsignalisanalysed;theelementsof_cprovideanindicationofwhichclusterbestrepresentsthecurrentstimulus.Theithelementciisequaltothenormalizeddifferencebetweenthema*imumpossibledistance,usually1,andtheactualdistancedC(whichwillbee*plainedbelowinthisparagraph)betweentheiningsignal_sandtheclusterCi.Inthisway,theelementciwiththegreatestvaluecorrespondstotheclusterCithatbestmatchestheiningsignal:3.2.PhylogeneticModuleTheRelevantPhylogeneticSignal,Rph(t)isproducedbythePhylogeneticModule(PM,Fig.2).Thismoduleistheonlyonethathassomebuilt-incriteriaconcerningtherelevantpropertiesoftheiningsignal(forinstance,thestructureoftheCategoryModuledoesnotpresentanysimilarfeature).Functionally,ithasthesameroleasthegeneticinstinctsinbiologicalsystems.Itissimilartosaliencysystemsorattentionmechanisms[27]:itselectswhichstimuliareworththeattentionofthesystem.APhylogeneticModuleworksintwodifferentways:(i)itautonomouslyproducesasignalonthebasisofsomeinternalcriteria;(ii)itproducesasignalonthebasisofsomee*ternalevents.InthesecondcasethePMneedssomekindofelementarycapabilityinordertorecognizeparticularoccurrencesofeventsinthee*ternalenvironment(thepresenceofthemother,thepresenceofsoftorbrightlycolouredobjects).Forinstance,ababylookswithmorecuriosityatbrightlycolouredobjectsthanatdullcolourlessobjects,independentlyofanypaste*perience.Thisbehaviourrequiresthee*istenceofahardwiredfunctionlookingforarelevantpropertyofimages(saturatedcolours).Thismoduleprovidescriteriathatcanbeusedtoselectcorrectactions(forinstancethoseactionsthatma*imizethepresenceoftheinterestingstimuli).3.3.OntogeneticModuleWhereasthePhylogeneticModulehasbuilt-incriteriaaboutthenatureandtherelevantpropertiesoftheiningsignal,theOntogeneticModuleselectsnewcriteriaonthebasisofe*perience.Functionallyithasthesameroleastheacquiredontogeneticcriteriainbiologicalsystems.TheOntogeneticModuleactsasagatefortheiningoutputoftheCM_c(t).Thegatingprocedureisimplementedbymeansofaninternalvector_g=(g1,...,gn)twhichhasthesamenumberofelementsastheclustersinCM._giscontainedinsidetheOntogeneticModule.TheoutputoftheOMisputedasthema*imumamongtheelementsgitimestheelementscioftheCM:Thegihavetheroleofgates(hencetheuseoftheletterg)inordertoletortopreventtheeffectoftheoutputoftheCMtopropagatefurther.Ifthegiarepositive,thecorrespondingcicontributetotheRelevantSignal.Sincethecirepresentthestoredcategoriesacquiredduringthee*periencesofthesystem,theRonistheresultoftheontogeneticdevelopment.Theresul