HIERARCHIKUS MARKOV FOLYAMATOK ALKALMAZÁSA A SERTÉSTARTÁS DÖNTÉSI FOLYAMATAIBAN APPLICATION OF THE HIERARCHIC MARKOVIAN DECISION PROCESSES IN THE DECISION MAKING PROCESSES OF PIG KEEPING Kovác Sánor, Balogh Péter 2 Abztract: Jelen tanulmány keretén belül tárgyaljuk a Markov láncokon alapuló Markov önté folyamatokat, valamnt ezek továbbfejleztett változatát, a Herarchku Markov Folyamatokat Rézleteen leírjuk ezen folyamatok optmalzácó lehetőéget, valamnt mertetünk egy án kutatók által kfejleztett, e folyamatokon alapuló ngyene zoftvert, melyet kfejezetten állattenyézté öntéek támogatáára alkottak A zámo lehetőég közül a koca nevelé é vehmeíté moellt mutatjuk be Megajuk a program futtatáához zükége alapparamétereket, beállítáokat, valamnt egy zmulált telep öze kocájára érték terácóval kzámítjuk az elérhető jöveelmet é a kocánként öntéek orozatát Bemutatjuk annak a lehetőégét, hogy az eremények alapján hogyan önthetünk pélául olyan kéréekről, hogy termelében tartuk-e az állatot, vagy ne, lletve hányzor éreme termékenyíten a kocát az élete folyamán Pélát aunk a kapcolóó relatív haznoágok alakuláára, ha aott öntét hozunk egy mákkal zemben Kulczavak: Markov folyamatok, koca moell, vemheíté, gazaágoág Bevezeté A mkrozámítógépek elterjeée megnövelte az nformatka jelentőégét az állattenyéztében, különöképpen az nformácó é öntétámogató renzerek kfejleztéében A öntétámogató renzerek állattenyéztében történő alkalmazáa még a fejlett orzágokban em ér el a zakemberek által megkövetelt zntet, ezért ez egy kevelt é vzatérő téma az nformatka konferencákon A tervezé bonyolultága zükégeé tez matematka mózerek kfejleztéét, alkalmazáát a vzgált problémák megoláának megkönnyítéére Erre a célra a mezőgazaágban zámo matematka mózert vettek már génybe, mnt pélául a hálótervezé, a lneár programozá, függvény analíz é a matematka tatztka Ezek az analtku mózerek az optmál megolára törekzenek, ezért azonban árat kell fzetnünk A lneár programozá eetében nagy kötöttéget jelen az, hogy lneár özefüggéeket kereünk, é ezzel lezűkítjük az alkalmazá területet A járhatóbb út a valóág moellezée úgynevezett zmulácó kíérlettel, mely nagyobb rugalmaágot bztoít é kzéleít a felhaználá körét A zmulácó mózer előorban nem optmalzácó eljárá, e az általunk bemutatott mózer, amely a namku programozából nőtte k magát beépített optmalzácó moullal renelkezk Jelen tanulmány keretén belül bemutatjuk a Herarchku Markov Folyamatok rézlete mózertanát, azok optmalzácó lehetőéget, valamnt mertetünk egy án kutatók által kfejleztett, ngyene zoftvert, melyet kfejezetten állattenyézté öntéek támogatáára alkottak A zámo lehetőég közül egy alapvető problémát tárgyalunk, a kocák vemheítéének problémáját A program bemutatáa orán a mózertanban bemutatott fogalmakra támazkounk 2 Történet átteknté A namku programozá mózertanát előzör Bellman publkálta (Bellman,957) A könyvben a zekvencál önté problémák megoláára zolgáló, új numerku mózert aott közre, melynek fő eleme a Bellman-féle optmaltá követelmények é a funkconál egyenletek Az elő művét követően Bellman még zámo má könyvet aott k a témában (Bellman, 96), (Bellman an Debrecen Egyetem, kovac@agrunebhu 2 Debrecen Egyetem, baloghp@agrunebhu
Dreyfu, 962), (Bellman é Kalaba, 965) A namku programozáról okan azt tartották, hogy egy trvál zámolá ezköz, máok túlágoan okra értékelték Kéőbb azonban gazolóott, hogy em trvál, em peg a való élet problémának zéle köre nem olható meg vele Fő eleme a namku programozának a zekvencál megközelíté mó, am azt jelent, hogy a orozato önté problémákra llezkek legnkább A legnylvánvalóbb péla orozato önté problémákra az állattenyézté ágazatban az állat elejtezéének, lletve új kocaülő beállítáának folyamata, valamnt az nzemnálá, vemheíté é orvo ellátá A mózer azért releván az állattenyézté problémákra, mert az állat jellemzőt (pl: alacony vagy maga hozam, megtermékenyülé képeég, alomzám, tb) valózínűégekkel becüln tujuk, é öntéenk a jellemzők aktuál megfgyeléere vonatkoznak A namku programozá Markov folyamatokkal történő özekapcoláát Howar olgozta k (Howar, 960) A két mózer kombnáláával jött létre a Markov önté folyamat (MDF) fogalma, melyet zntén Howar vezetett be Ő mertette a poltka terácót, é az érték terácó technkát, amellyel az MDF optmalzálható A poltka terácót két optmaltá krtérum matt fejleztették k, nevezeteen a telje őhorzontra vonatkozó, elvárt zkontált jöveelem é az elvárt átlago őzak jöveelem maxmalzáláára Kéőbb Jewell mutatta be a poltka terácót az átlago jöveelem maxmalzáláára a telje őhorzonton, é em-markov önté folyamatnak nevezte (Jewell, 963) Ez egy olyan MDF, amelyben az őzakok hoza véletlen változók Howar az értékterácóra kolgozta a em-markov önté folyamatokat (Howar, 97) A teljeég kevéért megjegyzenő, hogy a lneár programozá mózerét már az említett két optmalzácó technka előtt alkalmanak tartották az MDF-ek optmalzáláára (Haley, 964), e emelyk állattenyézté moellben nem alkalmazták a kutatók ezt a technkát, mvel a poltka terácó hatékonyabbnak bzonyult a lneár programozánál Howar 960-ban publkált könyve után zámo olyan kutatá látott napvlágot, amely az optmalzácó technkák é az optmaltá krtérumok kapcolatát vzgálta (Wal an Weel, 985) Az MDF-e alkalmazáok omnán területe az állatok utánpótláának, elejtezéének a problémája özekapcolva az orvo kezeléekkel é az nzemnáláal Az eg mózertan fejleztéek nagy rézét Krtenen é Jorgenen (995) publkálta Az alkalmazáok 3 fő nehézége a változékonyág, reprouktív ckluok, korlátok (pélául a malacnevelő képeég határa, vagy a vége elhelyezé kapactá) Az elő két nehézéget leküz az MDF, az utóbbn peg nem lehet változtatn 3 Anyag é mózertan 3 Markov lánc A Markov önté folyamatok alapja a Markov lánc fogalma, ezért megértéükhöz feltétlenül zükég van néhány alapvető fogalom tztázáára a Markov láncok elméletéből A Markov lánc a ztochaztku folyamatok pecál típua Egy zkrét ejű ztochaztku folyamatot akkor nevezünk Markov láncnak, ha a P ( X t + = t + X t = t ) feltétele valózínűég fennáll Mnez azt jelent, hogy a t+-ek őzak állapotának valózínűégelozláa a t-ek őzak állapotától függ, e nem függ azon korább őzakoktól a láncban, amelyeken már áthalat a folyamat Ebben az értelemben általánoan feltehetjük, hogy mnen é j állapotra mnen t őzakban fennállnak a P ( X t+ = j X t = ) = pj é P( X t + = j X t = ) valózínűégek é ezek cak t-től függnek A p j jelöl annak a valózínűégét, hogy az aott renzer a t őzakbel -ek állapot után a t+-ek őzak j-ek állapotába kerül Innen ere p-re az átmenet valózínűég elnevezé Továbbá azok a valózínűégek, amelyek az elő őzak -ek állapotának bekövetkezéére vonatkoznak, azok a kező valózínűégelozláok, jelük q Így P(X = ) = q Végül mnen t őzakbel állapotra teljeül a következő egyenlet: j t+ P( X = j X = ) = Ebből az következk, hogy az átmenet valózínűégek alkotta mátrx eleme nemnegatívak, é mnen orözeg -et a A p valózínűégeket gyakran cak egylépée valózínűégeknek j t
nevezk, mvel a t őzakból t+-ek őzakra térünk át Szokáo erre a p j () jelölét haználn Mnen Markov lánccal megolható problémánál az a kéré merül fel, hogy m a valózínűége annak, hogy j állapotban lez a folyamat n lépé múlva, ha jelenleg az -ek állapot jellemz Markov lánc eetén a taconartáát haználjuk k, am azt jelent, hogy a valózínűégek függetlenek t őzaktól Ebből az aók, hogy: P ( X t + 0 = = j X t = ) = P( X n = j X = ) pj ( n) ahol a p j (n) az úgynevezett n lépée valózínűég Termézeteen p j ()= j = p p ( 2) p p j (2) az j-ek eleme a P 2 mátrxnak, ahol P= p j () az átmenet k k kj valózínűégek mátrxa Általánoan peg p j (n) az j-ek eleme a P n mátrxnak Általában a legtöbb Markov lánc eetén többnyre létezk a π = π, π,, π ) vektor (Barbour, 2004): lm vagy máképpen: lm p (n) = π n j n j P ( 2 n n π π = π π π π 2 2 2 π π π Ez azt jelent, hogy a Markov lánc állanóul a j-ek állapotban π j valózínűéggel, ez független a knuló állapottól A π vektor a Markov folyamat egyenúly elozláa Két mója van az egyenúly elozlá megtaláláának Az egyk mó az, hogy az átmenet valózínűég mátrxot önmagával tetzőlegeen okzor özezorozzuk A mák út peg az egyenletrenzerekkel történő meghatározá A P átmenet valózínűég mátrx eleme képezk az egyenletrenzerek meretlenjenek együtthatót, az meretlenek a vektor eleme, az egyenlet jobbolalán zntén a π vektor eleme állnak 32 Markov önté folyamatok Legyen aott egy renzer, amelyet vége vagy végtelen őhorzonton fgyelünk meg Az őhorzont peróuokra vagy őzakokra oztható Mnen egye őzakban a renzert aott állapotában fgyeljük meg é zükég zernt beavatkozunk A önté vagy etermnztkuan vagy ztochaztkuan befolyáolja az állapotot, amelyet a következő őzakban fgyelünk meg A renzer állapota é az őzak függvényében egy ennek megfelelő jöveelmet érünk el A telje elvárt jöveelmet az aott őzaktól kezve egézen a tervezé őhorzont végég egy úgynevezett értékfüggvény aja meg A kapcolatot az aott őzak értékfüggvénye é a következő őzak zámított értékfüggvénye között a funkconál egyenletek aják meg Az optmál önté, amely az őzaktól é az állapottól függ, úgy határozható meg, hogy lépéről lépére vzafele halava maxmalzáln kell a funkconál függvény jobbolalát Legyen aott egy zkrét Markov önté folyamat egy vége állapottérrel, U={állapot =,2,,u} é egy vége D önté halmazzal Az poltka peg egy önté fa, pecál elrenezé, amely mnen egye állapothoz egy öntét renel, tehát ()= D Legyen pj az állapotból j állapotba kerülé úgynevezett átmenet valózínűége, amkor D öntét hoztuk A önté által nyerhető jöveelem állapotban r A két átmenet között őntervallumot őzaknak nevezzük Néhány moell az m fzka mennyéget (egy anyakocára jutó alomnagyág, vagy életteljeítmény) tartalmazza állapotban öntétől függően (Krtenen,99) A p, r, m jelöléek mellett p, r, m jelölé haználato é elfogaott, ha ()= Az optmál poltka maxmalzál egy előre efnált célfüggvényt Az optmalzácó technka függ a célfüggvény alakjától, amelyet máképpen j j p j é
optmalzácó krtérumnak neveznek A krtérumok megválaztáa attól függ, hogy az őhorzont vége-e, vagy végtelen 33 Optmalzálá krtérumok Tegyük fel, hogy aott T őzak, tehát vége őhorzonton mozgunk, é a telje őhorzontra vonatkozó, várható jöveelmet maxmalzáln akarjuk Ekkor a következő célfüggvényt alkalmazzuk: Hozam (,, T ) = E( ri ), Ahol az E a várhatóérték, az -ek őzak poltka, I peg a nem mert állapota az -ek őzaknak Lehetőégünk van azonban olyan függvényt megan, amely zkontálva tartalmazza az özegeket Ez azt jelent, hogy jelenértékben zámoljuk a kéőbb elvárt jöveelmet Ekkor a függvény az alább alakot ölt: T 2 (,, ), Hozam T = E ri + R = ahol az R a pac kamatlábat jelöl Amkor végtelen őhorzonton mozgunk, nem mert előre az őzakok orozatának vége, akkor zámolhatunk a hozam 2 függvénnyel, a hozam függvényt peg nem haználhatjuk Mvel a zkontálá tényező egynél kebb, ezért az őzakok végtelenbe tartáa eetén az egy fx értékhez konvergál A hozam 2 függvény mák elnevezée a zkontált kocánként nettó jöveelem Amennyben egyenlő hozú őzakokkal olgozunk, kzámíthatjuk az őzakonként átlago nettó jöveelmet Hozam3( ) = π Ahol π az állapot bekövetkezéének állanóult valózínűége az poltka mellett Ugyanezzel a jelöléel már zerepelt a Markov láncok fogalma között Korlátozó tényezők mnt pélául az alomnagyág moellbe építée eetén a legalkalmaabb krtérum megaható a következő függvénnyel (pélául akkor, mkor az egy malacra jutó átlago elvárt jöveelmet zeretnénk maxmalzáln): u ahol u = π r 4 ( ) = Hozam =, u π m = m az egy falára jutó malacok záma b-ban az -ek állapotban az poltka mellett Amkor a hozam 3 függvény alkalmazható, akkor a hozam 4 alkalmazható, lletve a hozam 4 pecál eete a hozam 3 függvény Ezek a függvénytípuok Krtenen munkájában találhatók meg (Krtenen, 996) 34 Az alkalmazható optmalzácó technkák Érték terácó Kválóan alkalmazható mózer vége őtáv eetén Az optmál poltkát az alább függvényegyenlőég rekurzív haználata aja meg (Krtenen,996): u f ( n) = max r + β pj f j ( n ), =,, u, j= Ahol a önté maxmalzálja a jobb olalát az egyenlőégnek ott van optmum az állapotban a kérée őzakban Az f (n) a telje őhorzontjára vonatkozó, várható zkontált jöveelme, T = r,
amely állapotban kezőött é tart n őzakon kereztül, melőtt lezárul Az f (0) egy knuló értéke a renzernek, amkor az az állapotban van Mnen őzakban egy optmál poltkát válaztunk a fent egyenlőég alapján A hozam célfüggvény haználata eetén a β = teljeül az egyenlőégben, egyébként peg β a zkontálá tényezőt jelent Végtelen őtáv eetén az érték terácó arra haználható, hogy megközelíte az optmál poltkát Belátható, hogy a hozam 2 célfüggvény végtelen őtávú változóval történő haználata mellett lm f (n) = f, =,,u, ahol az f fx -re kontan érték A fent egyenlőég alkalmazáa eetén előbb utóbb megfgyelhetjük, hogy az f ( n +) egy ő után majnem egyenlő lez f (n) -nel bármely nexre Továbbá ugyanaz a poltka aók zámo őzakon kereztül Ebből már tuhatjuk azt, hogy ez már az optmál poltka Mvel a hozam 3 célfüggvény egy pecál eete a hozam 4 célfüggvénynek, ezért a krtérumot megahatjuk cak a hozam 4 célfüggvénnyel Ebben az eetben az (n) a várható jöveelmet jelöl, amkor a folyamat egy kező őzak állapotától ag tart, amíg n egyég fzka mennyéget elő nem állítottunk Az optmál poltka ezen n egyégny output előállítáához megaható az alább rekurzív formulával (Krtenen,996): n u nr f + ( n) = max a + f + (0) ( a) r pj f j ( n m ), n=, m j= m n Ahol a = 0 m < n r Mnen azon a feltételezéen alapzk, hogy az m mutató (jöveelem/kbocátá) kontan mara az egéz őzakban Ha n értéke elég nagy, akkor a=0 aók Howar (97) tanulmányában az őzak várható hozaként értelmezett paraméter Így a hozam 4 függvény az őzakonként elvárt jöveelemként fogható fel Poltka terácó A poltka terácót végtelen őtáv eetében haználhatjuk Ellentétben az érték terácóval, a poltka terácó mng optmál megolát zolgáltat Kombnálható mn a hozam 2 függvény végtelen őtávo változatával, mn a hozam 3 é a hozam 4 függvénnyel Az f a várható jövőbel jöveelme a folyamatnak, ha az poltkát követjük é a Hozam 2 végtelenített változatát alkalmazzuk A Hozam 3 függvény é a Hozam 4 függvény alkalmazáával az f f m az az állapot relatív haznoágát jelent poltka mellett Az f a várható jövőbel jöveelme a folyamatnak, ha az poltkát követjük é a Hozam 2 végtelenített változatát alkalmazzuk A Hozam 3 függvény é a Hozam 4 függvény alkalmazáával az f az állapot relatív haznoágát jelent poltka mellett 35 Herarchku Markov folyamatok Krtenen án profeor a Markov önté folyamatok alapján fejleztette k a Herarchku Markov folyamatok (HMP) technkáját, amely lehetővé tezk, hogy nagy állapotterű (akár 6,8 mlló állapotból álló) renzerekkel olgozzunk (Houben et al, 994; Krtenen, 2004a) A HMP alkalmazáa ugyanakkor nem zárja k az érték terácó é a poltka terácó alkalmazáát A Markov önté folyamatok orozatát rézfolyamatnak nevezzük a HMP-n belül, amelyet zntén egy Markov önté folyamatba ágyaztunk be, amelyet peg a alapfolyamatnak nevezünk Az alapfolyamat lehetége állapota meghatározzák a rézfolyamatok állapotat Az alapfolyamat
állapota aott tulajonágara vonatkoznak, amelyek az állatok között változnak, e ugyanazon állatra vonatkozóan kontannak teknthetőek a vzgálat eje alatt (pl genetka helyzet, tartámó, tb) Azok a tényezők, amelyek az ő függvényében változhatnak, a rézfolyamatok állapotváltozóként zerepelnek a moellben Mnen rézfolyamat vége zámú őzakokból (tage) áll (ezek lehetnek pélául az állat életének különböző életzakaza) Az alapfolyamat állapotaból zármazó hozamot a rézfolyamatokból zármazó hozam határozza meg A moellezett ztuácótól függően a HMP úgy határozza meg az optmál önté tratégát, hogy egy megfelelő, előre efnált függvényt maxmalzál Lehetőég van a faláonként átlago jöveelem, vagy az átlago jöveelem/malac vagy az átlago elvárt telje zkontált jöveelem kzámítáára 4 Eremények A HMP-ket moellező programot Krtenen án profezor kézítette el (Krtenen, 996) A program egy aját fejleztőfelületet kínál fel ( ábra), amelyben tetzőlegeen zerkezthetünk folyamatokat, alfolyamatokat, állapotokat, e beépített moellek renelkezéünkre állnak A tanulmányunkban egy lyen beépített moellt (az un koca moell) mertetünk, amelyek állatok életét zmulálják A kocák eetén a megolanó probléma a termékenyíté kérée Ha termékenyítettünk egy állatot, akkor az állat a következő állapotokba kerülhet: az állat vemhe lehet, meő marahat vagy megbetegehet ( ábra) A 3 állapotnak megfelelően öntünk a oráról, é mnen egye önté következtében a cklu a következő őzakban a megfelelő állapotba aott valózínűéggel kerül Ezen valózínűégek beclée egyéb eljáráokkal az alapaatok alapján történk Pélául ha -zer termékenyítjük az állatot, akkor 0,887 valózínűéggel vemheül a következő őzakaz alatt ( ábra) A valózínűégeket előre efnált elozláok zernt megahatjuk Egyéb értékeket be kell állítanunk az optmalzácó kere érekében, pélául a várt nettó jöveelmet az aott önté eetén, zületett malacok záma, kocaülők záma, alomzám, faláok záma tb ) ábra A kocák termékenyítéének moellje
2 ábra Az alkalmazható optmalzálá krtérumok A 2 ábra az alkalmazható hozam függvényeket, vagy az optmalzálá krtérumat tüntet fel A countng a már bemutatott Hozam2 függvény, a mák két krtérum a Hozam3 é Hozam4 függvény 3 ábra Az optmál öntéek orozata é az elérhető jöveelem Az optmalzálá ereménye a 3 ábrán látható, a program megaja az alkalmazanó tratégát (tartuk-e meg az állatot, vagy ne, hány termékenyítében vegyen rézt, tb), é a kapcolóó relatív haznoágokat, ha aott öntét hozunk zemben egy mákkal A következőkben bemutatjuk a Koca moell paraméterenek beállítá lehetőéget é a zmulácó ereményet Az alapparaméterek az ereet bológa moellből zármaznak (Krtenen, 2004b)
4 ábra A koca moell paraméterenek beállítáa A 4 ábra mutatja, hogy mlyen paramétereket kell beállítan az optmalzálá előtt Előként a várható faláok zámát kell megan Maj az egy falára jutó termékenyítéek mnmál é maxmál értékét állítjuk be Meg kell an a felhaznált kanok zámát é a zoptatá ejét hetekben 5 ábra Az alomnagyágát meghatározó moell paraméterenek beállítáa Az 5 ábrán az elő négy paraméter a különböző elozláok átlagat határozza meg, míg a következő kettő a zóráokat efnálja A 7 orban az özefüggé zoroágát lehet beállítan Az utoló három or a technka környezet é a moell zerkezetének változtatáát tez lehetővé
6 ábra A koca paraméterenek beállítáa A 6 ábrán a koca különböző jellemzőnek a beállítáát mutatjuk be Az aatok elő coportja a koca tettömegének az alakuláát mutatja a különböző faláok eetében egy tanar görbe alapján A több aatnál a különböző faláokhoz ahatók meg beállítá paraméterek (kontan, alomnagyág hatáa, alomnagyág hatá négyzete), amelyek zükégeek az alkalmazott függvények kzámítáához a nem tervezett elejtezéek eetében A moellezé orán valójában ok falá paramétert özevon a moell é azokkal kalkulálja a végereményt 7 ábra A takarmány fogyaztá paraméterenek beállítáa A 7 ábrán a vemheég é a zoptatá alatt takarmány fogyaztá paraméterenek beállítáát mutatjuk be Külön lehet megan a termékenyíté ejére é a vemheég 4 eltérő őzakára a nap takarmány fogyaztá aatat A malacok 3 5 het takarmány felvételét be tujuk állítan Az albtum takarmányozá regrezó paraméteret tt tujuk efnáln c 0 c 6 -g (a faláok zámát, a faláok zámának négyzetét, a malaczámot, a malacok zámának négyzetét, a tömeggyarapoát, a válaztá kort)
8 ábra A különböző árak rögzítée A 8 ábra az árak paraméterenek beállítáát mutatja A koca takarmányának ára megahatók a különböző őzakokra (termékenyíté, vemheég, zoptatá) é a malactáp ára tt rögzíthető Beállítható a malacár, a tenyézülő ára, a elejtkoca ár é a betegkoca cökkentett értéke 9 ábra A termékenyíté paraméterenek beállítáa A 9 ábrán a termékenyíté paraméteret mutatjuk be Mnen falánál külön külön megahatók az értékek A termékenyíté arányt az alaparánytól é a falától függő relatívhatáként határozzuk meg A termékenyíté költégénél változatlan árral kalkulálunk A ténylege termékenyíté arányt úgy zámoljuk k az n-k falánál, hogy az alaptermékenyíté rátát megzorozzuk az n-k falá relatív hatáával A vzavarzó állatok mételt termékenyítéének költéget fgyelembe tujuk venn 4 újratermékenyítég 0 ábra A malacok elhulláának alakuláa az elő é a kéőbb faláok orán
A 0 ábrán bemutatjuk a malacok elhulláának alakuláát az elő é a kéőbb faláok orán ábra A Koca moell főmenüje A ábrán látható a Koca moell főmenü, amelyből egy már létező koca állomány aatat nythatjuk meg a programban Így tujuk gyoran beolvatatn a már meglévő aatankat 2 ábra A Koca moell főmenüje az állomány ereményevel A Koca moell főmenüből lehetőég van arra, hogy egy már korább vzgálat elmentett ereményet megnyuk (2 ábra) Így lehetővé válk a már megolott eremények zakma vzgálata 3 ábra Az optmál öntéek orozata é az elérhető jöveelem az állomány mnen kocájára kzámítva A 3 ábrán látható, hogy a zmulált telep öze kocájára érték terácóval kzámítottuk az elérhető jöveelmet é a kocánként öntéek orozatát Mnen egye kocának meg van ava az
azonoítója, a faláanak a záma, az előző lehetége alomzáma, a legutoló alom mérete, a potencál alomzám értéke úgy, hogy fgyelembe vettük a legutoló alom nagyágát, a koca termelében tartáának jövőbel jöveelmezőége, a vemheítéek zámának maxmuma melőtt a kocát termékenyég zavarok matt elejtezn kellene A legérekeebb nformácó az elérhető jöveelem, amelyet teknthetünk egy féle gazaág nexnek, am a koca okféle termelé tulajonágából alakult k A negatív érték azt jelent, hogy célzerű lenne a koca elejtezée A poztív zám azt jelz, hogy a kocát éreme a termelében tartan A numerku érték azt mutatja, hogy a költégek eltérnek az optmál értékektől Iroalomjegyzék Barbour, A 2004 Bonformatk II, Probablty an Stattc, Markov chan, http://wwwmathunzhch/~chum/bonf2html Bellman, R E 957 Dynamc Programmng Prnceton: Prnceton Unverty Pre Bellman, R E 96 Aaptve control proce: a gue tour Prnceton: Prnceton Unverty Pre Bellman, R E an Dreyfu, S E 962 Apple ynamc programmng Prnceton: Prnceton Unverty Pre Bellman, R E an Kalaba, R 965 Dynamc programmng an moern control theory New York: Acaemc Pre Haley, G (964): Nonlnear an ynamc programmng Reang, Maachuett:Aon-Weley Houben, E H P, R B M Hurne, A A Djkhuzen, an A R Krtenen 994 Optmal replacement of matt cow etermne by a herarchc Markov proce Journal of Dary Scence 77: 2975-2993 Howar, R A 960 Dynamc programmng an Markov Proce Cambrge, Maachuett: The MIT Pre Howar, RA 97 Dynamc probabltc ytem Volume II: Sem-Markov an econ proce New York: John Wley & Son, Inc Jewell, W 963 Markov renewal programmng I an II Operaton Reearch : 938-97 Kenney, J O S 98 Applcaton of ynamc programng to agrculture, foretry an fhere: Revew an progno Revew of Marketng an Agrcultural Economc 49: 4-73 Krtenen, A R 2004a A ow replacement moel ung Bayean up-atng n a 3-level Herarchc Markov proce: II Optmzaton moel Lvetock Proucton Scence 87(): 25-36 Krtenen, A R 2004b A ow replacement moel ung Bayean up-atng n a 3-level Herarchc Markov proce: I Bologcal moel Lvetock Proucton Scence 87(): 3-24 Krtenen, A R, 996 Her management:dynamc programmng/markov econ procee, Dna Notat No 49 Krtenen, AR 99 Maxmzaton of net revenue per unt of phycal output n Markov econ procee European Rewew of Agrcultural Economc 8: 23-244 Krtenen, AR an Jorgenen, E 995 Applcatonal perpectve of recent evelopement n ynamc programmng metho for her management upport Dna Notat No 33 Ro, S M 970 Apple probablty moel wth optmalzaton applcaton San Francco, Calforna: Holen-Day Wal, J, an Weel, J 985 Markov Decon Procee Stattca Neerlanca 39(2): 29-233 Whte, CC, an Whte, DJ 989 Markov econ proce European Journal of Operatonal Reearch 39: - 6