1，什么是馬爾可夫決策過程

馬爾可夫決策過程是研究隨機(jī)環(huán)境下多階段決策過程優(yōu)化問題的理論工具，在過去的幾十年中，隨著生態(tài)科學(xué)、經(jīng)濟(jì)理論、通訊工程以及眾多學(xué)科中需要考慮不確定因素和序列決策問題的大量新模型的涌現(xiàn)，進(jìn)一步刺激了馬爾可夫決策過程在理論上和應(yīng)用領(lǐng)域中長足發(fā)展50年代r.貝爾曼研究動態(tài)規(guī)劃時和l.s.沙普利研究隨機(jī)對策時已出現(xiàn)馬爾可夫決策過程的基本思想。r.a.霍華德(1960)和d.布萊克韋爾(1962)等人的研究工作奠定了馬爾可夫決策過程的理論基礎(chǔ)。1965年，布萊克韋爾關(guān)于一般狀態(tài)空間的研究和e.b.丁金關(guān)于非時齊（非時間平穩(wěn)性）的研究，推動了這一理論的發(fā)展。1960年以來，馬爾可夫決策過程理論得到迅速發(fā)展，應(yīng)用領(lǐng)域不斷擴(kuò)大。凡是以馬爾可夫過程作為數(shù)學(xué)模型的問題，只要能引入決策和效用結(jié)構(gòu)，均可應(yīng)用這種理論。

2，什么是 邊際收益遞減

　　通俗地講：當(dāng)你極度口渴的時候十分需要喝水，你喝下的第一杯水是最解燃眉之急、最暢快的，但隨著口渴程度降低，你對下一杯水的渴望值也不斷減少，當(dāng)你喝到完全不渴的時候即是邊際，這時候再喝下去甚至?xí)械讲贿m，再繼續(xù)喝下去會越來越感到不適（負(fù)效用）。 　　另一種解釋方法：你開了個小作坊，每天可以產(chǎn)出5件商品，那么效率是5件/天。你的生意越做越大，需要找來幫手，于是現(xiàn)在變成了2個員工。人多了，工作時聊天誤工、兩個人相互推托依賴，都希望自己偷偷懶、省省力，于是效率變成了4.5件/天，在工資等激勵制度不變的情況下，產(chǎn)出效率會越來越小。這就是邊際效用遞減規(guī)律在生活中的2則實(shí)例。 　　可以用各種理由來解釋邊際效用遞減，但最重要的是一種生理解釋。效用，即滿足程度是人神經(jīng)的興奮，外部給一個刺激（即消費(fèi)某種物品給以刺激，如吃面包刺激胃），人的神經(jīng)興奮就有滿足感（產(chǎn)生效用）。隨著同樣刺激的反復(fù)進(jìn)行（消費(fèi)同一種物品的數(shù)量增加），興奮程度就下降（邊際效用遞減）。這個規(guī)律對我們理解消費(fèi)者的消費(fèi)行為非常重要。 　　消費(fèi)者購買物品是為了從消費(fèi)這些物品中得到效用，這樣，消費(fèi)者為了購買一定數(shù)量物品所愿意付出的價格就取決于他從這一定數(shù)量物品中所得到的效用。效用大，愿付出的價格高；效用小，愿付出的價格低。隨著消費(fèi)者購買某物品的數(shù)量增加，該物品給消費(fèi)者帶來的邊際效用是遞減的，這樣，消費(fèi)者所愿付出的價格也在下降，所以，需求量與價格成反方向變動。