| 此條目需要精通或熟悉相關主題的編者參與及協助編輯。 (2014年7月22日) 請邀請適合的人士改善本條目。更多的細節與詳情請參見討論頁。 |
圖1:綠線標出的是約束g(x,y) = c的點的軌跡。藍線是f的等高線。箭頭表示梯度,和等高線的法線平行。
拉格朗日乘數法(英語:Lagrange multiplier,以數學家約瑟夫·拉格朗日命名),在數學中的最優化問題中,是一種尋找多元函數在其變量受到一個或多個條件的約束時的局部極值的方法。這種方法可以將一個有n個變量與k個約束條件的最優化問題轉換為一個解有n + k個變量的方程組的解的問題。這種方法中引入了一個或一組新的未知數,即拉格朗日乘數,又稱拉格朗日乘子,或拉氏乘子,它們是在轉換後的方程,即約束方程中作為梯度(gradient)的線性組合中各個向量的係數。
比如,要求
在
時的局部極值時,我們可以引入新變量拉格朗日乘數
,這時我們只需要求下列拉格朗日函數的局部極值:
![{\displaystyle {\mathcal {L}}(x,y,\lambda )=f(x,y)-\lambda \cdot g(x,y)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/15caf491c2951011b82052d0a89c2fbc75f98b57)
更一般地,對含n個變量和k個約束的情況,有:
![{\displaystyle {\mathcal {L}}\left(x_{1},\ldots ,x_{n},\lambda _{1},\ldots ,\lambda _{k}\right)=f\left(x_{1},\ldots ,x_{n}\right)-\sum \limits _{i=1}^{k}{\lambda _{i}g_{i}\left(x_{1},\ldots ,x_{n}\right)},}](https://wikimedia.org/api/rest_v1/media/math/render/svg/8e0d0b20a1c96d8b46361916d2b2e5f04aa2d64a)
拉格朗日乘數法所得的臨界點會包含原問題的所有臨界點,但並不保證每個拉格朗日乘數法所得的臨界點都是原問題的臨界點。拉格朗日乘數法的正確性的證明牽涉到偏微分,全微分或連鎖律。
微積分中最常見的問題之一是求一個函數的極大極小值(極值)。但是很多時候找到極值函數的顯式表達是很困難的,特別是當函數有先決條件或約束時。拉格朗日乘數則提供了一個非常便利方法來解決這類問題,而避開顯式地引入約束和求解外部變量。
先看一個三維的例子:假設有函數:
,要求其極值(最大值/最小值),且滿足條件
![{\displaystyle g\left(x,y\right)=c}](https://wikimedia.org/api/rest_v1/media/math/render/svg/5fc60bd0ab88e57612d30d7931cef0bb2774c67e)
c為常數。對不同
的值,不難想像出
![{\displaystyle f\left(x,y\right)=d_{n}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/45f5ce0c5074c4b0ded7581dfb003b12234894f8)
的等高線。而方程
的可行集所構成的線正好是
。想像我們沿着
的可行集走;因為大部分情況下
的等高線和
的可行集線不會重合,但在有解的情況下,這兩條線會相交。想像此時我們移動
上的點,因為
是連續的方程,我們因此能走到
更高或更低的等高線上,也就是說
可以變大或變小。只有當
和
相切,也就是說,此時,我們正同時沿着
和
走。這種情況下,會出現極值或鞍點。
氣象圖中就很常出現這樣的例子,當溫度和氣壓兩列等高線同時出現的時候,切點就意味着約束極值的存在。
用向量的形式來表達的話,我們說相切的性質在此意味着
和
的切線在某點上平行,同時也意味着兩者的梯度向量有如下關係(引入一個未知標量
):
![{\displaystyle \nabla f\left(x,y\right)=-\lambda \nabla \left(g\left(x,y\right)-c\right)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/0fd7d2d8ef93a641831a4a9726da9049a4243b46)
即:
.
一旦求出
的值,將其套入下式,易求在無約束條件下的極值和對應的極值點。
= ![{\displaystyle f\left(x,y\right)+\lambda \left(g\left(x,y\right)-c\right)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/1e3dc9553349730ff0e7132ef0737568a6b49f09)
新方程
在達到極值時與
相等。因為
達到極值時
,而
,也就是說
等於零。
設函數
在
點處有極值
,且在
點的鄰域內連續。則在
點處有
![{\displaystyle f\left(x,y\right)=\kappa }](https://wikimedia.org/api/rest_v1/media/math/render/svg/1640dc350ce4568821630531b5fba32211301f20)
另有一常值函數
![{\displaystyle g\left(x,y\right)=c}](https://wikimedia.org/api/rest_v1/media/math/render/svg/5fc60bd0ab88e57612d30d7931cef0bb2774c67e)
兩函數在
點處的全微分為
![{\displaystyle \mathrm {d} f={\frac {\partial {f}}{\partial {x}}}\mathrm {d} x+{\frac {\partial {f}}{\partial {y}}}\mathrm {d} y=0}](https://wikimedia.org/api/rest_v1/media/math/render/svg/997b03080eea2eb2f433524849456ed45c7cf1ee)
![{\displaystyle \mathrm {d} g={\frac {\partial {g}}{\partial {x}}}\mathrm {d} x+{\frac {\partial {g}}{\partial {y}}}\mathrm {d} y=0}](https://wikimedia.org/api/rest_v1/media/math/render/svg/dd7ec332bc49a46c63691ee5d35ed747ee17b1a0)
當中的等式右方等於零是由於極值會發生在兩者函數斜率完全相同且
在區段內有極值的時候
由於
和
是任取的無窮小量,故該線性方程組的係數成比例,有
![{\displaystyle {\dfrac {\dfrac {\partial {f}}{\partial {x}}}{\dfrac {\partial {g}}{\partial {x}}}}={\dfrac {\dfrac {\partial {f}}{\partial {y}}}{\dfrac {\partial {g}}{\partial {y}}}}=-\lambda }](https://wikimedia.org/api/rest_v1/media/math/render/svg/596b6ccf3f22e6f1a160cb7b740e88e8d0558be6)
即
![{\displaystyle {\frac {\partial {f}}{\partial {x}}}+\lambda \cdot {\frac {\partial {g}}{\partial {x}}}=0}](https://wikimedia.org/api/rest_v1/media/math/render/svg/9ffa8312c0ebe2105e3d507c3c6f2e51a155b64f)
![{\displaystyle {\frac {\partial {f}}{\partial {y}}}+\lambda \cdot {\frac {\partial {g}}{\partial {y}}}=0}](https://wikimedia.org/api/rest_v1/media/math/render/svg/af7bdf5c1b2c79fa7463df8b126c61b5f06e1dab)
將上二式分別乘以
和
,再相加並積分,得到一新函數
![{\displaystyle {\mathcal {L}}(x,y,\lambda )=f(x,y)+\lambda \cdot g(x,y)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/c2c3e70ab0ad7c13278b89b3a623275469457829)
那麼,求原函數極值的問題就轉化為求該函數極值的問題。
類似地,這種求極值的方法也可以推廣到多維函數
。
拉格朗日乘數的運用方法[編輯]
如f定義為在Rn上的方程,約束為gk(x)= ck(或將約束左移得到gk(x) − ck = 0)。定義拉格朗日Λ為
。
注意極值的條件和約束現在就都被記錄到一個式子裡了:
![{\displaystyle \nabla \Lambda =0\Leftrightarrow \nabla f=-\sum _{k}\lambda _{k}\nabla \ g_{k},}](https://wikimedia.org/api/rest_v1/media/math/render/svg/4e9390eaf44d30a38360eac31fc64974304e5e09)
和
。
拉格朗日乘數常被用作表達最大增長值。原因是從式子:
。
中我們可以看出λk是當方程在被約束條件下,能夠達到的最大增長率。拉格朗日力學就使用到這個原理。
拉格朗日乘數法在卡羅需-庫恩-塔克條件被推廣。
求此方程的最小值:
![{\displaystyle f(x,y)=x^{2}y}](https://wikimedia.org/api/rest_v1/media/math/render/svg/687374a359ba01bd39c777d7555d91d3bf377a25)
同時未知數滿足
![{\displaystyle x^{2}+y^{2}=1}](https://wikimedia.org/api/rest_v1/media/math/render/svg/ec84b90236512e8d27ff1a8f7707b60b63327de1)
因為只有一個未知數的限制條件,我們只需要用一個乘數
.
![{\displaystyle g(x,y)=x^{2}+y^{2}-1}](https://wikimedia.org/api/rest_v1/media/math/render/svg/8d43ec5185724659a6b4d6c91a08362775843e71)
![{\displaystyle \Phi (x,y,\lambda )=f(x,y)+\lambda g(x,y)=x^{2}y+\lambda (x^{2}+y^{2}-1)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/da92bf9b54f71b5b89673f00f8bfe66ba99cfd20)
將所有
方程的偏微分設為零,得到一個方程組,最小值是以下方程組的解中的一個:
![{\displaystyle 2xy+2\lambda x=0}](https://wikimedia.org/api/rest_v1/media/math/render/svg/ea00f3a4ad6bd7f49ea51a59a2cca64f9c5c0d41)
![{\displaystyle x^{2}+2\lambda y=0}](https://wikimedia.org/api/rest_v1/media/math/render/svg/60a111051e75827f5066807f0ffa05746c6b88ff)
![{\displaystyle x^{2}+y^{2}-1=0}](https://wikimedia.org/api/rest_v1/media/math/render/svg/1ee594b8851d760d0e2d44aba714907aca657b8f)
求此離散分布的最大熵:
。
所有概率的總和是1,因此我們得到的約束是g(p)= 1即
。
可以使用拉格朗日乘數找到最高熵(概率的函數)。對於所有的k從1到n,要求
![{\displaystyle {\frac {\partial }{\partial p_{k}}}(f+\lambda (g-1))=0,}](https://wikimedia.org/api/rest_v1/media/math/render/svg/0fba7d6255080d97706aee6ce35d107f0772592f)
由此得到
。
計算出這n個等式的微分,我們得到:
。
這說明pi都相等(因為它們都只是λ的函數)。解出約束∑k pk = 1,得到
。
因此,使用均勻分布可得到最大熵的值。
經濟學[編輯]
約束最優化在經濟學占有很重要的地位。例如一個消費者的選擇問題可以被視為一個求效用方程在預算約束下的最大值問題。拉格朗日乘數在經濟學中被解釋為影子價格,設定在某種約束下,在這裡即收入的邊際效用。
拉格朗日乘數就是效用函數在最優解處對收入的偏導數,也就是在最優解處增加一個單位收入帶來的效用增加,或者說在最優解處有效用衡量收入的價值,稱之為收入的邊際效用。
在企業生產問題中,拉格朗日乘數用來衡量要素投入變動所帶來的收入變動,du/dm=λ,u表示效用函數或生產函數,m表示收入或要素投入。
在具體數學推導中還可以運用包絡定理的內容。
對外鏈接[編輯]
參考拉格朗日原作或方法的命名:
更深入的介紹和互動applet: