在数值分析中, 一个收敛序列向其极限逼近的速度称为收敛速度. 该概念多用于最优化算法中; 其被定义为一个叠代序列向其局部最优值逼近 (假设计算过程收敛, 并能逹到最优值) 的速度, 是评价一个叠代法于该问题中发挥的性能的一个重要指标.
收敛速度以收敛阶衡量, 亦可以收敛因子描述; 依计算方法的不同, 有下述两种收敛阶及收敛因子.[1]
商收敛因子及商收敛阶[编辑]
- 商收敛因子
的定义式如下:
![{\displaystyle Q_{p}=\limsup _{k\rightarrow \infty }{\frac {||x_{k+1}-x^{*}||_{2}}{||x_{k}-x^{*}||_{2}^{p}}},p\in [1,+\infty ]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/e270b87795e428c42b0c1a0df72f1d41bf1b8812)
商收敛因子也称Q—因子, 商收敛阶也称Q—收敛阶. 利用商收敛因子, 对收敛速度进行描述的方式如下:
- 如果
, 则称
是Q—超线性收敛于
; 如果
, 则称
是Q—线性收敛于
; 如果
, 则称
是Q—次线性收敛于
.
- 如果
, 则称
是Q—超平方收敛于
; 如果
, 则称
是Q—平方收敛于
; 如果
, 则称
是Q—次平方收敛于
.
注意: Q—线性收敛与Q—平方收敛, 以及Q—次线性收敛与Q—次平方收敛的评判标准有些微差别. “Q—平方收敛”也称为“Q—二次收敛”.
依照Q—平方收敛 (不是Q—线性收敛) 的定义, 可以定义Q—立方收敛 (将
改为
), Q—四次方收敛等更高Q—收敛阶.
- 商收敛阶
的定义式如下:
![{\displaystyle O_{Q}=\inf\{p|p\in [1,+\infty ){\text{ 且 }}Q_{p}=+\infty \}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/4bf8e98a62649a50e72db343ab12ab4602e9f29d)
对比商收敛因子的描述, 商收敛阶是指求出一个数
(不一定是整数), 使得对于
, 点列
都是Q—次
次方收于, 且对于
,
都是Q—
次方收敛. 而这个数
就是点列的商收敛阶.
根收敛因子及根收敛阶[编辑]
- 根收敛因子
的定义式如下:
![{\displaystyle R_{p}=\left\{{\begin{aligned}\limsup _{k\rightarrow \infty }||x_{k}-x^{*}||_{2}^{1/k},&{\mbox{ when }}p=1,\\\limsup _{k\rightarrow \infty }||x_{k}-x^{*}||_{2}^{1/p^{k}},&{\mbox{ when }}p>1.\end{aligned}}\right.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/47f8a49c00149206239845e3edc46fa6fe941207)
根收敛因子也称R—因子, 根收敛阶也称R—收敛阶. 利用根收敛因子, 对收敛速度进行描述的方式如下:
- 如果
, 则称
是R—超线性收敛于
; 如果
, 则称
是R—线性收敛于
; 如果
, 则称
是R—次线性收敛于
.
- 如果
, 则称
是R—超平方收敛于
; 如果
, 则称
是R—平方收敛于
; 如果
, 则称
是R—次平方收敛于
.
注意: R—次线性收敛与R—次平方收敛的评判标准有些微差别. “R—平方收敛”也称为“R—二次收敛”.
依照R—平方收敛 (不是R—线性收敛) 的定义, 可以定义R—立方收敛 (将
改为
), R—四次方收敛等更高R—收敛阶.
- 根收敛阶
的定义式如下:
![{\displaystyle O_{R}=\inf\{p|p\in [1,+\infty ){\text{ 且 }}R_{p}=1\}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/a4767a98986059c019a4dc6e76f7b1e6b42cfdff)
对比根收敛因子的描述, 根收敛阶是指求出一个数
(不一定是整数), 使得对于
, 点列
都是R—次
次方收于, 且对于
,
都是R—
次方收敛. 而这个数
就是点列的根收敛阶.
两种收敛阶的联系[编辑]
对于一个收敛点列而言, 其Q—收敛阶不大于其R—收敛阶, 即
![{\displaystyle O_{Q}\leq O_{R}.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/32d36292e57fd52ccd2037256e6d5f5c6a807998)
有时, 一个数列的R—收敛阶可能很高, 但其Q—收敛阶可能很低. 当然可以证明, 一个R—收敛阶高的点列至少比某些Q—收敛低的点列收敛得更快.
有如下数列:
![{\displaystyle a_{1}=1,\ a_{2}={\frac {1}{2}},\ a_{3}={\frac {1}{4}},\ a_{4}={\frac {1}{8}},\ \cdots ,\ a_{k}={\frac {1}{2^{k-1}}},\ \cdots ,\ a_{\infty }=0.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/ca7ee3bdf7dd74e9e4dc11f3cba474a3f50a7246)
容易计算:
, 故该数列是Q线性收敛的; 满足
的
的集合为
, 此集合的下确界为
, 故该数列的收敛阶为
. 而同理, 可计算得该数列是R线性收性, R收敛阶为
.
向量列[编辑]
有如下向量列:
.
据上作出计算如下,
![{\displaystyle Q_{1}=\limsup _{k\rightarrow \infty }{\frac {\|(a^{k+1},b^{k+1})^{\mathbf {T} }\|_{2}}{\|(a^{k},b^{k})^{\mathbf {T} }\|_{2}}}=\limsup _{k\rightarrow \infty }{\frac {\sqrt {(a^{k+1})^{2}+(b^{k+1})^{2}}}{\sqrt {(a^{k})^{2}+(b_{k})^{2}}}}<\limsup _{k\rightarrow \infty }{\frac {\sqrt {(a^{2k}+b^{2k})(a^{2}+b^{2})}}{\sqrt {a^{2k}+b^{2k}}}}={\sqrt {a^{2}+b^{2}}}<1,}](https://wikimedia.org/api/rest_v1/media/math/render/svg/3981236d9378152bf29d7b1b02edf61c88ea868f)
故数列为Q线性收敛; Q收敛阶为
;
![{\displaystyle R_{1}=\limsup _{k\rightarrow \infty }(a^{2k}+b^{2k})^{1/2k}=\max\{a,b\}<1,}](https://wikimedia.org/api/rest_v1/media/math/render/svg/1547434014d634299ad22b335fb823a713dabfc9)
故数列为R线性收敛; R收敛阶为
.
优化算法的叠代点列[编辑]
牛顿法[编辑]
注: 此处的牛顿法指应用于最优化的牛顿法.
可以证明, 如果牛顿法的目标函数
的二阶导数
在其收敛点
处Lipschitz连续, 则满足不等式
![{\displaystyle 0<{\frac {|x_{k+1}-x_{\infty }|}{|x_{k}-x_{\infty }|}}<+\infty .}](https://wikimedia.org/api/rest_v1/media/math/render/svg/311d58acde30464aaad82887b9f39919ae598bb1)
此说明牛顿法的叠代点列是Q平方收敛; 另言之, 牛顿法的收敛速度是二次的. [2]
参考文献[编辑]
- ^ Ortega, J R; Rheinboldt, WC. Iterative Solution of Nonlinear Equations in Several Variables. London: Academic Press. 1970.
- ^ 袁亚湘. 非線性優化計算方法. 北京: 科学出版社. 2008年2月: 17. ISBN 978-7-03-020883-5 (中文(简体)).