标签：02 bar lim 牛顿 步长 frac 收敛 优化
无约束优化---牛顿法
无约束最优化问题:
\[\begin{aligned} (P) ~ ~ ~ \min &~ ~ ~ f(x)\\ \text{s.t.} &~ ~ ~x ∈ X ⊆ R^n \end{aligned} \]1牛顿法
在\(x = \bar{x}\)时，f(x)可近似为:
\[f(x) \approx h(x) = f(\bar{x}) + ∇f(\bar{x})^T (x − \bar{x}) + \frac{1}{2}(x − \bar{x})^TH(\bar{x})(x − \bar{x}) \]要\(\min ~ ~ ~ f(x)\),则\(∇h(x)=0\)，有
\[∇f(\bar{x}) +H(\bar{x})(x − \bar{x}) = 0, \]则
\[x − \bar{x}= -H(\bar{x})^{-1} ∇f(\bar{x}) \]\(-H(\bar{x})^{-1} ∇f(\bar{x})\)称为牛顿方向，或\(x = \bar{x}\)处的牛顿步长
\(\large\color{#70f3ff}{\boxed{\color{brown}{阻尼牛顿法} }}\)
纯牛顿法步长固定为 \(α=1\) ，阻尼牛顿法( damped Newton method or guarded Newton method)的步长\(α\)是不固定的。
[算法] 给定起始点$ x_0\in dom \ f,k=0 $，容许误差 $\epsilon >0 $,
- 计算牛顿方向\(d^k=-H(\bar{x}^k)^{-1} ∇f(\bar{x}^k)\) 。
- 停止条件：如果 \(d^k=0,或者(d^k)^2/2<\epsilon\)则退出。
- 直线搜索：用精确性搜索或者非精确性搜索选择步长 \(α_k\)
- 迭代： \(x^{k+1} = x^k + α_kd^k, k = k + 1\). 转到步骤1。
请注意以下几点:
- 牛顿法不能满足\(H(\bar{x}^k)\)在每次迭代中都是非奇异,正定矩阵。
- 不能保证每一步\(f(x^{k+1}) <f(x^k)\)
牛顿法的优缺点；https://zhuanlan.zhihu.com/p/33544363
2收敛速度
序列\({s_i}\)是线性收敛时，满足的条件：
\[\lim_{i→∞}s_i = \bar{s}，~ ~ ~\lim_{i→∞} \frac{||s_{i+1}-\bar{s}||}{||s_i-\bar{s}||}= δ < 1. \]如果取\(δ = 0\)，则该序列表现出超线性收敛。
序列\({s_i}\)是二次收敛时，满足的条件：
\[\lim_{i→∞}s_i = \bar{s}，~ ~ ~\lim_{i→∞} \frac{||s_{i+1}-\bar{s}||}{||s_i-\bar{s}||^2}= δ < ∞. \]3牛顿法的二次收敛性
标签：02,bar,lim,牛顿,步长,frac,收敛,优化 来源： https://www.cnblogs.com/liangjiangjun/p/14022648.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。