标签：Alternating ADMM Direction Multipliers 交替 Method 乘子法

交替方向乘子法（Alternating Direction Method of Multipliers）

作者：凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailugaji/

1. 交替方向乘子法简介——Alternating Direction Method of Multipliers

    ADMM 最早分别由 Glowinski & Marrocco 及 Gabay & Mercier 于 1975 年和 1976 年提出，并被 Boyd 等人于 2011 年重新综述并证明其适用于大规模分布式优化问题。

    由于 ADMM 的提出早于大规模分布式计算系统和大规模优化问题的出现，所以在 2011 年以前，这种方法并不广为人知。

    交替方向乘子法（Alternating Direction Method of Multipliers，ADMM）是一种求解具有可分离的凸优化问题的计算框架, 由于其处理速度快，收敛性能好，ADMM适用于求解分布式凸优化问题，特别是统计学习问题。 主要应用在解空间规模很大的情况，强制分块求解，而且解的绝对精度要求不是太高。

    ADMM以先分解再结合的形式求解问题，即先把原问题分解成若干个相对原问题较简单的子问题，再把子问题的解结合起来得到原问题的全局解。

    ADMM也可以看作是对偶分解法和增广拉格朗日乘子法的结合，使该算法有分解性的同时保证了良好的收敛性。

2. 对偶上升法——Dual Ascent

3. 对偶分解——Dual Decomposition

4. 增广拉格朗日乘子法——Augmented Lagrangians and the Method of Multipliers

5. 交替方向乘子法——ADMM

6. 尺度化后的交替方向乘子法——Scaled Form

7. 参考文献

[1] Boyd S , Parikh N , Chu E , et al. Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers[J]. Foundations and Trends in Machine Learning, 2011, 3(1):1-122.

[2] 陈庆国. 关于交替方向乘子法一些问题的研究[D].中国计量大学,2018.

[3] 交替方向乘子法（ADMM） - 凯鲁嘎吉 - 博客园

[4] ADMM: http://web.stanford.edu/~boyd/admm.html

标签：Alternating,ADMM,Direction,Multipliers,交替,Method,乘子法
来源： https://www.cnblogs.com/kailugaji/p/12676095.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。