标签：11 24 xi hat mu 协方差 2020 zeta Sigma
分布鲁棒文章阅读：Distributionally Robust Optimization under Moment Uncertainty with Application to Data-Driven Problems（2010年）
- 1. Introduction
- 2.Robust Stochastic Programming with Moment uncertainty
- Moment Uncertainty in Data-driven Problems
1. Introduction
随机规划能有效地描述许多不确定环境下的决策问题。如以下类型的凸优化问题：
其中
χ
\chi
χ是可行解的凸集，
h
(
x
,
ξ
)
h(x,\xi)
h(x,ξ)是依赖于
ξ
\xi
ξ关于
x
x
x的成本函数，如果选择通过分布
f
(
ξ
)
f(\xi)
f(ξ)表示关于
ξ
\xi
ξ的不确定性，则可以转化为最小化预期成本。这导致求解如下随机规划问题：
为了解决这个问题，Scarf提出了处理随机规划的一种鲁棒方法，假设集合
D
D
D包含了可能的概率分布（包括真实的分布
f
(
ξ
)
f(\xi)
f(ξ)）,目标函数根据最坏情况下的期望成本在这个集合中选择一个分布重新制定。因此，这导致解决分布鲁棒随机
规划:
为了使DRSP模型易于处理，考虑矩信息约束的方法通常假设这些矩是确切已知的，最终导致线性等式或不等式约束。
本文贡献
（1）给出一个新的分布D集，其中考虑了有关分布支持的知识以及其均值和协方差矩阵的置信区域
（2）证明了在这种分布集下，对于大范围的目标函数，DRSP可以在多项式时间内求解。
2.Robust Stochastic Programming with Moment uncertainty
人们对决策过程中涉及的不确定参数的分布
f
(
ξ
)
f(\xi)
f(ξ)的信息有限。在这种情况下，更安全的做法是依赖分布的平均量
μ
0
\mu_0
μ0和协方差矩阵
Σ
0
\Sigma_0
Σ0的估计:例如，经验估计。但我们认为，在这种情况下也不能保证经验估计完全准确，所以，提出用以下集合表示该不确定性：（
γ
1
>
=
0
,
γ
2
>
=
1
\gamma_1>=0,\gamma_2>=1
γ1>=0,γ2>=1）
约束（1a）是假设
ξ
\xi
ξ的均值位于大小为
γ
1
\gamma_1
γ1的椭球体上，中心在估计
μ
0
\mu_0
μ0
约束（1b）使协方差矩阵
E
[
(
ξ
−
μ
0
)
(
ξ
−
μ
0
)
T
]
E[(\xi-\mu_0)(\xi-\mu_0)^T]
E[(ξ−μ0)(ξ−μ0)T] 位于矩阵不等式所包围的正半定锥中。
因此本文研究分布集下的DRSP模型如下：
其中，M是可测量空间
(
R
m
,
B
)
(R_m,B)
(Rm,B)上所有概率测度的集合
The Inner Moment Problem with Moment Uncertainty
首先考虑解决使用集合D1的DRSP的内部最大化问题的难度。
定义1
给定一个固定的
x
x
x，设
Ψ
(
x
,
γ
1
,
γ
2
)
\Psi(x,\gamma_1,\gamma_2)
Ψ(x,γ1,γ2)为x下面矩问题的最优值:
由于
f
(
ξ
)
f(\xi)
f(ξ)是
(
R
m
,
B
)
(R^m,B)
(Rm,B)的概率测度，因此问题（3）可描述为下面的半无限圆锥线性问题：
引理1：
引理1的证明如下：
可以看出上述对偶问题的第一个约束条件 h ( x , ξ ) − ξ T Q ξ + ξ T q < = γ h(x,\xi)-\xi^TQ\xi+\xi^Tq <=\gamma h(x,ξ)−ξTQξ+ξTq<=γ仍然是含有无穷条约束的。那么这个问题究竟是可不可解得呢？论文接下来的部分就介绍了椭球法，证明上述对偶问题在多项式时间内是可解的。
Moment Uncertainty in Data-driven Problems
上节给出的计算结果很大程度上依赖于所描述的分布集 D 1 D_1 D1的结构。该集合是为了考虑随机参数中的矩不确定性而建立的。
下面就是在证明这样的结构在数据驱动的优化问题中也是合理的
现在考虑的问题是，随机参数来自一组样本， { ξ i } i = 1 M \{\xi_i\}^M_{i=1} {ξi}i=1M,s是根据一个未知的分布 f ( ξ ) f(\xi) f(ξ)独立随机产生的,在下面的内容中，将说明如何定义均值和协方差矩阵的置信区域，从而确保以高概率包含 ξ \xi ξ分布的均值和协方差矩阵。这一结果反过来将被用于导出形式为 D 1 D_1 D1的分布集，并将提供概率保证，即使用我们提出的DRSP模型找到的解决方案相对于随机矢量 ξ \xi ξ的真实分布是可靠的。
为了简化推导，我们首先从不相关分量
ζ
\zeta
ζ的混合形式重新构造随机向量
ξ
\xi
ξ,具体来说：
给定随机变量
ξ
∈
R
m
\xi\in\R^m
ξ∈Rm，其均值为
μ
\mu
μ,协方差矩阵为
Σ
\Sigma
Σ.令
ζ
∈
R
m
\zeta\in\R^m
ζ∈Rm为标准化后的随机变量，即
ζ
=
Σ
−
1
/
2
(
ξ
−
μ
)
\zeta=\Sigma^{-1/2}(\xi-\mu)
ζ=Σ−1/2(ξ−μ)，所以
E
[
ζ
]
=
0
E[\zeta]=0
E[ζ]=0,
E
[
ζ
T
ζ
]
=
I
E[\zeta^T\zeta]=I
E[ζTζ]=I,同时对
ζ
\zeta
ζ做出如下假设：
集中不等式：
Uncertainty Cone Centered at Empirical Mean
McDiarmid（THEOREM 1）的首次使用导致定义了一个椭圆形约束，该约束将经验估计
μ
^
=
M
−
1
Σ
i
=
1
M
ξ
i
\hat\mu=M^{-1}\Sigma^M_{i=1}\xi_i
μ^=M−1Σi=1Mξi与随机矢量
ξ
\xi
ξ的真实均值和真实协方差相关联。
下面的结果由McDiarmid定理证明:
将上述关于
ζ
\zeta
ζ的定理推广到
ξ
\xi
ξ上，得到推论1：
推论1的证明过程如下：
Uncertainty Cone Centered at Empirical Covariance
为了使约束（11）描述的是一个有界集***这是什么意思？？？***，必须包含协方差
Σ
\Sigma
Σ中的不确定性，这篇文章支持由两个线性矩阵不等式建立的以
Σ
\Sigma
Σ为界的经验估计结构（
Σ
^
=
M
−
1
Σ
i
=
1
M
(
ξ
i
−
μ
^
)
(
ξ
i
−
μ
^
)
T
\hat\Sigma=M^{-1}\Sigma^M_{i=1}(\xi_i-\hat\mu)(\xi_i-\hat\mu)^T
Σ^=M−1Σi=1M(ξi−μ^)(ξi−μ^)T）:
P
(
c
m
i
n
Σ
^
≤
Σ
≤
c
m
a
x
Σ
^
)
≥
1
−
δ
(
12
)
P(c_{min}\hat\Sigma\le\Sigma\le{c_{max}\hat\Sigma}) \ge1-\delta (12)
P(cminΣ^≤Σ≤cmaxΣ^)≥1−δ(12)
下面就是在说明如何针对
ζ
\zeta
ζ的均值和协方差矩阵在
I
^
=
M
−
1
Σ
i
ζ
i
ζ
i
T
\hat I=M^{-1}\Sigma_i\zeta_i\zeta_i^T
I^=M−1ΣiζiζiT周围定义等式（12），下面假设
ξ
\xi
ξ的均值是完全已知的，且以
Σ
^
(
μ
)
=
M
−
1
Σ
i
=
1
M
(
ξ
i
−
μ
^
)
(
ξ
i
−
μ
^
)
T
\hat\Sigma(\mu)=M^{-1}\Sigma^M_{i=1}(\xi_i-\hat\mu)(\xi_i-\hat\mu)^T
Σ^(μ)=M−1Σi=1M(ξi−μ^)(ξi−μ^)T的形式来表示
Σ
\Sigma
Σ的置信区域。文章中关于
μ
\mu
μ和
Σ
\Sigma
Σ的置信区域的结果主要依赖于
M
M
M和关于随机向量
ξ
\xi
ξ的支持信息。
证明过程如下：（个人觉得还是比较复杂的）
L
e
m
m
a
5
Lemma5
Lemma5可以很容易地推广到具有一般均值和协方差矩阵的随机向量。
证明：
于是就得到了推论2：
由于前面定义的
Σ
^
(
μ
)
=
M
−
1
Σ
i
=
1
M
(
ξ
i
−
μ
)
(
ξ
i
−
μ
)
T
\hat\Sigma(\mu)=M^{-1}\Sigma^M_{i=1}(\xi_i-\mu)(\xi_i-\mu)^T
Σ^(μ)=M−1Σi=1M(ξi−μ)(ξi−μ)T是基于随机变量真实的均值，而在实际中涉及到的是随机变量采样得出的均值得经验估计，所以下面这个定理2就是在说明用经验估计的均值对结果没有影响。
具体的证明过程如下：
Bounding the Support of ζ \zeta ζ using Empirical Data
这一小节就是在说明如何确定
R
R
R的值
推
论
3
推论3
推论3:
证明过程参考原文第15页。
Data-driven DRSP Optimization
首先使用最后的结果来定义,基于样本
{
ξ
i
}
i
=
1
M
\{\xi_i\}_{i=1}^M
{ξi}i=1M,考虑到M是足够大,以较高的概率包含随机变量
ξ
\xi
ξ的真实分布的概率集合。
证明过程见原文P16
最终得到
定
理
3
定理3
定理3：
但是下面这个推论五就不太理解了
标签：11,24,xi,hat,mu,协方差,2020,zeta,Sigma 来源： https://blog.csdn.net/ql789654/article/details/109783022
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。