线性神经网络练习题

练习

Q1

1. 假设我们有一些数据
   $x_1,...,x_i\in \mathbb{R}$$x_1,...,x_i \in \mathbb{R}$。我们的目标是找到一个常数b，使得最小化

   $\sum _i(x_i-b{)}^2$$\sum_i(x_i - b)^2$。

   1. 找到最优值b的解析解。
   2. 这个问题及其解与正态分布有什么关系?

1.找到最优值b的解析解。

展开平方和

$\sum _i(x_i-b{)}^2=\sum _i(x_i^2-2x_{i}b+b^2)=\sum _i{x}_i^2-2b\sum _i{x}_i+N{b}^2$$\sum_i(x_i - b)^2 = \sum_i(x_i^2 - 2x_ib+b^2) = \sum_i x_i^2 - 2b\sum_i x_i + Nb^2$

其中 N 是数据点的数量。

对 b 求导

$\frac{d}{db}(\sum _i(x_i-b{)}^2)=-2\sum _i{x}_i+2Nb$$\frac{d}{db} (\sum_i (x_i - b)^2) = -2\sum_ix_i + 2Nb$

设置导数为零

$-2\sum _i{x}_i+2Nb=0$$-2\sum_i x_i + 2Nb = 0$

解出 b

$Nb=\sum _i{x}_i$$Nb = \sum_i x_i$

$b=\frac{1}{N}\sum _i{x}_i$$b = \frac{1}{N}\sum_i x_i$

结论

最优值 b 的解析解是：

$b=\overline{x}$$b = \bar x$

2.这个问题及其解与正态分布有什么关系?

1. 最小二乘法与正态分布

在统计学中，最小化平方误差

$\sum _i^{}$$\sum_i^~$

${(x_i-b)}^2$$\left(x_i - b\right)^2$ 其实可以看作是寻找一个参数 b 使得数据

$x_i$$x_i$ 在该参数下的分布最为集中。若我们假设数据

$x_i$$x_i$服从正态分布

$N(b,{\sigma }^2)$$N\left(b,\sigma^2 \right)$，则最大似然估计（MLE）和最小二乘法会得到相同的结果。

2. 正态分布的特性

正态分布的一个重要特性是其均值（

$\mu$$\mu$）和最优估计（

$\hat{b}$$\hat{b}$）是相同的。即，如果

$x_i$$x_i$服从

$N(b,{\sigma }^2)$$N\left(b,\sigma^2 \right)$，那么对

$\mu$$\mu$的极大似然估计是样本均值：

$\hat{\mu }=\frac{1}{N}\sum _i^N{x}_i$$\hat{\mu}= \frac{1}{N}\sum_i^Nx_i$

3. 统计推断

在许多统计推断中，正态分布被广泛使用，因为根据中心极限定理，许多独立随机变量的和趋向于正态分布。这使得在大样本情况下，样本均值的分布可以近似为正态分布。

总结

在最小化平方误差的过程中，我们实际上是在寻找使得假设数据服从正态分布的最优参数 b。因此，平方误差的最小化与正态分布的均值估计密切相关。

Q2

推导出使用平方误差的线性回归优化问题的解析解。为了简化问题，可以忽略偏置b（我们可以通过向

$\mathbf{X}$$\bf X$添加所有值为1的一列来做到这一点）。
1.用矩阵和向量表示法写出优化问题（将所有数据视为单个矩阵，将所有目标值视为单个向量）。
2.计算损失对

$\mathit{w}$$\boldsymbol w$的梯度。
3.通过将梯度设为0、求解矩阵方程来找到解析解。
4.什么时候可能比使用随机梯度下降更好？这种方法何时会失效？

1. 用矩阵和向量表示法写出优化问题

假设我们有 N 个样本，每个样本有 M 个特征。我们可以用矩阵和向量来表示这个问题：

• 输入矩阵：
  $\mathrm{X}\in {\mathbb{R}}^{\mathrm{N}\times \mathrm{M}}$$\rm X \in \mathbb{R}^{N\times M}$，其中每一行是一个样本的特征向量。
• 目标向量：
  $y\in {\mathbb{R}}^N$$y \in \mathbb{R}^N$，其中每个元素是对应样本的目标值。
• 权重向量：
  $w\in {\mathbb{R}}^M$$w \in \mathbb{R}^M$。

优化问题可以表示为最小化以下损失函数（均方误差）：

$L(w)=\frac{1}{N}\sum _{i=1}^N(y_i-{\mathbf{x}}_i^{T}w{)}^2$$L(w) = \frac{1}{N} \sum_{i=1}^{N} (y_i - \mathbf x^T_i w)^2$

这可以用矩阵表示为：

$L(w)=\frac{1}{N}\parallel y-Xw{\parallel }^2$$L(w) = \frac{1}{N}\|y - X w\|^2$

2. 计算损失对w 的梯度

我们需要计算损失函数的梯度：

${\mathrm{\nabla }}_{w}L(w)={\mathrm{\nabla }}_w(\frac{1}{N}\parallel y-Xw{\parallel }^2)$$\nabla_w L(w) = \nabla_w (\frac{1}{N}\|y - Xw\|^2)$

根据链式法则和矩阵微分的规则，得到：

${\mathrm{\nabla }}_{w}L(w)=-\frac{2}{N}{X}^T(y-Xw)$$\nabla_w L(w) = -\frac{2}{N}X^T(y - Xw)$

3. 将梯度设为0，求解矩阵方程

设置梯度为零以找到最优解：

$-\frac{2}{N}{X}^T(y-Xw)=0$$-\frac{2}{N}X^T(y - Xw) = 0$

简化后得到：

$X^{T}y=X^{T}Xw$$X^Ty = X^TXw$

重排得到：

$X^{T}Xw=X^{T}y$$X^TXw = X^Ty$

这个方程可以通过求逆来得到解析解（假设

$X^{T}X$$X^TX$可逆）：

$w=(X^{T}X{)}^{-1}{X}^{T}y$$w = (X^TX)^{-1}X^Ty$

4. 何时可能比使用随机梯度下降更好？这种方法何时会失效？

优势

• 小规模数据：当数据集较小且可以完全加载到内存时，使用解析解计算效率高，且可以得到精确解。
• 可解释性：解析解提供了明确的数学表达式，便于理解模型的行为。

缺点

• 大规模数据：当数据集非常大时，计算
  $X^{T}X$$X^TX$ 的逆可能会非常耗时并且占用大量内存。
• 特征共线性：如果特征高度相关（多重共线性），
  $X^{T}X$$X^TX$可能会接近奇异，导致求逆不稳定。
• 在线学习：在动态数据环境中，使用随机梯度下降（SGD）可以逐步更新模型，而不是重新计算整个数据集。

总结

解析解在小规模且特征间没有共线性时优于随机梯度下降，而在大规模数据和动态学习场景中，SGD更为合适。

Q3

假定控制附加噪声ϵ的噪声模型是指数分布。也就是说，

$p(ϵ)=\frac{1}{2}exp(-|ϵ|)$$p(\epsilon) = \frac{1}{2}exp(-|\epsilon|)$

1. 写出模型
   $-logP(y|X)$$-logP(y|X)$下数据的负对数似然。
2. 请试着写出解析解。
3. 提出一种随机梯度下降算法来解决这个问题。哪里可能出错？（提示：当我们不断更新参数时，在驻点附近会发生什么情况）请尝试解决这个问题。

1.写出模型的负对数似然

假设我们有输入数据

$X$$X$ 和目标数据

$y$$y$（即

$y_i$$y_i$）。根据题意，噪声

$ϵ$$\epsilon$的分布为指数分布：

$p(ϵ)=\frac{1}{2}exp(-|ϵ|)$$p(\epsilon) = \frac{1}{2}exp(-|\epsilon|)$

模型输出为

$y_i=f({\mathbf{x}}_i)+ϵ$$y_i = f(\mathbf x_i) + \epsilon$，其中

$f({\mathbf{x}}_i)$$f(\mathbf x_i)$是模型的预测值。

因此，给定

$X$$X$的情况下，负对数似然可以写为：

$-logP(y|X)=-\sum _{i=1}^{N}logp(y_i-f({\mathbf{x}}_i))$$-logP(y|X) = -\sum_{i=1}^Nlog p(y_i - f(\mathbf x_i))$

将噪声的分布代入：

$-logP(y|X)=-\sum _{i=1}^{N}log(\frac{1}{2}exp(-|y_i-f(x_i)|))$$-logP(y|X) = -\sum_{i=1}^Nlog (\frac{1}{2}exp(-|y_i - f(x_i)|))$

简化后得到：

$-logP(y|X)=-\sum _{i=1}^N(log2+|y_i-f(x_i)|)$$-logP(y|X) = -\sum_{i=1}^N(log2 + |y_i - f(x_i)|)$

忽略常数项

$log2$$log2$，我们可以简化为：

$-logP(y|X)=-\sum _{i=1}^N|y_i-f(x_i)|$$-logP(y|X) = -\sum_{i=1}^N|y_i - f(x_i)|$

2. 解析解

负对数似然的形式表示我们需要最小化绝对误差的和。对于线性模型

$f({\mathbf{x}}_i)={\mathbf{x}}_i^{T}w$$f(\mathbf x_i) = \mathbf x_i^Tw$，我们需要最小化以下目标函数：

$L(w)=\sum _{i=1}^N|y-{\mathbf{x}}_i^{T}w|$$L(w) = \sum_{i=1}^N|y - \mathbf x_i^Tw|$

对于绝对误差损失，通常没有闭式解。我们可以通过数值优化方法来求解参数

$w$$w$。比如，常用的次梯度方法可以在此处应用。

3. 随机梯度下降算法

我们可以设计一种随机梯度下降算法来求解上述优化问题。算法步骤如下：

1. 初始化：随机初始化参数
   $w$$w$。
2. 迭代:
   • 随机选择一个样本
     $i$$i$。
   • 计算梯度（次梯度）：
     $\begin{array}{c}{g}_i=\{\begin{array}{ll}\mathbf{-}{x}_i& if{y}_i-{\mathbf{x}}_i^{T}w>0\\ {\mathbf{x}}_i& if{y}_i-{\mathbf{x}}_i^{T}w<0\\ 0& if{y}_i-{\mathbf{x}}_i^{T}w=0\end{array}\end{array}$$g_i = \begin{cases} \mathbf -x_i &if y_i - \mathbf x_i^Tw >0 \\ \mathbf x_i & ify_i - \mathbf x_i^Tw < 0 \\ 0 &#038; if y_i - \mathbf x_i^Tw = 0 \end{cases}$
   • 更新参数：
     $w\leftarrow w-\eta g_i$$w \leftarrow w - \eta g_i$

     其中

     $\eta$$\eta$是学习率。

3. 重复：直到收敛或达到最大迭代次数。

可能出错的地方

• 震荡与收敛问题：在驻点附近，尤其是损失函数的局部最小值，梯度可能非常小，导致更新幅度减小，学习率不当可能导致震荡或收敛速度慢。
• 学习率选择：如果学习率选择过大，可能会导致参数更新过度，从而导致发散；如果选择过小，可能会导致收敛速度太慢。

解决方案

• 自适应学习率：可以使用自适应学习率算法，如 Adam 或 RMSprop，这些方法会自动调整学习率。
• 动量法：通过引入动量，可以帮助平滑更新过程，减少震荡。
• 提前停止：监控验证集的性能，当性能不再提升时停止训练。

通过这些方法，可以提高随机梯度下降算法在优化问题中的稳定性和效率。