前向传播、反向传播和计算图

前向传播（Forward Propagation）

前向传播是神经网络中从输入数据到输出预测值的计算过程。它通过逐层应用权重（W）和偏置（b），最终生成预测值 y'，并计算损失函数L。

模型定义

y' = W \cdot x + b

损失函数（均方误差）

L = \frac{1}{n} \sum_{i=1}^{n} (y'(i) - y_{\text{true}}(i))^2

示例

输入数据：x = [1.0, 2.0]

真实标签：y_{\text{true}} = [3.0, 5.0]

参数初始值：W = 1.0, \, b = 0.5

前向计算

预测值：y'(1) = 1.0 \cdot 1.0 + 0.5 = 1.5, \quad y'(2) = 1.0 \cdot 2.0 + 0.5 = 2.5

损失函数：L = \frac{1}{2} \left[ (1.5 - 3)^2 + (2.5 - 5)^2 \right] = \frac{1}{2} (2.25 + 6.25) = 4.25

计算图（Computational Graph）

计算图是一种数据结构，用于表示前向传播中的计算过程。图中的节点代表数学操作（如加法、乘法），边代表数据流动（张量）。

对上述线性回归模型，计算图如下：

输入 x → (Multiply W) → (Add b) → 预测值 t_p → (Subtract y_true) → 误差平方 → 求和平均 → 损失 L

• 节点：乘法、加法、平方、求和、平均等操作。
• 边：数据流（如 x, W, b, y', L）。

反向传播（Backward Propagation）

反向传播是通过链式法则（Chain Rule），从损失函数L开始，反向计算每个参数（W, b）的梯度 ( \frac{\partial L}{\partial W})和(\frac{\partial L}{\partial b})的过程。下面以线性回归模型公式示例：

损失对预测值的梯度

\frac{\partial L}{\partial y'(i)} = \frac{2}{n} (y'(i) - y_{\text{true}}(i))

预测值对参数的梯度

• 对权重 W：\frac{\partial y'(i)}{\partial W} = x(i)
• 对偏置 b：\frac{\partial y'(i)}{\partial b} = 1

合并梯度

• 权重梯度：\frac{\partial L}{\partial W} = \sum_{i=1}^{n} \frac{\partial L}{\partial y'(i)} \cdot \frac{\partial y'(i)}{\partial W} = \frac{2}{n} \sum_{i=1}^{n} (y'(i) - y_{\text{true}}(i)) \cdot x(i)

• 偏置梯度：\frac{\partial L}{\partial b} = \sum_{i=1}^{n} \frac{\partial L}{\partial y'(i)} \cdot \frac{\partial y'(i)}{\partial b} = \frac{2}{n} \sum_{i=1}^{n} (y'(i) - y_{\text{true}}(i))

反向传播示例

使用前向传播的结果：

计算误差项

y'(1) - y_{\text{true}}(1) = 1.5 - 3 = -1.5, \quad y'(2) - y_{\text{true}}(2) = 2.5 - 5 = -2.5

计算梯度

• 权重梯度：\frac{\partial L}{\partial W} = \frac{2}{2} [(-1.5) \cdot 1.0 + (-2.5) \cdot 2.0] = 1.0 \cdot (-1.5 - 5) = -6.5

• 偏置梯度：\frac{\partial L}{\partial b} = \frac{2}{2} [(-1.5) + (-2.5)] = 1.0 \cdot (-4) = -4

PyTorch示例

import torch

# 定义参数（启用梯度追踪）
W = torch.tensor(1.0, requires_grad=True)
b = torch.tensor(0.5, requires_grad=True)

# 输入数据
x = torch.tensor([1.0, 2.0])
y_true = torch.tensor([3.0, 5.0])

# 前向传播
y_pred = W * x + b
loss = torch.mean((y_pred - y_true) ** 2)

# 反向传播
loss.backward()

# 输出梯度
print(f"dL/dW: {W.grad}")  # 输出 tensor(-6.5)
print(f"dL/db: {b.grad}")  # 输出 tensor(-4.0)

关键点说明

• 动态计算图：PyTorch 在前向传播时自动构建计算图。
• 反向传播触发：调用 .backward() 后，从损失节点反向遍历图，计算所有 requires_grad=True 的张量的梯度。
• 梯度存储：梯度结果存储在张量的 .grad 属性中。

总结：

输入 x  
  │  
  ▼  
[W*x] → 乘法操作（计算图节点）  
  │  
  ▼  
[+b] → 加法操作（计算图节点）  
  │  
  ▼  
预测值 y' → [平方损失] → 平均损失 L  
  │                          ▲  
  └──────────────────────────┘  
          反向传播（梯度回传）