ML的数学基石-雅可比矩阵（Jacobian Matrix)

定义与基本解释

雅可比矩阵是描述多元函数在某一点处的局部线性近似（即全导数）的矩阵形式。它是多变量微积分中非常重要的概念，用于研究函数的变化率、方向导数以及映射的局部特性。

一般定义：
设 $ f: \mathbb{R}^n \to \mathbb{R}^m $ 是从 $ \mathbb{R}^n $ 映射到 $ \mathbb{R}^m $ 的一个函数：

$ f(x_1, x_2, \dots, x_n) = \begin{bmatrix}
f_1(x_1, x_2, \dots, x_n) \\
f_2(x_1, x_2, \dots, x_n)\\\
\vdots \\
f_m(x_1, x_2, \dots, x_n) \\
\end{bmatrix}, $

其中 $ f_1, f_2, \dots, f_m $ 是 $ f $ 的分量函数。

在点 $ X = (x_1, x_2, \dots, x_n) $ 处，函数 $ f $ 的雅可比矩阵 $ J_f(X) $ 是一个 $ m \times n $的矩阵，定义为：

$ J_f(X) =
\begin{bmatrix}
\frac{\partial f_1}{\partial x_1} & \frac{\partial f_1}{\partial x_2} & \cdots & \frac{\partial f_1}{\partial x_n} \\
\frac{\partial f_2}{\partial x_1} & \frac{\partial f_2}{\partial x_2} & \cdots & \frac{\partial f_2}{\partial x_n} \\
\vdots & \vdots & \ddots & \vdots \\
\frac{\partial f_m}{\partial x_1} & \frac{\partial f_m}{\partial x_2} & \cdots & \frac{\partial f_m}{\partial x_n} \\
\end{bmatrix}. $

相当于 $ J_f(X) $ 的第 $ (i,j) $ 项是函数 $ f_i $ 对变量 $ x_j $ 的偏导数：

$ [J_f(X)]_{i,j} = \frac{\partial f_i}{\partial x_j}. $

---

特殊情况

• 如果 $ f $ 是标量函数（即 $ m = 1 $ ），那么雅可比矩阵是一个 $ 1 \times n $ 的行向量，称为函数 $ f $的 梯度向量 。
• 如果 $ f $ 是从 $ \mathbb{R}^n \to \mathbb{R}^n $ 的向量函数（即 $ n = m $ ），则雅可比矩阵是一个方阵，常被用于研究 $ f $在点处的可逆性等性质。

---

几何意义

1. 局部变化率与线性近似：雅可比矩阵定义了 $ f $ 在某一点的线性近似 。从泰勒展开的角度来看，如果 $ \Delta $ 是自变量的小增量，那么： $ f(X + \Delta X) \approx f(X) + J_f(X) \cdot \Delta X. $ 其中 $ J_f(X) \cdot \Delta $ 表示由雅可比矩阵定义的线性部分。
2. 方向导数：如果方向单位向量为 $ v \in \mathbb{R} $，那么 $ J_f(X) $ 是函数$ f $沿着方向 $ v $的变化率。
3. 几何映射的局部行为：雅可比矩阵描述了映射 $ 在一点处的局部伸缩、旋转或反射 的性质：
   1. 如果 $ n = $ 且雅可比行列式（即 $ \det(J_f(X) $）不为 0，则 $ f $ 在这一点处是局部的双射。
   2. 如果雅可比行列式为 0，则 $ f $ 在这一点可能是奇异的（不可逆）。

---

计算实例

示例 1：标量情况

函数 $ f(x,y) = x^2 + y^2 $，其雅可比矩阵是：

$ J_f(x,y) = \begin{bmatrix}
\frac{\partial f}{\partial x} & \frac{\partial f}{\partial y}
\end{bmatrix}
= \begin{bmatrix}
2x & 2y
\end{bmatrix}. $

示例 2：向量情况

定义 $ f(x,y,z) = \begin{bmatrix} x^2y \\ yz \\ e^x+z \end{bmatrix} $，则雅可比矩阵为：

$ J_f(x,y,z) =
\begin{bmatrix}
\frac{\partial f_1}{\partial x} & \frac{\partial f_1}{\partial y} & \frac{\partial f_1}{\partial z} \\
\frac{\partial f_2}{\partial x} & \frac{\partial f_2}{\partial y} & \frac{\partial f_2}{\partial z} \\
\frac{\partial f_3}{\partial x} & \frac{\partial f_3}{\partial y} & \frac{\partial f_3}{\partial z}
\end{bmatrix}
=
\begin{bmatrix}
2xy & x^2 & 0 \\
0 & z & y \\
e^x & 0 & 1 \\
\end{bmatrix}. $