本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
等。
如果函數 f 和g都可導，設C為常數，那麼
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
等。
如果函數 f 和g都可導，設C為常數，那麼
如果
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
等。
如果函數 f 和g都可導，設C為常數，那麼
如果
和
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
等。
如果函數 f 和g都可導，設C為常數，那麼
如果
和
都是可導函數，依據鏈式法則，
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
等。
如果函數 f 和g都可導，設C為常數，那麼
如果
和
都是可導函數，依據鏈式法則，
A.2.2 泰勒展開
函數 f 的泰勒展開式是
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
等。
如果函數 f 和g都可導，設C為常數，那麼
如果
和
都是可導函數，依據鏈式法則，
A.2.2 泰勒展開
函數 f 的泰勒展開式是
其中
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
等。
如果函數 f 和g都可導，設C為常數，那麼
如果
和
都是可導函數，依據鏈式法則，
A.2.2 泰勒展開
函數 f 的泰勒展開式是
其中
為函數 f 的 n 階導數（求n次導數），n! 為 n 的階乘。假設
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
等。
如果函數 f 和g都可導，設C為常數，那麼
如果
和
都是可導函數，依據鏈式法則，
A.2.2 泰勒展開
函數 f 的泰勒展開式是
其中
為函數 f 的 n 階導數（求n次導數），n! 為 n 的階乘。假設
是一個足夠小的數，如果將上式中 x 和 a 分別替換成
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
等。
如果函數 f 和g都可導，設C為常數，那麼
如果
和
都是可導函數，依據鏈式法則，
A.2.2 泰勒展開
函數 f 的泰勒展開式是
其中
為函數 f 的 n 階導數（求n次導數），n! 為 n 的階乘。假設
是一個足夠小的數，如果將上式中 x 和 a 分別替換成
和 x，可以得到
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
等。
如果函數 f 和g都可導，設C為常數，那麼
如果
和
都是可導函數，依據鏈式法則，
A.2.2 泰勒展開
函數 f 的泰勒展開式是
其中
為函數 f 的 n 階導數（求n次導數），n! 為 n 的階乘。假設
是一個足夠小的數，如果將上式中 x 和 a 分別替換成
和 x，可以得到
由於
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
等。
如果函數 f 和g都可導，設C為常數，那麼
如果
和
都是可導函數，依據鏈式法則，
A.2.2 泰勒展開
函數 f 的泰勒展開式是
其中
為函數 f 的 n 階導數（求n次導數），n! 為 n 的階乘。假設
是一個足夠小的數，如果將上式中 x 和 a 分別替換成
和 x，可以得到
由於
足夠小，上式也可以簡化成
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
等。
如果函數 f 和g都可導，設C為常數，那麼
如果
和
都是可導函數，依據鏈式法則，
A.2.2 泰勒展開
函數 f 的泰勒展開式是
其中
為函數 f 的 n 階導數（求n次導數），n! 為 n 的階乘。假設
是一個足夠小的數，如果將上式中 x 和 a 分別替換成
和 x，可以得到
由於
足夠小，上式也可以簡化成
A.2.3 偏導數
設u為一個有n個自變量的函數，
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
等。
如果函數 f 和g都可導，設C為常數，那麼
如果
和
都是可導函數，依據鏈式法則，
A.2.2 泰勒展開
函數 f 的泰勒展開式是
其中
為函數 f 的 n 階導數（求n次導數），n! 為 n 的階乘。假設
是一個足夠小的數，如果將上式中 x 和 a 分別替換成
和 x，可以得到
由於
足夠小，上式也可以簡化成
A.2.3 偏導數
設u為一個有n個自變量的函數，
，它有關第i個變量
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
等。
如果函數 f 和g都可導，設C為常數，那麼
如果
和
都是可導函數，依據鏈式法則，
A.2.2 泰勒展開
函數 f 的泰勒展開式是
其中
為函數 f 的 n 階導數（求n次導數），n! 為 n 的階乘。假設
是一個足夠小的數，如果將上式中 x 和 a 分別替換成
和 x，可以得到
由於
足夠小，上式也可以簡化成
A.2.3 偏導數
設u為一個有n個自變量的函數，
，它有關第i個變量
的偏導數為
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
等。
如果函數 f 和g都可導，設C為常數，那麼
如果
和
都是可導函數，依據鏈式法則，
A.2.2 泰勒展開
函數 f 的泰勒展開式是
其中
為函數 f 的 n 階導數（求n次導數），n! 為 n 的階乘。假設
是一個足夠小的數，如果將上式中 x 和 a 分別替換成
和 x，可以得到
由於
足夠小，上式也可以簡化成
A.2.3 偏導數
設u為一個有n個自變量的函數，
，它有關第i個變量
的偏導數為
以下有關偏導數的表達式等價：
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
等。
如果函數 f 和g都可導，設C為常數，那麼
如果
和
都是可導函數，依據鏈式法則，
A.2.2 泰勒展開
函數 f 的泰勒展開式是
其中
為函數 f 的 n 階導數（求n次導數），n! 為 n 的階乘。假設
是一個足夠小的數，如果將上式中 x 和 a 分別替換成
和 x，可以得到
由於
足夠小，上式也可以簡化成
A.2.3 偏導數
設u為一個有n個自變量的函數，
，它有關第i個變量
的偏導數為
以下有關偏導數的表達式等價：
為了計算
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
等。
如果函數 f 和g都可導，設C為常數，那麼
如果
和
都是可導函數，依據鏈式法則，
A.2.2 泰勒展開
函數 f 的泰勒展開式是
其中
為函數 f 的 n 階導數（求n次導數），n! 為 n 的階乘。假設
是一個足夠小的數，如果將上式中 x 和 a 分別替換成
和 x，可以得到
由於
足夠小，上式也可以簡化成
A.2.3 偏導數
設u為一個有n個自變量的函數，
，它有關第i個變量
的偏導數為
以下有關偏導數的表達式等價：
為了計算
，只需將
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
等。
如果函數 f 和g都可導，設C為常數，那麼
如果
和
都是可導函數，依據鏈式法則，
A.2.2 泰勒展開
函數 f 的泰勒展開式是
其中
為函數 f 的 n 階導數（求n次導數），n! 為 n 的階乘。假設
是一個足夠小的數，如果將上式中 x 和 a 分別替換成
和 x，可以得到
由於
足夠小，上式也可以簡化成
A.2.3 偏導數
設u為一個有n個自變量的函數，
，它有關第i個變量
的偏導數為
以下有關偏導數的表達式等價：
為了計算
，只需將
視為常數並求u有關xi的導數。
A.2.4 梯度
假設函數
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
等。
如果函數 f 和g都可導，設C為常數，那麼
如果
和
都是可導函數，依據鏈式法則，
A.2.2 泰勒展開
函數 f 的泰勒展開式是
其中
為函數 f 的 n 階導數（求n次導數），n! 為 n 的階乘。假設
是一個足夠小的數，如果將上式中 x 和 a 分別替換成
和 x，可以得到
由於
足夠小，上式也可以簡化成
A.2.3 偏導數
設u為一個有n個自變量的函數，
，它有關第i個變量
的偏導數為
以下有關偏導數的表達式等價：
為了計算
，只需將
視為常數並求u有關xi的導數。
A.2.4 梯度
假設函數
的輸入是一個n維向量
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
等。
如果函數 f 和g都可導，設C為常數，那麼
如果
和
都是可導函數，依據鏈式法則，
A.2.2 泰勒展開
函數 f 的泰勒展開式是
其中
為函數 f 的 n 階導數（求n次導數），n! 為 n 的階乘。假設
是一個足夠小的數，如果將上式中 x 和 a 分別替換成
和 x，可以得到
由於
足夠小，上式也可以簡化成
A.2.3 偏導數
設u為一個有n個自變量的函數，
，它有關第i個變量
的偏導數為
以下有關偏導數的表達式等價：
為了計算
，只需將
視為常數並求u有關xi的導數。
A.2.4 梯度
假設函數
的輸入是一個n維向量
，輸出是標量。函數
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
等。
如果函數 f 和g都可導，設C為常數，那麼
如果
和
都是可導函數，依據鏈式法則，
A.2.2 泰勒展開
函數 f 的泰勒展開式是
其中
為函數 f 的 n 階導數（求n次導數），n! 為 n 的階乘。假設
是一個足夠小的數，如果將上式中 x 和 a 分別替換成
和 x，可以得到
由於
足夠小，上式也可以簡化成
A.2.3 偏導數
設u為一個有n個自變量的函數，
，它有關第i個變量
的偏導數為
以下有關偏導數的表達式等價：
為了計算
，只需將
視為常數並求u有關xi的導數。
A.2.4 梯度
假設函數
的輸入是一個n維向量
，輸出是標量。函數
有關 x 的梯度是一個由n個偏導數組成的向量：
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
等。
如果函數 f 和g都可導，設C為常數，那麼
如果
和
都是可導函數，依據鏈式法則，
A.2.2 泰勒展開
函數 f 的泰勒展開式是
其中
為函數 f 的 n 階導數（求n次導數），n! 為 n 的階乘。假設
是一個足夠小的數，如果將上式中 x 和 a 分別替換成
和 x，可以得到
由於
足夠小，上式也可以簡化成
A.2.3 偏導數
設u為一個有n個自變量的函數，
，它有關第i個變量
的偏導數為
以下有關偏導數的表達式等價：
為了計算
，只需將
視為常數並求u有關xi的導數。
A.2.4 梯度
假設函數
的輸入是一個n維向量
，輸出是標量。函數
有關 x 的梯度是一個由n個偏導數組成的向量：
為表示簡潔，我們有時用
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
等。
如果函數 f 和g都可導，設C為常數，那麼
如果
和
都是可導函數，依據鏈式法則，
A.2.2 泰勒展開
函數 f 的泰勒展開式是
其中
為函數 f 的 n 階導數（求n次導數），n! 為 n 的階乘。假設
是一個足夠小的數，如果將上式中 x 和 a 分別替換成
和 x，可以得到
由於
足夠小，上式也可以簡化成
A.2.3 偏導數
設u為一個有n個自變量的函數，
，它有關第i個變量
的偏導數為
以下有關偏導數的表達式等價：
為了計算
，只需將
視為常數並求u有關xi的導數。
A.2.4 梯度
假設函數
的輸入是一個n維向量
，輸出是標量。函數
有關 x 的梯度是一個由n個偏導數組成的向量：
為表示簡潔，我們有時用
代替
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
等。
如果函數 f 和g都可導，設C為常數，那麼
如果
和
都是可導函數，依據鏈式法則，
A.2.2 泰勒展開
函數 f 的泰勒展開式是
其中
為函數 f 的 n 階導數（求n次導數），n! 為 n 的階乘。假設
是一個足夠小的數，如果將上式中 x 和 a 分別替換成
和 x，可以得到
由於
足夠小，上式也可以簡化成
A.2.3 偏導數
設u為一個有n個自變量的函數，
，它有關第i個變量
的偏導數為
以下有關偏導數的表達式等價：
為了計算
，只需將
視為常數並求u有關xi的導數。
A.2.4 梯度
假設函數
的輸入是一個n維向量
，輸出是標量。函數
有關 x 的梯度是一個由n個偏導數組成的向量：
為表示簡潔，我們有時用
代替
。
假設x是一個向量，常見的梯度演算包括
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
等。
如果函數 f 和g都可導，設C為常數，那麼
如果
和
都是可導函數，依據鏈式法則，
A.2.2 泰勒展開
函數 f 的泰勒展開式是
其中
為函數 f 的 n 階導數（求n次導數），n! 為 n 的階乘。假設
是一個足夠小的數，如果將上式中 x 和 a 分別替換成
和 x，可以得到
由於
足夠小，上式也可以簡化成
A.2.3 偏導數
設u為一個有n個自變量的函數，
，它有關第i個變量
的偏導數為
以下有關偏導數的表達式等價：
為了計算
，只需將
視為常數並求u有關xi的導數。
A.2.4 梯度
假設函數
的輸入是一個n維向量
，輸出是標量。函數
有關 x 的梯度是一個由n個偏導數組成的向量：
為表示簡潔，我們有時用
代替
。
假設x是一個向量，常見的梯度演算包括
類似地，假設X是一個矩陣，那麼
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
等。
如果函數 f 和g都可導，設C為常數，那麼
如果
和
都是可導函數，依據鏈式法則，
A.2.2 泰勒展開
函數 f 的泰勒展開式是
其中
為函數 f 的 n 階導數（求n次導數），n! 為 n 的階乘。假設
是一個足夠小的數，如果將上式中 x 和 a 分別替換成
和 x，可以得到
由於
足夠小，上式也可以簡化成
A.2.3 偏導數
設u為一個有n個自變量的函數，
，它有關第i個變量
的偏導數為
以下有關偏導數的表達式等價：
為了計算
，只需將
視為常數並求u有關xi的導數。
A.2.4 梯度
假設函數
的輸入是一個n維向量
，輸出是標量。函數
有關 x 的梯度是一個由n個偏導數組成的向量：
為表示簡潔，我們有時用
代替
。
假設x是一個向量，常見的梯度演算包括
類似地，假設X是一個矩陣，那麼
A.2.5 海森矩陣
假設函數
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
等。
如果函數 f 和g都可導，設C為常數，那麼
如果
和
都是可導函數，依據鏈式法則，
A.2.2 泰勒展開
函數 f 的泰勒展開式是
其中
為函數 f 的 n 階導數（求n次導數），n! 為 n 的階乘。假設
是一個足夠小的數，如果將上式中 x 和 a 分別替換成
和 x，可以得到
由於
足夠小，上式也可以簡化成
A.2.3 偏導數
設u為一個有n個自變量的函數，
，它有關第i個變量
的偏導數為
以下有關偏導數的表達式等價：
為了計算
，只需將
視為常數並求u有關xi的導數。
A.2.4 梯度
假設函數
的輸入是一個n維向量
，輸出是標量。函數
有關 x 的梯度是一個由n個偏導數組成的向量：
為表示簡潔，我們有時用
代替
。
假設x是一個向量，常見的梯度演算包括
類似地，假設X是一個矩陣，那麼
A.2.5 海森矩陣
假設函數
的輸入是一個n維向量
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
等。
如果函數 f 和g都可導，設C為常數，那麼
如果
和
都是可導函數，依據鏈式法則，
A.2.2 泰勒展開
函數 f 的泰勒展開式是
其中
為函數 f 的 n 階導數（求n次導數），n! 為 n 的階乘。假設
是一個足夠小的數，如果將上式中 x 和 a 分別替換成
和 x，可以得到
由於
足夠小，上式也可以簡化成
A.2.3 偏導數
設u為一個有n個自變量的函數，
，它有關第i個變量
的偏導數為
以下有關偏導數的表達式等價：
為了計算
，只需將
視為常數並求u有關xi的導數。
A.2.4 梯度
假設函數
的輸入是一個n維向量
，輸出是標量。函數
有關 x 的梯度是一個由n個偏導數組成的向量：
為表示簡潔，我們有時用
代替
。
假設x是一個向量，常見的梯度演算包括
類似地，假設X是一個矩陣，那麼
A.2.5 海森矩陣
假設函數
的輸入是一個n維向量
，輸出是標量。假定函數 f所有的二階偏導數都存在，f 的海森矩陣H是一個n行n列的矩陣：
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
等。
如果函數 f 和g都可導，設C為常數，那麼
如果
和
都是可導函數，依據鏈式法則，
A.2.2 泰勒展開
函數 f 的泰勒展開式是
其中
為函數 f 的 n 階導數（求n次導數），n! 為 n 的階乘。假設
是一個足夠小的數，如果將上式中 x 和 a 分別替換成
和 x，可以得到
由於
足夠小，上式也可以簡化成
A.2.3 偏導數
設u為一個有n個自變量的函數，
，它有關第i個變量
的偏導數為
以下有關偏導數的表達式等價：
為了計算
，只需將
視為常數並求u有關xi的導數。
A.2.4 梯度
假設函數
的輸入是一個n維向量
，輸出是標量。函數
有關 x 的梯度是一個由n個偏導數組成的向量：
為表示簡潔，我們有時用
代替
。
假設x是一個向量，常見的梯度演算包括
類似地，假設X是一個矩陣，那麼
A.2.5 海森矩陣
假設函數
的輸入是一個n維向量
，輸出是標量。假定函數 f所有的二階偏導數都存在，f 的海森矩陣H是一個n行n列的矩陣：
其中二階偏導數為
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
等。
如果函數 f 和g都可導，設C為常數，那麼
如果
和
都是可導函數，依據鏈式法則，
A.2.2 泰勒展開
函數 f 的泰勒展開式是
其中
為函數 f 的 n 階導數（求n次導數），n! 為 n 的階乘。假設
是一個足夠小的數，如果將上式中 x 和 a 分別替換成
和 x，可以得到
由於
足夠小，上式也可以簡化成
A.2.3 偏導數
設u為一個有n個自變量的函數，
，它有關第i個變量
的偏導數為
以下有關偏導數的表達式等價：
為了計算
，只需將
視為常數並求u有關xi的導數。
A.2.4 梯度
假設函數
的輸入是一個n維向量
，輸出是標量。函數
有關 x 的梯度是一個由n個偏導數組成的向量：
為表示簡潔，我們有時用
代替
。
假設x是一個向量，常見的梯度演算包括
類似地，假設X是一個矩陣，那麼
A.2.5 海森矩陣
假設函數
的輸入是一個n維向量
，輸出是標量。假定函數 f所有的二階偏導數都存在，f 的海森矩陣H是一個n行n列的矩陣：
其中二階偏導數為
A.3 概率
最後，我們簡要介紹條件概率、期望和均勻分佈。
A.3.1 條件概率
假設事件A和事件B的概率分別為
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
等。
如果函數 f 和g都可導，設C為常數，那麼
如果
和
都是可導函數，依據鏈式法則，
A.2.2 泰勒展開
函數 f 的泰勒展開式是
其中
為函數 f 的 n 階導數（求n次導數），n! 為 n 的階乘。假設
是一個足夠小的數，如果將上式中 x 和 a 分別替換成
和 x，可以得到
由於
足夠小，上式也可以簡化成
A.2.3 偏導數
設u為一個有n個自變量的函數，
，它有關第i個變量
的偏導數為
以下有關偏導數的表達式等價：
為了計算
，只需將
視為常數並求u有關xi的導數。
A.2.4 梯度
假設函數
的輸入是一個n維向量
，輸出是標量。函數
有關 x 的梯度是一個由n個偏導數組成的向量：
為表示簡潔，我們有時用
代替
。
假設x是一個向量，常見的梯度演算包括
類似地，假設X是一個矩陣，那麼
A.2.5 海森矩陣
假設函數
的輸入是一個n維向量
，輸出是標量。假定函數 f所有的二階偏導數都存在，f 的海森矩陣H是一個n行n列的矩陣：
其中二階偏導數為
A.3 概率
最後，我們簡要介紹條件概率、期望和均勻分佈。
A.3.1 條件概率
假設事件A和事件B的概率分別為
和
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
等。
如果函數 f 和g都可導，設C為常數，那麼
如果
和
都是可導函數，依據鏈式法則，
A.2.2 泰勒展開
函數 f 的泰勒展開式是
其中
為函數 f 的 n 階導數（求n次導數），n! 為 n 的階乘。假設
是一個足夠小的數，如果將上式中 x 和 a 分別替換成
和 x，可以得到
由於
足夠小，上式也可以簡化成
A.2.3 偏導數
設u為一個有n個自變量的函數，
，它有關第i個變量
的偏導數為
以下有關偏導數的表達式等價：
為了計算
，只需將
視為常數並求u有關xi的導數。
A.2.4 梯度
假設函數
的輸入是一個n維向量
，輸出是標量。函數
有關 x 的梯度是一個由n個偏導數組成的向量：
為表示簡潔，我們有時用
代替
。
假設x是一個向量，常見的梯度演算包括
類似地，假設X是一個矩陣，那麼
A.2.5 海森矩陣
假設函數
的輸入是一個n維向量
，輸出是標量。假定函數 f所有的二階偏導數都存在，f 的海森矩陣H是一個n行n列的矩陣：
其中二階偏導數為
A.3 概率
最後，我們簡要介紹條件概率、期望和均勻分佈。
A.3.1 條件概率
假設事件A和事件B的概率分別為
和
，兩個事件同時發生的概率記作
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
等。
如果函數 f 和g都可導，設C為常數，那麼
如果
和
都是可導函數，依據鏈式法則，
A.2.2 泰勒展開
函數 f 的泰勒展開式是
其中
為函數 f 的 n 階導數（求n次導數），n! 為 n 的階乘。假設
是一個足夠小的數，如果將上式中 x 和 a 分別替換成
和 x，可以得到
由於
足夠小，上式也可以簡化成
A.2.3 偏導數
設u為一個有n個自變量的函數，
，它有關第i個變量
的偏導數為
以下有關偏導數的表達式等價：
為了計算
，只需將
視為常數並求u有關xi的導數。
A.2.4 梯度
假設函數
的輸入是一個n維向量
，輸出是標量。函數
有關 x 的梯度是一個由n個偏導數組成的向量：
為表示簡潔，我們有時用
代替
。
假設x是一個向量，常見的梯度演算包括
類似地，假設X是一個矩陣，那麼
A.2.5 海森矩陣
假設函數
的輸入是一個n維向量
，輸出是標量。假定函數 f所有的二階偏導數都存在，f 的海森矩陣H是一個n行n列的矩陣：
其中二階偏導數為
A.3 概率
最後，我們簡要介紹條件概率、期望和均勻分佈。
A.3.1 條件概率
假設事件A和事件B的概率分別為
和
，兩個事件同時發生的概率記作
或
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
等。
如果函數 f 和g都可導，設C為常數，那麼
如果
和
都是可導函數，依據鏈式法則，
A.2.2 泰勒展開
函數 f 的泰勒展開式是
其中
為函數 f 的 n 階導數（求n次導數），n! 為 n 的階乘。假設
是一個足夠小的數，如果將上式中 x 和 a 分別替換成
和 x，可以得到
由於
足夠小，上式也可以簡化成
A.2.3 偏導數
設u為一個有n個自變量的函數，
，它有關第i個變量
的偏導數為
以下有關偏導數的表達式等價：
為了計算
，只需將
視為常數並求u有關xi的導數。
A.2.4 梯度
假設函數
的輸入是一個n維向量
，輸出是標量。函數
有關 x 的梯度是一個由n個偏導數組成的向量：
為表示簡潔，我們有時用
代替
。
假設x是一個向量，常見的梯度演算包括
類似地，假設X是一個矩陣，那麼
A.2.5 海森矩陣
假設函數
的輸入是一個n維向量
，輸出是標量。假定函數 f所有的二階偏導數都存在，f 的海森矩陣H是一個n行n列的矩陣：
其中二階偏導數為
A.3 概率
最後，我們簡要介紹條件概率、期望和均勻分佈。
A.3.1 條件概率
假設事件A和事件B的概率分別為
和
，兩個事件同時發生的概率記作
或
。給定事件B，事件A的條件概率為
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
等。
如果函數 f 和g都可導，設C為常數，那麼
如果
和
都是可導函數，依據鏈式法則，
A.2.2 泰勒展開
函數 f 的泰勒展開式是
其中
為函數 f 的 n 階導數（求n次導數），n! 為 n 的階乘。假設
是一個足夠小的數，如果將上式中 x 和 a 分別替換成
和 x，可以得到
由於
足夠小，上式也可以簡化成
A.2.3 偏導數
設u為一個有n個自變量的函數，
，它有關第i個變量
的偏導數為
以下有關偏導數的表達式等價：
為了計算
，只需將
視為常數並求u有關xi的導數。
A.2.4 梯度
假設函數
的輸入是一個n維向量
，輸出是標量。函數
有關 x 的梯度是一個由n個偏導數組成的向量：
為表示簡潔，我們有時用
代替
。
假設x是一個向量，常見的梯度演算包括
類似地，假設X是一個矩陣，那麼
A.2.5 海森矩陣
假設函數
的輸入是一個n維向量
，輸出是標量。假定函數 f所有的二階偏導數都存在，f 的海森矩陣H是一個n行n列的矩陣：
其中二階偏導數為
A.3 概率
最後，我們簡要介紹條件概率、期望和均勻分佈。
A.3.1 條件概率
假設事件A和事件B的概率分別為
和
，兩個事件同時發生的概率記作
或
。給定事件B，事件A的條件概率為
也就是說，
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
等。
如果函數 f 和g都可導，設C為常數，那麼
如果
和
都是可導函數，依據鏈式法則，
A.2.2 泰勒展開
函數 f 的泰勒展開式是
其中
為函數 f 的 n 階導數（求n次導數），n! 為 n 的階乘。假設
是一個足夠小的數，如果將上式中 x 和 a 分別替換成
和 x，可以得到
由於
足夠小，上式也可以簡化成
A.2.3 偏導數
設u為一個有n個自變量的函數，
，它有關第i個變量
的偏導數為
以下有關偏導數的表達式等價：
為了計算
，只需將
視為常數並求u有關xi的導數。
A.2.4 梯度
假設函數
的輸入是一個n維向量
，輸出是標量。函數
有關 x 的梯度是一個由n個偏導數組成的向量：
為表示簡潔，我們有時用
代替
。
假設x是一個向量，常見的梯度演算包括
類似地，假設X是一個矩陣，那麼
A.2.5 海森矩陣
假設函數
的輸入是一個n維向量
，輸出是標量。假定函數 f所有的二階偏導數都存在，f 的海森矩陣H是一個n行n列的矩陣：
其中二階偏導數為
A.3 概率
最後，我們簡要介紹條件概率、期望和均勻分佈。
A.3.1 條件概率
假設事件A和事件B的概率分別為
和
，兩個事件同時發生的概率記作
或
。給定事件B，事件A的條件概率為
也就是說，
當滿足
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
等。
如果函數 f 和g都可導，設C為常數，那麼
如果
和
都是可導函數，依據鏈式法則，
A.2.2 泰勒展開
函數 f 的泰勒展開式是
其中
為函數 f 的 n 階導數（求n次導數），n! 為 n 的階乘。假設
是一個足夠小的數，如果將上式中 x 和 a 分別替換成
和 x，可以得到
由於
足夠小，上式也可以簡化成
A.2.3 偏導數
設u為一個有n個自變量的函數，
，它有關第i個變量
的偏導數為
以下有關偏導數的表達式等價：
為了計算
，只需將
視為常數並求u有關xi的導數。
A.2.4 梯度
假設函數
的輸入是一個n維向量
，輸出是標量。函數
有關 x 的梯度是一個由n個偏導數組成的向量：
為表示簡潔，我們有時用
代替
。
假設x是一個向量，常見的梯度演算包括
類似地，假設X是一個矩陣，那麼
A.2.5 海森矩陣
假設函數
的輸入是一個n維向量
，輸出是標量。假定函數 f所有的二階偏導數都存在，f 的海森矩陣H是一個n行n列的矩陣：
其中二階偏導數為
A.3 概率
最後，我們簡要介紹條件概率、期望和均勻分佈。
A.3.1 條件概率
假設事件A和事件B的概率分別為
和
，兩個事件同時發生的概率記作
或
。給定事件B，事件A的條件概率為
也就是說，
當滿足
時，事件 A 和事件 B 相互獨立。
A.3.2 期望
離散的隨機變量X的期望（或平均值）為
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
等。
如果函數 f 和g都可導，設C為常數，那麼
如果
和
都是可導函數，依據鏈式法則，
A.2.2 泰勒展開
函數 f 的泰勒展開式是
其中
為函數 f 的 n 階導數（求n次導數），n! 為 n 的階乘。假設
是一個足夠小的數，如果將上式中 x 和 a 分別替換成
和 x，可以得到
由於
足夠小，上式也可以簡化成
A.2.3 偏導數
設u為一個有n個自變量的函數，
，它有關第i個變量
的偏導數為
以下有關偏導數的表達式等價：
為了計算
，只需將
視為常數並求u有關xi的導數。
A.2.4 梯度
假設函數
的輸入是一個n維向量
，輸出是標量。函數
有關 x 的梯度是一個由n個偏導數組成的向量：
為表示簡潔，我們有時用
代替
。
假設x是一個向量，常見的梯度演算包括
類似地，假設X是一個矩陣，那麼
A.2.5 海森矩陣
假設函數
的輸入是一個n維向量
，輸出是標量。假定函數 f所有的二階偏導數都存在，f 的海森矩陣H是一個n行n列的矩陣：
其中二階偏導數為
A.3 概率
最後，我們簡要介紹條件概率、期望和均勻分佈。
A.3.1 條件概率
假設事件A和事件B的概率分別為
和
，兩個事件同時發生的概率記作
或
。給定事件B，事件A的條件概率為
也就是說，
當滿足
時，事件 A 和事件 B 相互獨立。
A.3.2 期望
離散的隨機變量X的期望（或平均值）為
A.3.3 均勻分佈
假設隨機變量X服從[a, b]上的均勻分佈，即
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
等。
如果函數 f 和g都可導，設C為常數，那麼
如果
和
都是可導函數，依據鏈式法則，
A.2.2 泰勒展開
函數 f 的泰勒展開式是
其中
為函數 f 的 n 階導數（求n次導數），n! 為 n 的階乘。假設
是一個足夠小的數，如果將上式中 x 和 a 分別替換成
和 x，可以得到
由於
足夠小，上式也可以簡化成
A.2.3 偏導數
設u為一個有n個自變量的函數，
，它有關第i個變量
的偏導數為
以下有關偏導數的表達式等價：
為了計算
，只需將
視為常數並求u有關xi的導數。
A.2.4 梯度
假設函數
的輸入是一個n維向量
，輸出是標量。函數
有關 x 的梯度是一個由n個偏導數組成的向量：
為表示簡潔，我們有時用
代替
。
假設x是一個向量，常見的梯度演算包括
類似地，假設X是一個矩陣，那麼
A.2.5 海森矩陣
假設函數
的輸入是一個n維向量
，輸出是標量。假定函數 f所有的二階偏導數都存在，f 的海森矩陣H是一個n行n列的矩陣：
其中二階偏導數為
A.3 概率
最後，我們簡要介紹條件概率、期望和均勻分佈。
A.3.1 條件概率
假設事件A和事件B的概率分別為
和
，兩個事件同時發生的概率記作
或
。給定事件B，事件A的條件概率為
也就是說，
當滿足
時，事件 A 和事件 B 相互獨立。
A.3.2 期望
離散的隨機變量X的期望（或平均值）為
A.3.3 均勻分佈
假設隨機變量X服從[a, b]上的均勻分佈，即
。隨機變量X取a和b之間任意一個數的概率相等。
小結
- 本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。
練習
求函數
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
等。
如果函數 f 和g都可導，設C為常數，那麼
如果
和
都是可導函數，依據鏈式法則，
A.2.2 泰勒展開
函數 f 的泰勒展開式是
其中
為函數 f 的 n 階導數（求n次導數），n! 為 n 的階乘。假設
是一個足夠小的數，如果將上式中 x 和 a 分別替換成
和 x，可以得到
由於
足夠小，上式也可以簡化成
A.2.3 偏導數
設u為一個有n個自變量的函數，
，它有關第i個變量
的偏導數為
以下有關偏導數的表達式等價：
為了計算
，只需將
視為常數並求u有關xi的導數。
A.2.4 梯度
假設函數
的輸入是一個n維向量
，輸出是標量。函數
有關 x 的梯度是一個由n個偏導數組成的向量：
為表示簡潔，我們有時用
代替
。
假設x是一個向量，常見的梯度演算包括
類似地，假設X是一個矩陣，那麼
A.2.5 海森矩陣
假設函數
的輸入是一個n維向量
，輸出是標量。假定函數 f所有的二階偏導數都存在，f 的海森矩陣H是一個n行n列的矩陣：
其中二階偏導數為
A.3 概率
最後，我們簡要介紹條件概率、期望和均勻分佈。
A.3.1 條件概率
假設事件A和事件B的概率分別為
和
，兩個事件同時發生的概率記作
或
。給定事件B，事件A的條件概率為
也就是說，
當滿足
時，事件 A 和事件 B 相互獨立。
A.3.2 期望
離散的隨機變量X的期望（或平均值）為
A.3.3 均勻分佈
假設隨機變量X服從[a, b]上的均勻分佈，即
。隨機變量X取a和b之間任意一個數的概率相等。
小結
- 本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。
練習
求函數
的梯度。
本文摘自《動手學深度學習》
動手學深度學習
作者：阿斯頓·張（Aston Zhang）, 李沐（Mu Li）, [美] 扎卡里·C. 立頓（Zachary C. Lipton）, [德] 亞歷山大·J. 斯莫拉（Alexander J. Smola）
本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。為避免贅述本書未涉及的數學背景知識，本節中的少數定義稍有簡化。
A.1 線性代數
下面分別概括了向量、矩陣、運算、範數、特徵向量和特徵值的概念。
A.1.1 向量
本書中的向量指的是列向量。一個n維向量x的表達式可寫成
其中
是向量的元素。我們將各元素均為實數的 n 維向量 x 記作
或
。
A.1.2 矩陣
一個m行n列矩陣的表達式可寫成
其中
是矩陣 X 中第 i 行第j列的元素（
）。我們將各元素均為實數的 m 行 n列矩陣 X 記作
。不難發現，向量是特殊的矩陣。
A.1.3 運算
設n維向量a中的元素為
，n維向量b中的元素為
。向量a與b的點乘（內積）是一個標量：
設兩個m行n列矩陣
矩陣A的轉置是一個n行m列矩陣，它的每一行其實是原矩陣的每一列：
兩個相同形狀的矩陣的加法是將兩個矩陣按元素做加法：
我們使用符號
表示兩個矩陣按元素乘法的運算，即阿達馬積（Hadamard product）：
定義一個標量k。標量與矩陣的乘法也是按元素做乘法的運算：
其他諸如標量與矩陣按元素相加、相除等運算與上式中的相乘運算類似。矩陣按元素開根號、取對數等運算也就是對矩陣每個元素開根號、取對數等，並得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同。設A為m行p列的矩陣，B為p行n列的矩陣。兩個矩陣相乘的結果
是一個m行n列的矩陣，其中第i 行第j 列（
）的元素為
A.1.4 範數
設n維向量x中的元素為
。向量x的
範數為
例如，x的
範數是該向量元素絕對值之和：
而x的
範數是該向量元素平方和的平方根：
我們通常用 || x || 指代 || x ||2。
設X是一個m行n列矩陣。矩陣X的Frobenius範數為該矩陣元素平方和的平方根：
其中
為矩陣 X 在第 i 行第 j 列的元素。
A.1.5 特徵向量和特徵值
對於一個n 行n 列的矩陣A，假設有標量 λ 和非零的n維向量v使
那麼 v 是矩陣 A 的一個特徵向量，標量 λ 是 v 對應的特徵值。
A.2 微分
我們在這裡簡要介紹微分的一些基本概念和演算。
B.2.1 導數和微分
假設函數
的輸入和輸出都是標量。函數 f 的導數
且假定該極限存在。給定
，其中x和y分別是函數 f 的自變量和因變量。以下有關導數和微分的表達式等價：
其中符號D和d/dx也叫微分運算符。常見的微分演算有DC = 0（C為常數）、
（n為常數）、
、
等。
如果函數 f 和g都可導，設C為常數，那麼
如果
和
都是可導函數，依據鏈式法則，
A.2.2 泰勒展開
函數 f 的泰勒展開式是
其中
為函數 f 的 n 階導數（求n次導數），n! 為 n 的階乘。假設
是一個足夠小的數，如果將上式中 x 和 a 分別替換成
和 x，可以得到
由於
足夠小，上式也可以簡化成
A.2.3 偏導數
設u為一個有n個自變量的函數，
，它有關第i個變量
的偏導數為
以下有關偏導數的表達式等價：
為了計算
，只需將
視為常數並求u有關xi的導數。
A.2.4 梯度
假設函數
的輸入是一個n維向量
，輸出是標量。函數
有關 x 的梯度是一個由n個偏導數組成的向量：
為表示簡潔，我們有時用
代替
。
假設x是一個向量，常見的梯度演算包括
類似地，假設X是一個矩陣，那麼
A.2.5 海森矩陣
假設函數
的輸入是一個n維向量
，輸出是標量。假定函數 f所有的二階偏導數都存在，f 的海森矩陣H是一個n行n列的矩陣：
其中二階偏導數為
A.3 概率
最後，我們簡要介紹條件概率、期望和均勻分佈。
A.3.1 條件概率
假設事件A和事件B的概率分別為
和
，兩個事件同時發生的概率記作
或
。給定事件B，事件A的條件概率為
也就是說，
當滿足
時，事件 A 和事件 B 相互獨立。
A.3.2 期望
離散的隨機變量X的期望（或平均值）為
A.3.3 均勻分佈
假設隨機變量X服從[a, b]上的均勻分佈，即
。隨機變量X取a和b之間任意一個數的概率相等。
小結
- 本附錄總結了本書中涉及的有關線性代數、微分和概率的基礎知識。
練習
求函數
的梯度。
本文摘自《動手學深度學習》
動手學深度學習
作者：阿斯頓·張（Aston Zhang）, 李沐（Mu Li）, [美] 扎卡里·C. 立頓（Zachary C. Lipton）, [德] 亞歷山大·J. 斯莫拉（Alexander J. Smola）
- 人工智能機器學習深度學習領域重磅教程圖書
- 亞馬遜科學家作品
- 動手學深度學習的全新模式，原理與實戰緊密結合
目前市面上有關深度學習介紹的書籍大多可分兩類，一類側重方法介紹，另一類側重實踐和深度學習工具的介紹。本書同時覆蓋方法和實踐。本書不僅從數學的角度闡述深度學習的技術與應用，還包含可運行的代碼，為讀者展示如何在實際中解決問題。為了給讀者提供一種交互式的學習體驗，本書不但提供免費的教學視頻和討論區，而且提供可運行的Jupyter記事本文件，充分利用Jupyter記事本能將文字、代碼、公式和圖像統一起來的優勢。這樣不僅直接將數學公式對應成實際代碼，而且可以修改代碼、觀察結果並及時獲取經驗，從而帶給讀者全新的、交互式的深度學習的學習體驗。