Linear transformations

https://www.youtube.com/watch?v=XkY2DOUCWMU

线程变换

设线性变换T的矩阵A为

$A= \begin{bmatrix} 3 & 1 \\ 1 & 2 \end{bmatrix}$

另一个向量v为

$v= \begin{bmatrix} -1\\ 2 \end{bmatrix}$

对于 $res=Av$ 的计算，可以理解成下面的动态图

即，对$A_{分量1}$进行了$-1$的缩放，$A_{分量2}$进行了$2$的缩放，再将两个缩放的结果相加，得到最终向量$res$. 这样的计算是通过几何意义进行计算

$res= \begin{bmatrix} 3 \\ 1 \end{bmatrix} * -1 + \begin{bmatrix} 1 \\ 2 \end{bmatrix} * 2 = \begin{bmatrix} -1 \\ 3 \end{bmatrix}$

类似的，如果想得到两个线性变换矩阵$M_1, M_2$的联合矩阵，如下图，需要从右向左（按矩阵来）进行计算

将M1看成基，那么M2就是对基进行的线性变换矩阵，最终得到的算新基

结合书上定理1.13

在n维线性空间V中，$e_1,e_2,...,e_n$ 是一个基1，$e_1^{'},e_2^{'},...,e_n^{'}$ 是一个基2，下面是基2到基1的变换

$(e_1^{'},e_2^{'},...,e_n^{'}) =(e_1,e_2,...,e_n) C$

设$T_1$是V的一个线性变换，它在基1和基2下的矩阵分别是A，B

$(Te_1,Te_2,...,Te_n) =(e_1,e_2,...,e_n)A \\ (Te_1^{'},Te_2^{'},...,Te_n^{'}) =(e_1^{'},e_2^{'},...,e_n^{'})B$

则有结论：$B=C^{-1}AC$，证明如下

$因为(e_1,e_2,...,e_n)=(e_1^{'},e_2^{'},...,e_n^{'})C^{-1} \\ 所以 (Te_1^{'},Te_2^{'},...,Te_n^{'}) =T(e_1,e_2,...,e_n) C \\ =(e_1,e_2,...,e_n) AC \\ =(e_1^{'},e_2^{'},...,e_n^{'})C^{-1}AC \\ =(e_1^{'},e_2^{'},...,e_n^{'})B \\ 即 B=C^{-1}AC$

这里的C，其实也是一种线性变换$T_2$的具体化的矩阵，$T_2$的功能是将基1转成基2

https://www.youtube.com/watch?v=P2LTAUO1TdA

---

假设目前有基$e_1$

$e_1= \begin{bmatrix} 1 & 0\\ 0 & 1 \end{bmatrix}$

另一个基$e_2$右下图所示，$e_2$使用基$e_1$的描述方式，则是

$e_2= \begin{bmatrix} 2 & -1\\ 1 & 1 \end{bmatrix}$

现在，如果有一个用基$e_1$描述的向量$v$

$v_{e_1}= \begin{bmatrix} 3\\ 2 \end{bmatrix}$

怎么使用基$e_2$来描述这个向量？如下图，当然，最终的结果是

$v_{e_2}= \begin{bmatrix} \frac{5}3\\ \frac{1}3 \end{bmatrix}$

这里就涉及到了上面提到的线性变换T

其实，$e_2$使用基$e_1$的描述方式，它本身就是一个线性变换$T$在$e_1$下的具化矩阵，叫这个具化矩阵为$C$，对应上面的“过渡矩阵”

$C= \begin{bmatrix} 2 & -1\\ 1 & 1 \end{bmatrix}$

它的作用是：将基$e_2$描述下的向量变成基$e_1$描述下的向量

比如将$v_{e_2}$转成$v_{e_1}$

$v_{e_2}= \begin{bmatrix} \frac{5}3\\ \frac{1}3 \end{bmatrix} \\ v_{e_1}= \begin{bmatrix} 2 & -1\\ 1 & 1 \end{bmatrix} \begin{bmatrix} \frac{5}3\\ \frac{1}3 \end{bmatrix} =\begin{bmatrix} 3\\ 2 \end{bmatrix}$

如果想把用基$e_1$描述的向量$v_{e_1}$变成基$e_2$描述下的向量$v_{e_2}$，只要将“过渡矩阵”逆转，即$C^{-1}v_{e_1}$即可得到基$e_2$描述下的向量$v_{e_2}$

---

如果在基$e_1$描述下有个线性变化T的具化矩阵$A=\begin{bmatrix} 0 ，-1\\ 1，0 \end{bmatrix}$，把这个$A$转成基$e_2$的描述，只需要按下面方式即可

对于任意一用$e_2$描述的向量

$v_{e_2}= \begin{bmatrix} -1\\ 2 \end{bmatrix}$

先用过渡矩阵 $C$转成$e_1$描述的向量$v_{e_1}$

再使用$e_1$下的变换矩阵$A$，从而得到了$e_1$描述的而且变换后的向量$v_{e_1 trans}$

最后用逆过渡矩阵$C^{-1}$对这个向量做逆向，转回$e_2$描述的向量$v_{e_2 trans}$

---

图中的$C^{-1}ACv$是把基$e_1$描述下的任意向量$v$转成基$e_2$描述下的向量

$AC$：【这里的$C$就是$e_2$使用基$e_1$的描述方式】，而$AC$是把$e_2$（基$e_1$的描述方式）做了$A$这个线性变换，再使用$C^{-1}$，把$e_2$转成基$e_2$下的描述方式

而$C^{-1}AC$ 就是把基$e_1$描述下的线性变换T具化的矩阵$A$，变成基$e_2$描述下的矩阵$B$

【A,B都是相同的线性变换T的具化矩阵，只是在不同的基下的描述不同】

---

什么是过渡矩阵？

要从基 ( e ) 得到基 ( e’ ) 并且知道过渡矩阵 ( C )，我们可以使用以下公式：

假设 ( $(e_1, e_2, ..., e_n)$ ) 是原始基（即基 ( e )）中的向量，而 ( $(e_1', e_2', ..., e_n')$ ) 是目标基（即基 ( $e'$ )）中的向量。过渡矩阵 ( C ) 用于将基 ( e ) 转换为基 ( e’ )。那么，基 ( e’ ) 中的向量可以通过以下公式计算：

$(e_1', e_2', ..., e_n') = (e_1, e_2, ..., e_n)C$

这里，基 ( e ) 和基 ( e’ ) 中的向量被看作是列向量，构成了矩阵的列。因此，每个 ( $e_i'$ ) 是通过对应的 ( $e_i$ ) 乘以过渡矩阵 ( C ) 来获得的。

举个例子，假设你有一个二维空间中的基 ( $e = (e_1, e_2)$ ) 和一个过渡矩阵 ( C )：

$e_1 = \begin{bmatrix} a \\ b \end{bmatrix}, e_2 = \begin{bmatrix} c \\ d \end{bmatrix}, C = \begin{bmatrix} m & n \\ o & p \end{bmatrix}$

那么基 ( $e' = (e_1', e_2')$ ) 可以这样计算：

$e_1' = e_1 \cdot C = \begin{bmatrix} a \\ b \end{bmatrix} \begin{bmatrix} m & n \\ o & p \end{bmatrix} = \begin{bmatrix} am + bo \\ an + bp \end{bmatrix}$

$e_2' = e_2 \cdot C = \begin{bmatrix} c \\ d \end{bmatrix} \begin{bmatrix} m & n \\ o & p \end{bmatrix} = \begin{bmatrix} cm + do \\ cn + dp \end{bmatrix}$

这就是如何使用过渡矩阵 ( C ) 从基 ( e ) 得到基 ( e’ ) 的公式。

---

为什么要使用过渡矩阵的逆矩阵

当我们谈论将一个向量从一个基 ( e ) 转换到另一个基 ( e’ ) 时，我们需要理解过渡矩阵 ( C ) 的作用。关键在于理解基 ( e ) 和基 ( e’ ) 之间的关系以及 ( C ) 是如何定义的。

1. 定义过渡矩阵 ( C ): 当我们说 ( C ) 是从基 ( e ) 到基 ( e’ ) 的过渡矩阵时，我们的意思是 ( C ) 将基 ( e’ ) 表达为基 ( e ) 中的向量。换句话说， C 描述了如何使用基 e 中的向量来表达基 e’ 中的向量，所以用e’=eC，将e进行了C的线性变换，然后就能用e的角度来描述e’.【这里只能用来：使用基e来描述 基e’ 这一个向量】

2. 转换向量的方向: 当你有一个在基 e 中表示的向量 v ，并且你想转换它到基 e’ 中的表示，你实际上是在找出这个向量在新基e’中的坐标。比如在$e$下的$v = \begin{bmatrix} 3 \\ 2 \end{bmatrix}$在新基$e'$下是$v' = \begin{bmatrix} \frac{5}3 \\ \frac{1}3 \end{bmatrix}$，这就是为什么你需要使用 ( $C^{-1}$ ) 而不是 ( C )。你需要找出在基 e’ 中哪个向量会在基 e 中表示为 v。

3. **为什么不直接使用 Cv **: 使用 ( Cv ) 会在逻辑上导致矛盾，因为它会试图用基 ( e’ ) 来表示一个已经在基 ( e ) 中表达的向量，这与 ( C ) 的定义不符。实际上，( Cv ) 会给出一个在基 ( e ) 中表示的向量，但这个向量实际上是 ( v ) 在基 ( e’ ) 中的坐标所代表的向量。

总结：为了将基 ( e ) 中的向量 ( v ) 转换为基 ( e’ ) 中的向量，我们需要使用 ( $C^{-1}$ )，因为 ( C ) 定义了如何从基 ( e’ ) 到基 ( e ) 的转换，而我们需要执行相反的操作。

---

用一个具体的例子来解释这个概念。

假设我们有两个基：原始基 ( e ) 和新基 ( e’ )。我们用二维空间的例子来说明，这样比较容易理解。

1. 定义基和过渡矩阵:

   • 设 ( $e = (e_1, e_2)$ )，其中 ( $e_1 = \begin{bmatrix} 1 \\ 0 \end{bmatrix}$ ) 和 ( $e_2 = \begin{bmatrix} 0 \\ 1 \end{bmatrix}$ ) 是标准基向量。
   • 假设新基 ( $e' = (e_1', e_2')$ )，其中 ( $e_1' = \begin{bmatrix} 2 \\ 1 \end{bmatrix}$ ) 和 ( $e_2' = \begin{bmatrix} 1 \\ 1 \end{bmatrix}$ )。
   • 过渡矩阵 ( C )，它将基 ( e’ ) 表示为基 ( e ) 中的向量，是由 ( $e_1'$ ) 和 ( $e_2'$ ) 作为列向量构成的，即 ( $C = \begin{bmatrix} 2 & 1 \\ 1 & 1 \end{bmatrix}$ )。

2. 在基 ( e ) 中给定一个向量:

   • 假设有一个向量 ( $v = \begin{bmatrix} 3 \\ 4 \end{bmatrix}$ ) 在基 ( e ) 中。

3. 计算向量在基 ( e’ ) 中的表示:

   • 我们首先计算 ( C ) 的逆矩阵 ( $C^{-1}$ )。对于这个例子，假设 ( $C^{-1} = \begin{bmatrix} a & b \\ c & d \end{bmatrix}$ )（我们稍后会计算它）。
   • 然后，我们计算 ( $v' = C^{-1}v$ )。这将给我们 ( v ) 在基 ( e’ ) 中的表示。

4. 计算逆矩阵 ( $C^{-1}$ ) 和 ( $v'$ ):

   • 首先，让我们计算 ( $C^{-1}$ )。
   • 然后，我们将计算 ( $v'$ )。

通过计算得出，过渡矩阵 ( C ) 的逆矩阵 ( C^{-1} ) 为：

[ $C^{-1} = \begin{bmatrix} 1 & -1 \\ -1 & 2 \end{bmatrix}$ ]

对于基 ( e ) 中的向量 ( $v = \begin{bmatrix} 3 \\ 4 \end{bmatrix}$ )，在基 ( e’ ) 中的表示 ( v’ ) 为：

[ $v' = \begin{bmatrix} -1 \\ 5 \end{bmatrix}$ ]

这意味着在新基 ( e’ ) 中，向量 ( v ) 的坐标是 ( (-1, 5) )。这表明，在转换到新基 ( e’ ) 后，原来在标准基 ( e ) 中坐标为 ( (3, 4) ) 的向量，现在被重新解释为在 ( e’ ) 中坐标为 ( (-1, 5) ) 的向量。这是由于基向量的改变导致的坐标系的变化。

为什么在不同情况下，过渡矩阵 ( C ) 被用于右乘或左乘。

1. 基向量的转换（右乘）：

   当我们表示 ($(e'_1, e'_2, ..., e'_n) = (e_1, e_2, ..., e_n)C$)，实际上意味着我们在用旧的基向量 e 来描述新的基向量 e’。

   把$C$是在旧基中的一个矩阵，$ (e_1, e_2, …, e_n)$是一种线性变换，只有应用了这个变换，才能得到新基在旧基中的坐标，否则只看C是没有意义的

2. 向量的转换（左乘）：
   当我们使用表达式 ( $v' = C^{-1}v$ ) 来转换一个具体的向量 v 从旧基 ( e ) 到新基 ( e’ )，我们需要用 ( $C^{-1}$ ) 来左乘向量 ( v )。在这种情况下，( v ) 是在旧基 ( e ) 下的坐标表示，而我们需要找出它在新基 ( $e'$ ) 下的坐标。

   v是旧基的一个坐标（向量），$C^{-1}$是个线性变换，为旧基中的一个向量提供了在新基中的坐标

---

https://www.youtube.com/watch?v=LyGKycYT2v0

点积

点积的定义，对于任意两个向量$v=(e_1,e_2,…,e_n) , w=(q_1,q_2,…,q_n) $，他们的点积是：$(v,w)=\sum_{i=1}^{n}e_i q_i$

从几何上来看，$(v,w)$其实是$w$在$v$上的投影的长度(length of the project of w on v)乘以$v$的长度（结果是标量）【反向投影也可以】

并且，他们的方向也有几何意义：同向正，逆向负，垂直零

问题是，为什么点积（$(v,w)=\sum_{i=1}^{n}e_i q_i$）是将每个分量逐个相乘，再将相乘的结果累加越来？点积与线性变换有什么关系？

点积与线性变换有着密切的联系。

线性变换通常表示为一个矩阵，该矩阵可以将一个向量映射到另一个空间（例如，从二维空间映射到一维空间）。

当我们考虑将一个二维向量映射到一维空间时，实际上是在寻找一个方向，使得二维空间中的所有向量都可以沿这个方向进行投影。这个过程可以通过点积来实现，因为点积本质上就是一种测量一个向量在另一个方向上的投影的方法。

这里举例，将一个二维空间，通过线性变换，变成一维空间，而空间里面的向量$v$也跟着变换了越来。

而根据线性变换的计算规则，发现与点积公式是相似的

---

继续看将二维向量映射到一维这个例子，下面的图是二维的向量映射到$u$（假设$u$是单位向量）所在的一维

那么，怎么能找到这个“投影变换矩阵”P呢？

根据上面的图，

目标：找到$i$在变换后的$i'$，

做法：在$u$和$i$之间找个对称线，对于对称关系，所以$i'=u_x$！所以投影变换矩阵P的第一个分量就是$u_x$，同理，投影变换矩阵P的第二个分量就是$u_y$

即$P=[u_x,u_y]$，这个P就是将二维空间中所有的二维向量变成**$u$所在的一维**的变换矩阵，参考下图

---

上面是基于$u$是单位向量，如果$u$不是单位向量，而是任意长度，可以理解为：基于$u$是单位向量的进行变换，再将变换结果缩放了

---

另外，点积的结果是标量，可以参考下图来解释，将二维的数据映射到一维后，就成了number，不再是vector

---

这里是总体图

---

内积

内积是什么？

内积，可以想象成一种特殊的乘法。不像普通的数乘，它不是简单地将两个数字相乘，而是一种更复杂的操作，它将两个向量“融合”并产生一个单一的数字（标量）。这个操作可以告诉我们两个向量之间的一些有趣的事情，比如它们是如何相互关联的。

内积空间给我们带来了什么？

1. 测量长度：通过内积，我们可以测量一个向量的“长度”。在普通的三维空间中，这就像是测量一根箭头有多长。
2. 夹角：内积还可以帮助我们了解两个向量之间的角度。比如，如果两个向量的内积是零，它们就是互相垂直的。
3. 投影：你可以通过内积来计算一个向量在另一个向量上的“影子”或“投影”。这就像是太阳在地面上投下一根棍子的影子，影子的长度可以通过内积来计算。

内积空间的应用

这个概念在数学、物理学和工程学中非常有用。在物理学中，它可以帮助我们计算力在一个方向上做了多少功；在工程学中，它可以帮助我们理解和计算信号的处理。

结论

所以，内积空间实际上是一种具有特殊“测量工具”的向量空间。这个工具（内积）允许我们用一种有意义的方式来测量和比较向量。通过内积，我们可以了解向量的长度、它们之间的角度，以及它们如何在某种意义上相互关联或正交。

内积空间在英文中被称为 “Inner Product Space”。翻译为“空间”这个词是因为在数学中，“空间”通常用来描述一系列元素（如数、向量、函数等）组成的集合，这些元素之间可以进行某些特定的操作（如加法、乘法等）。在内积空间的情况下，这些元素是向量，而特定的操作之一就是内积。

---

厄米特矩阵

厄米特矩阵(Hermitian matrix）是一类在复数域上的方阵，它满足自身等于其共轭转置。在实数域上，厄米特矩阵简化为对称矩阵，即矩阵等于其转置。

让我们通过两个例子来说明这一概念：

复数域上的厄米特矩阵

假设我们有一个 2x2 的复数矩阵 ( A ):

$A = \begin{pmatrix} 2 & 1+i \\ 1-i & 3 \end{pmatrix}$

要证明这是一个厄米特矩阵，我们需要验证 ( A ) 等于它的共轭转置 ( $A^H$ )。

计算 ( A ) 的共轭转置：

$A^H = \begin{pmatrix} 2 & 1-i \\ 1+i & 3 \end{pmatrix}$

可以看到 ( $A = A^H$ )，因此这个矩阵是厄米特的。

实数域上的厄米特矩阵（对称矩阵）

在实数域上，厄米特矩阵是对称矩阵。例如：

$S = \begin{pmatrix} 4 & 6 \\ 6 & 5 \end{pmatrix}$

这个矩阵是对称的，因为它等于自己的转置：

$S^T = \begin{pmatrix} 4 & 6 \\ 6 & 5 \end{pmatrix}$

由于实数的共轭是其本身，因此 ( S ) 也是厄米特的。

这两个例子展示了厄米特矩阵在复数和实数域的不同表现。在复数域，厄米特矩阵的对角线元素是实数，而非对角线元素是共轭对。在实数域，厄米特矩阵简化为对称矩阵。

正交矩阵

是一类特殊的方阵，它在实数域上满足一些重要的性质。一个矩阵 ( Q ) 是正交的，如果它满足以下条件：

1. 矩阵的行向量是正交的：这意味着任意两个不同的行向量的内积（点积）都是 0。
2. 矩阵的列向量也是正交的：这意味着任意两个不同的列向量的内积也是 0。
3. 矩阵的所有行向量和列向量都是单位向量：即它们的长度（或范数）都是 1。

数学上，这可以表示为 ( $Q^TQ = QQ^T = E$ )，其中 ( $Q^T$ ) 是 ( Q ) 的转置，( E ) 是单位矩阵。这个性质意味着 ( Q ) 的逆矩阵是其转置：( $Q^{-1} = Q^T$ )。

当使用正交矩阵对**一个向量集合（基）**进行变换时，向量间的内积保持不变。

这是因为正交变换保持了向量间的角度和长度。正交变换在很多领域，如计算机图形学、信号处理和数值分析中都非常重要，因为它们通常不会引入数值不稳定性。简而言之，正交矩阵不仅保持向量长度不变，还保持向量间角度不变，这使得它们在多个领域内非常有用。

举例来说，下面是一些正交矩阵的例子：

2x2 正交矩阵

一个简单的 2x2 正交矩阵例子是：

$Q_1 = \begin{pmatrix} \cos\theta & -\sin\theta \\ \sin\theta & \cos\theta \end{pmatrix}$

这个矩阵代表一个角度为 ( $\theta$ ) 的旋转。例如，如果 ( $\theta = 90^\circ$ )（或 ( $\pi/2$ ) 弧度），则矩阵变为：

$Q_1 = \begin{pmatrix} 0 & -1 \\ 1 & 0 \end{pmatrix}$

即，二维空间左旋90度

3x3 正交矩阵

一个 3x3 的正交矩阵例子是：

$Q_2 = \begin{pmatrix} 1 & 0 & 0 \\ 0 & \cos\phi & -\sin\phi \\ 0 & \sin\phi & \cos\phi \end{pmatrix}$

这个矩阵表示围绕 x 轴的一个旋转，其中 ( $\phi$ ) 是旋转角度。

验证正交性

要验证这些矩阵是正交的，我们需要检查它们的转置乘以它们自身是否等于单位矩阵。例如，对于 ( $Q_1$ )：

$Q_1^TQ_1 = \begin{pmatrix} \cos\theta & \sin\theta \\ -\sin\theta & \cos\theta \end{pmatrix} \begin{pmatrix} \cos\theta & -\sin\theta \\ \sin\theta & \cos\theta \end{pmatrix} = \begin{pmatrix} 1 & 0 \\ 0 & 1 \end{pmatrix}$

同样地，可以对 ( $Q_2$ ) 进行验证。这些正交矩阵在保持向量长度和角度不变的同时，进行旋转或者其他线性变换。

正规矩阵

（Normal Matrix）是一类在数学中特别的方阵，它满足这样一个条件：矩阵与其共轭转置的乘积等于其共轭转置与矩阵本身的乘积。用数学术语来表达，对于一个方阵 ( A )，如果它满足以下等式，则 ( A ) 是一个正规矩阵：

$AA^H = A^HA$

其中 ( $A^H$ ) 表示 ( $A$ ) 的共轭转置。

这个定义适用于复数矩阵。对于实数矩阵，由于实数的共轭是其本身，所以共轭转置简化为转置，即 ( $A^H = A^T$ )。

正规矩阵是一个重要的类别，因为它包括几种特殊类型的矩阵：

• 厄米特矩阵（Hermitian Matrix）：当 ( $A = A^H$ ) 时，即矩阵等于其共轭转置。
• 斜厄米特矩阵（Skew-Hermitian Matrix）：当 ( $A = -A^H$ ) 时。
• 单位矩阵（Unitary Matrix）：当 ( $A^{-1} = A^H$ ) 时，这在实数矩阵中对应于正交矩阵。
• 对称矩阵（Symmetric Matrix）：在实数矩阵中，当 ( $A = A^T$ ) 时。
• 反对称矩阵（Skew-Symmetric Matrix）：在实数矩阵中，当 ( $A = -A^T$ ) 时。

正规矩阵的这个性质对于矩阵的谱理论非常重要，它保证了矩阵可以被其特征向量组成的正交基对角化。这意味着正规矩阵的特征值和特征向量可以提供很多关于矩阵的重要信息。