傅里叶级数

黎曼积分和勒贝格积分

我们高数学的都是黎曼积分。勒贝格积分是黎曼积分的推广，黎曼积分仅仅适用于连续或者几乎处处连续的函数的积分，但是许多函数并不满足上述性质。比如狄利克雷函数，其在定义域上是处处不连续的，无法进行黎曼积分。

注：
1. 知乎：勒贝格积分与黎曼积分的区别？
2. 知乎： Riemann 积分与 Lebesgue 积分的联系与差异分别是什么
3.  苏剑林：为什么勒贝格积分比黎曼积分强？
4.  知乎：什么是可数集？
5.  狄利克雷函数：在实数域上，狄利克雷函数\( D(x) \)定义为\(  x\)为有理数时，\(  D(x)=1\)，\( x \)为无理数时\(  D(x)=0\)。
6. 從三角求和公式到 Fourier 級數-林琦焜

\( L^{2} \)积分

前面的均方收敛$$\int_{0}^{1}\left|\sum_{k=-n}^{n} \hat{f}(k) e^{2 \pi i k t}-f(t)\right|^{2} d t \rightarrow 0 \text { if } n \rightarrow \infty$$收敛需要满足的条件：\(  \displaystyle\int_{0}^{1}|f(t)|^{2} d t<\infty\)。这种积分称为“\( L^{2} \)积分”，其中的\(  L\)表示Lebesgue(勒贝格)。如果\(  f(t)\)满足该积分条件，则可表示为\(  f \in L^{2}([0,1])\)。

工程方面的文献，你会经常看到这些术语\(  L^{2}\)。\(  L^{2}\)是许多问题的framework，比如量子力学的希尔伯特空间(具体见量子力学笔记)。

正交/投影/模/勾股定理

推导傅里叶公式的时候用到了这个式子：$$\int_{0}^{1} e^{2 \pi i k t} e^{-2 \pi i m t} d t=\int_{0}^{1} e^{2 \pi i(k-m) t} d t=0, \quad k \neq m$$这个简单的式子，将把“几何”引入到平方可积函数中\(  L^{2}([0,1])\)，我们会应用到“几何”中的垂直(正交)概念。我们在学习线性代数的时候，知道向量可以通过点乘来判断正交性，或者说这两个向量是否垂直，当然不仅仅是二维三维，对于任何\(  \mathbf{R^n}\)空间都可以。其实我们同样可以把函数看作是向量，即无限维的向量，于是也可以通过类似内积(点乘)的操作来判定正交性。定义如下：

设有复变函数(自变量和应变量皆为复数的函数)\( f, g \in L^{2}([0,1]) \)，那么可以把它们分别认为是向量，求这两个向量的内积方法为$$(f, g)=\int_{0}^{1} f(t) \bar{g}(t) d t$$当\( (f, g)=0 \)时，就可以说\( f \)与\(  g\)正交。

自己和自己内积求模长：\((f, f)=\|f\|^{2}=\displaystyle\int_{0}^{1}|f(t)|^{2} d t  \)注意积分内部是\(  f(t)\)和自己的复共轭函数相乘，当然如果是实数函数，复共轭函数就是自身。

勾股定理：\(  \|f+g\|^{2}=\|f\|^{2}+\|g\|^{2}\)当且仅当\(  (f, g)=0\)时成立。

注：
上面的内积和量子力学中的内积定义不太一样，区别来源于我们将函数看作是一个行向量还是列向量。数学中(我们现在学的这门课)，\( \langle f, g\rangle=\displaystyle\int_{a}^{b} f(t) \overline{g(t)} d t \)；量子力学中\(\langle f \mid g\rangle \equiv \displaystyle\int_{a}^{b} f(x)^{*} g(x) d x  \)。

正交基类比到傅里叶系数：$$\left(e^{2 \pi i m t}, e^{2 \pi i k t}\right)=\left\{\begin{array}{ll}
1 & m=k \\
0 & m \neq k
\end{array}\right.$$因此\( e^{2 \pi i k t} \)被称为傅里叶变换中的正交基。

投影：从线性代数的知识，我们知道如果基是标准正交基，那么要知道某个向量在特定基上的投影，只需要将这个向量乘以该特定的基就可以得到这个向量在该特定基上的分量(摘出特定分量)。这个不仅是针对二维三维，更高维也行。老师说了，不要去强行visualize一些本来就无法想象的东西(比如高维空间、函数正交)，但是我们可以通过类比的思想提取这些概念的精髓。
投影类比到傅里叶系数为$$\hat{f}(n)=\int_{0}^{1} f(t) e^{-2 \pi i n t} d t=\left(f(t), e^{2 \pi i n t}\right)$$傅里叶系数\( \hat{f}(n) \)就是原函数\( f(t) \)在\( e^{2 \pi i n t} \)上的投影。傅里叶系数，准确来说就是一个投影分量。
向量的分量类比到傅里叶变换：$$\begin{aligned} f(t) &=\sum_{k=-\infty}^{\infty} \hat{f}(t) e^{2 \pi i k t} \\ &=\sum_{k=-\infty}^{\infty}\left(f, e^{2 \pi i k t}\right) e^{2 \pi i k t} \end{aligned}$$这里的\(  e^{2 \pi i k t}\)是标准正交基，对于特定的\(  k\)，我们要知道向量\( f(t) \)在这上面的投影，只需要将\( f(t) \)和这个基做内积即可。

注：
1. 函数\(f(t)  \)其实是可以选择不同的标准正交基，小波只不过是特例，而我们用的复指数基(complex exponetials )。这些基组成的都是平方可积的函数。基就是elmentary building blocks.
2. 我们把\(  e^{2 \pi i k t}\)看作是傅里叶的基，要想得到基前面的系数，即将函数往基的方向上投影，可以参考线性代数关于投影的笔记，可以知道向量\( \mathbf{a} \)往单位向量\(  \mathbf{b}\)上投影的系数\( x=\frac{\mathbf{a}^{\mathrm{T}} \mathbf{b}}{\mathbf{a}^{\mathrm{T}} \mathbf{a}} \)，注意线性代数这是将两个向量看作是列向量，而我们这里是将函数看作是行向量(从后面要讲的Parseval's theorem可以看出来)。所以这里需要改写一下\( x=\frac{\mathbf{b}\mathbf{a}^{\mathrm{T}} }{ \mathbf{a}\mathbf{a}^{\mathrm{T}}} \)，这里的\( \mathbf{b} \)就是要被分解的函数\(  f(t)\)，\(  \mathbf{a}^{\mathrm{T}}\)就是\( e^{-2 \pi i k t} \)，即傅里叶基\( e^{2 \pi i k t} \)的共轭转置，注意我们在线性代数中讨论的是实数，如果拓展到复数，那么原来的转置就变成了共轭转置，另外向量乘积各个结果加和的过程就是积分的过程。

瑞利恒等式：几何向量有勾股定理有\(c^{2}=a^{2}+b^{2},(a, b)=0  \)，类比到傅里叶变换有瑞利等式$$\int_{0}^{1}|f(t)|^{2} d t=\sum_{k=-\infty}^{\infty}|\hat{f}(k)|^{2}$$注：这也可以看作是一个关于能量的等式，可以在时域或频域来计算能量。瑞利恒等式其实就是我们后面会提到的帕塞瓦尔定理/等式，从几何观点来看，这就是内积空间上的毕达哥拉斯定理。(参考维基百科，写一个拓展内容)

热流应用(application to heat flow)

研究的问题如下： 在一个空间中，温度初始分布函数为\(  f(x)\)，\(  x\)为空间变量。求温度如何随着时间与空间变化？

典型例子：热环
求解如下:
假定圆周长为\(  1\)，则有\(f(x+1)=f(x)  \)，\(  U(x+1, t)=U(x, t)\)
根据傅里叶级数(注意是傅里叶级数，不是傅里叶变换)有如下等式：$$U(x, t)=\sum_{k=-\infty}^{\infty} C_{k} e^{2 \pi i k x}$$时间\(  t\)包含在系数\(  C_{k}\)中，即$$U(x, t)=\sum_{k=-\infty}^{\infty} C_{k}(t) e^{2 \pi i k x}$$根据传热方程(或者说扩散方程)，并且假定热传导系数为\(  \frac {  1}{  2} \)，那么$$U_{t}=\frac{1}{2} U_{x x}$$其中$$U_{t}=\sum_{k=-\infty}^{\infty} C_{k}^{\prime}(t) e^{2 \pi i k x}$$而$$\begin{aligned}
\frac{1}{2} U_{x x} &=\frac{1}{2} \sum_{k=-\infty}^{\infty} C_{k}(t)(2 \pi i k)^{2} e^{2 \pi i k x} \\
&=\frac{1}{2} \sum_{k=-\infty}^{\infty} C_{k}(t)\left(-4 \pi^{2} k^{2}\right) e^{2 \pi i k x} \\
&=\sum_{k=-\infty}^{\infty} C_{k}(t)\left(-2 \pi^{2} k^{2}\right) e^{2 \pi i k x}
\end{aligned}$$对比得$$C_{k}^{\prime}(t)=-2 \pi^{2} k^{2} C_{k}(t) \quad \text { for all } k \in \mathbb{Z}$$即\( C_{k}(t)=C_{k}(0) e^{-2 \pi^{2} k^{2} t} \)。

注：上面的\( x \)其实对应区域的维数。

傅里叶级数连续性讨论，热方程

热方程后续

上次课推导出\(  C_{k}(t)=C_{k}(0) e^{-2 \pi^{2} k^{2} t}\)，那么\(  C_{k}(0)\)是什么呢？

在\( t=0\)即对应初始状态，有：$$f(x)=U(x, 0)=\sum_{k=-\infty}^{\infty} C_{k}(0) e^{2 \pi i k x}$$即\( C_{k}(0) \)为\( f(x) \)的傅里叶(级数的)系数$$C_{k}(0)=\hat{f}(k)$$于是最终的温度分布的结果为$$U(x, t)=\sum_{k=-\infty}^{\infty} \hat{f}(k) e^{-2 \pi^{2} k^{2} t} e^{2 \pi i k x}$$注意：当\(  t \rightarrow \infty\)时，\(  U \rightarrow 0\)，因此，圆环的温度最终会变为\(  0\)(这里其实有问题，传热方程是有局限的，只能在操作和观测的空间、时间和能量尺度都远大于分子热运动的空间、时间和能量尺度的情况下使用，具体参见知乎讨论)。

热方程进一步推导，引入卷积

对\(  C_{k}(0)=\hat{f}(k)\)进一步分解$$\hat{f}(k)=\int_{0}^{1} e^{-2 \pi i k y} f(y) d y$$带入热方程得到$$\begin{aligned}
U(x, t) &=\sum_{k=-\infty}^{\infty}\left(\int_{0}^{1} e^{-2 \pi i k y} f(y) d y\right) e^{-2 \pi^{2} k^{2} t} e^{2 \pi i k x} \\
&=\int_{0}^{1}\left(\sum_{k=-\infty}^{\infty} e^{-2 \pi i k y} e^{2 \pi i k x} e^{-2 \pi^{2} k^{2} t}\right) f(y) d y \\
&=\int_{0}^{1}\left(\sum_{k=-\infty}^{\infty} e^{2 \pi i k(x-y)} e^{-2 \pi^{2} k^{2} t}\right) f(y) d y
\end{aligned}$$令$$g(x, t)=\sum_{k=-\infty}^{\infty} e^{2 \pi i k x} e^{-2 \pi^{2} k^{2} t}$$上面的等式被称为热核方程(heat kernel)，则$$U(x, t)=\int_{0}^{1} g(x-y, t) f(y) d y$$如上面的等式，热方程被转换成了卷积的表现形式。换句话说，\(  U(x, t)\)是\( f(x) \)和\( g(x,t) \)(热核函数)的卷积。热核函数是热方程的fundamental solution(基本解)，也被称为热方程的格林函数。

注：
(1) 数学物理上有一个很著名的问题：狄利克雷问题。解同样最终可以写成卷积的形式，那里的好处是你最终得到了一个格林函数，或者那个基本解的闭合表达式，泊松核。热问题和这个狄利克雷问题在处理手法上非常相似。
(2)  偏微分方程经常以卷积的形式出现，一方是fundamental solution，另一方给定数据定下的初始条件。这是宇宙中一个很重要的秘密。我们上面的\(  g(x, t)\)是基本解，初始条件为\( f(x) \)。其实我们基本解类似给出了一个特定的程序/算法(特定的卷积)，我们可以把它看做一个黑盒子，你把不同的初始条件丢进去，它吐出来的就是对应的最终的运算结果。
(3) 初始温度分布\(  f(x)\)的\( x \)和热方程\( U(x, t) \)中的位置\(  x\)其实是两个独立的位置体系坐标，所以我们带入的时候将其中一个改写成\(  y\)以示区分。
(4)  关于卷积，我们在微分方程笔记也有涉及，这里简单写一下：$$y(t)=g(t) * f(t)=\int_{0}^{t} g(t-T) f(T) d T$$这就是卷积，其实这个表达式在前面出现过(比如储蓄的例子，\(  T\)时刻新存入的钱在后面的\( t-T \)时间段内满足指数增长)，\(f(T)  \)为输入函数，而\(g(t-T)  \)为在时间\(T  \)之后输入函数的增长因子，最后通过积分将所有时刻的输入效果累加在一起。这里其实就是告诉我们如何对两个相乘的函数进行逆拉普拉斯变换。

从傅里叶级数到傅里叶变换

傅里叶级数到傅里叶变换是从周期现象到非周期现象的转变，我们可以将非周期函数看做是周期函数的一种特殊情况：周期趋于无穷。

对于周期为1的函数$$\begin{array}{c} C_{k}=\hat{f}(k)=\displaystyle\int_{0}^{1} e^{-2 \pi i k t} f(t) d t \\ f(t)=\sum_{k=-\infty}^{\infty} \hat{f}(k) e^{2 \pi i k t} \end{array}$$频谱图如下
我们只是展示复系数\(  C_{k}\)的模长(应该同时展示实部和虚部)，\(  \left|C_{k}\right|=|a+b i|=\sqrt{a^{2}+b^{2}}\)，另外我们在第二节课的时候也学过\(C_{k}  \)是\(  y\)轴对称的。这种系数模长的画法是通用的，大家都这样用，但是遗漏了相位的信息。

推广到周期为T的函数$$\begin{aligned}
C_{k}=\hat{f}(k) &=\frac{1}{T} \int_{0}^{1} e^{-\frac{2 \pi}{T} i k t} f(t) d t \\
&=\frac{1}{T} \int_{-\frac{T}{2}}^{\frac{T}{2}} e^{-2 \pi i \frac{k}{T} t} f(t) d t \\
f(t) &=\sum_{k=-\infty}^{\infty} \hat{f}(k) e^{2 \pi i \frac{k}{T} t}
\end{aligned}$$注：其实这里的关键就是积分的上下限(一个周期的起始点和终点)和\(  \displaystyle\frac{k}{T}\)乘积的差为\(  k\)。
周期为\(  T\)，频率为\(\displaystyle\frac{1}{T}  \)，当\(  T \rightarrow \infty\)时，\(  \frac{1}{T} \rightarrow 0\)频谱变成连续谱。

问：当\(  T \rightarrow \infty\)，是否能得到傅里叶变换？答案是否定的。
该函数的傅里叶系数的求解$$\begin{align*} C_k = \displaystyle{\hat{f}(k) } &= \displaystyle{\frac{1}{T}\int_{-\frac{T}{2}}^{\frac{T}{2}}e^{-2\pi i\frac{k}{T}t}f(t)dt } \\ &= \displaystyle{\frac{1}{T}\int_a^b e^{-2\pi i\frac{k}{T}t}f(t)dt } \\ &\leqslant \displaystyle{\frac{1}{T}\int_a^b \left | e^{-2\pi i\frac{k}{T}t}\right | \left |f(t) \right |dt } \\ &= \displaystyle{\frac{1}{T}\int_a^b Mod(e^{-2\pi i\frac{k}{T}t}) \left |f(t) \right |dt } \\ &= \displaystyle{\frac{1}{T}\int_a^b Mod(cos(-2\pi \frac{k}{T}t) + isin(-2\pi \frac{k}{T}t)) \left |f(t) \right |dt } \quad spread \ with \ Eular \ Formula \\ &= \displaystyle{\frac{1}{T}\int_a^b \sqrt{cos^2(-2\pi \frac{k}{T}t) + sin^2(-2\pi \frac{k}{T}t)} \left |f(t) \right |dt } \\ &= \displaystyle{\frac{1}{T}\int_a^b 1\left |f(t) \right |dt } \\ &= \displaystyle{\frac{1}{T}\int_a^b \left |f(t) \right |dt } \\ &= \frac{M}{T} \end{align*}.$$即\( C_{k} \leqslant \displaystyle\frac{M}{T} \)对任意\( C_{k} \)都成立，另外如果\(T \rightarrow \infty  \)，因为\( M \)是定值，所以\(  C_{k} \rightarrow 0\)所有傅里叶系数为\(  0\)则该傅里叶变换毫无意义。

注：
关于上面的论述其实可以类比离散分布的概率和连续分布的概率。以周期为\(  1\)的函数作为变化的起点，不断增大周期，那么周期越大，从横轴看频域轴上的点的分布就越来越密集，同时频域在纵轴空间上不断被压缩，即\( C_{k} \)越来越小(逐渐趋近于零)。类比离散分布，如果分布的点越来越多，那么每个点出现的概率就越来越小。注意真将周期取到无穷大，那么频域的点的数量将由“可数”变为“不可数”，对概率分布也是一样的(从离散变为完全连续)，这个时候单独拿出一个点谈概率必然是零，比如我们这里的\( C_{k} \)就变为零，真正代表概率的是面积。