计算机零散小知识汇总  机器学习，神经网络，卷积，人脸识别
旅行推销员问题

浅说计算

参考资：蔡司工程师-陈维军视频

万物皆可数字化，每一个数学都已经/将被计算。
其中包括A/D，D/A，encoding/decoding，Transfrm，Rescaling，Detection/Recognition，Modeling/Mapping，Morphing/Synthesis，Machine Learning，Visualization/Virtualization等等。

很多人不了解，计算其实是一堆加法，减法可以看作是加上对应的负数，乘法可以看作是一堆数相加，除法 = 减法+加法(循环)，幂次运算可以看作是乘法，而乘法本身也是加法，三角函数/其他函数可以用泰勒展开，然后转化为其他运算，最后同样都可以变成加法的形式。

加法就是状态转换和移位(Addition is just state replacing and shift)，不仅是针对十进制，其他比如二进制、十六进制也是一样。

计算可仅被一系列状态转换和移位来完成(Computing could be fulfilled by only/just replacing and shift)，这是1936年图灵提出来的。图灵机的本身就是状态转换和移位。图灵机是由冯诺依曼架构来实现的，即计算可以被状态读取/改变架构完全实现(Computing could be implemented as a state visiting/replacing architecture)

Turing machine just change the state and shift the tape.
Von Neumann architecture just mixture the instruction and data.

Computer language is generally: instruction + data
Computer program is sequence of instruction +data

二进制计算与越来越密集的“与非门”(Computing in binary by more and more NAND gate)。这里补充一下半加法器和对应三极管电路，还有全加法器。

Fast computing: parallelism-1, multi-stage pipeline  快速计算并行方案-1，流水线。
Fast computing: parallelism-2, SIMD  快速计算并行方案-2，SIMD。

SIMD = Single Instruction,  Multiple Data  → The key for GPU parallel computing
GPU  = Graphics processing unit (GPU可以快速执行矩阵的操作)

Fast computing: parallelism-3, Multiple core + Heterogeneous computing 快速计算并行方案-3，多核/异构。

多核，是从硬件设计的角度来说的，多个CPU，同一个cache/memory；
异构是从软件层面来说的。

The essential nature of computing 计算的本质
沈向阳：computing = indexing +sorting

I understood it as an equivalent physical concept: 
Computing = transformation +comparison
Transformation is generally a SIMD type operation.
Comparison is generally a pipeline tasks.
Various transformation (time/spatial) + comparison  →Heterogeneous computing

Next step computing-1:

There are several fundamental questions to be answered:
(1) When the computing could/must be performed?
(2) What minimum computing is essentially necessary?
(3) What kinds of physics could be further adopted for computing?

Ultra-high-speed computing via fiber optics.

Next step computing-2:

Two all known but often been ignored facts for both the transformation and the comparison: 0到0其实是不用算的，噪声到噪声也不用算。

Generally, before performing computing on multiple data, we don't know whether they are zero, noise or structural signal.

• Algorithm principle: "Approximate FFT" by Don Coppersmith
• Physical implementation: Quantum computing based on the local coherence (superposition) and natural uncertainty inside a quantum system.
• 计算复杂度从\(  N \log N \rightarrow \log N \)。

李永乐—机器学习和神经网络

人工智能发展史
(1) 1950年，图灵提出的一个关于判断机器是否能够思考的著名思想实验，测试某机器是否能表现出与人等价或无法区分的智能。测试的谈话仅限于使用唯一的文本管道。
(2) 1956年，马文明斯基、约翰麦卡锡、香农召开了达特茅斯会议，主要议题是“机器是否能像人类一样思考”，会议上人们发明了一个词“人工智能(AI)”。
(3) 1997年IBM的机器人“深蓝”，人工智能再次复苏。得益于算法的改进，辛顿将反向传播是算法BP引入到AI，杨立昆的卷积神经网络，等等。

梯度下降算法：预测房价

这里是最简单的例子，房价只和面积有关，于是可以用最小二乘法来拟合房价和面积之间的关系。其中的\(  J\)就是损失函数，我们的目标就是找到最小的\(  J\)对应的另外两个参数(斜率和截距)。事实上，参数有两个，所以两个参数和损失函数共同构建出的是一个三维图形，上图中为了简便只花了一个。我们的目标其实就是寻找三维图形的两个偏导数同时为零的点；由于计算机处理的数据不是完美连续的，所以上图的停止迭代的条件是取约等于的，具体还要看要求的最终数据精度。

        实际上影响房价的因素有很多(每一个输入中包含多个数据)，根据不同参数对房价影响的权重不同，我们可以列出：$$y=w_{1} x_{1}+w_{2} x_{2}+\cdots+w_{n} x_{n}+b$$通过一大堆数据，可以找到最优的参数解，这就是“回归”。人工智能另一类重要应用就是“分类”，先让电脑熟悉一大堆猴子的照片，然后下次拿出一张新的猴子或者猫的照片，电脑能够区分是不是猴子。

        梯度下降算法训练参数非常类似人的认知过程(皮亚杰认知发展理论)，吃一堑长一智。

参考资料：
(1) 最小二乘法 来龙去脉 
(2) 高斯和勒让德的争论
(3) 皮亚杰+认知发展理论+李永乐

神经网络
来源于人类对大脑的认知，树突接收信号之后，经过轴突的处理，有选择地向下一级释放(可以释放，也可以不释放)。美国神经科学家认为，每个神经元都是多输入(从上游多个神经元获得信号)，单输出，而且输出要么是0要么是1，这就是M-P模型，下图中的\( f \)即为激活函数，决定向下游输出的信号。比如，典型的激活函数sigmoid函数，这个其实就是MIT-微分方程里面讲的Logistic 方程，这里如果激活函数等于0.5，那么意味着有50%的可能性往下游输出1，同时也有50%的可能性输出0。实际上，人类对事物的判断也是从概率上进行判断(分类)的。将人类的一大堆神经元组合起来，就是上面的“神经网络图”。上面的黑白格子图，就是简答的例子，说明电脑如何识别出这是一个字母X；黑白即为1/0，如果是有灰度，我们同样可以转变成具体灰度数值，如果是彩色RGB同样也可以的，都可以转化成输入的一组数。实际应用中的图像识别或者文章阅读，是需要多层神经元，也就是上图中的“多层神经网络”。

        BP算法就是说，对于多层神经网络，先调整最后一层的参数，然后调整次最后一层的参数，不断往前倒推，所以这叫作反向传播算法。BP算法以及算力的提升为第三次人工智能发展浪潮提供了基础。

        程序员不需要自己去编写算法，利用已写好的算法可以直接实现人工智能。这些写好的算法集成在了人工智能框架中，程序员只需要继续在框架这个工具之上开展工作即可。主流AI框架有谷歌的TensorFlow，亚马逊的SageMaker，微软的CNTK，脸书的PyTorch。在AI时代，拥有框架就像通信行业拥有行业标准一样，会占有全行业基础性的优势。华为的AI框架为MindSpore。

李永乐—卷积神经网络-人脸识别啥原理？

视觉原理
1981年诺贝尔生理学或医学奖，科学家把电极插入到猫的脑中，然后给猫看各种各样的图片，研究猫的脑部反应，结果发现大脑中和视觉相关的细胞分为两种，第一种叫作“简单的视觉神经细胞”，特点是某一些线条是比较敏感的，另一类是比较复杂的细胞，不光能对线条产生反应，还能对线条的运动产生反应。于是科学家以此去解释人的眼镜是如何看到物体的。

在他们的启发下，日本科学家福岛彦邦提出了“神经认知模型”，人的大脑中有很多皮层，是一层一层对视觉信号进行处理的。光线刚进入到人的视网膜，我们看到的光线实际上是一大堆像素点，然后在第一个皮层中，抽象出一些特征，比如边缘和方向信息，下一个皮层将这些特征组合起来，形成这个物体的轮廓以及更多的细节，最后把轮廓和细节组合起来形成一个整体的判断。

        杨立昆以此发明出一种能够实用的图像识别的算法，称为卷积神经网络，简写为CNN，图像识别中最流行的算法就是卷积神经网络。

        计算机实际上是把一幅图转化为一大堆数字，通过训练就知道数字代表什么含义。如果用上节课的方法去训练费时费力，而且一旦图片发生旋转、缩放，计算机就认不出来。但是人眼的效率很高，看过一次汽车和摩托车之后，就能立刻把它们的区别分辨出来，下次看到这个摩托车，即使方向(或者位置)变化了，也能识别出来。

卷积
通信专业也有卷积，但是CNN这里的卷积在表现形式上不同。比如图像X，有多种写法，但是一定有相同的特征，比如一个斜向右下和一个斜向左下的线。我们希望用一种数学方法(卷积)提取图像中的一些特征。这里我们用的是一个三阶卷积核去和原始的七阶图去乘，然后得到红色的五阶图(特征图)。五阶图中，数字越大的地方，表面其越像卷积核(对应的特征为一个斜向右下的线)，即存在一个斜向右下的线。总而言之，通过不同的卷积核，我们就能够对图像进行不同的处理，得到不同的特征图，继而显示出这种特征在原始图像中的分布位置。

池化、激活
池化过程如图，可以将一个大的特征图变小。激活就是利用之前的sigmoid函数得到一张新的图，激活后的图中元素，数字越接近于1，就越满足卷积核的特性。最开始的卷积核是人为设定的，但是后来在机器学习的过程中，它会根据自己的数据去反向调节这个卷积核，和之前讲的利用训练的方法去调节参数没有什么区别，它最终会找到最合适的卷积核。有几个卷积核，就会有几张特征图，这几张特征图放在一块儿，就形成三维立体的图形。比如这里的图像和三个卷积核作用得到三张图组成的三维图，那么这个三维图池化后可以作为输入，再次进行卷积，不过这个时候的卷积核也是三维的，如果有四个卷积核，那么内积最终得到四张图。

算力
CPU，中央处理器，通用性强，但是并行能力差；
GPU，图形处理器，代表产商是英伟达，之前是用在游戏图像渲染，后来发现可以用于AI，特点是专用型强，并行能力强，类似一万个小学生(只会加减乘除)；
NPU，神经网络处理器，专门计算人工智能的处理器，专业性和并行能力都比GPU强，可用于实时美颜。

参考资料：
(1) CPU与GPU到底有什么区别？—脚本之家