cs231n

90年代到2010年，最火的学习器是SVM Family。到了DL，由于SVM的限制，开始使用深度神经网络。来实现end-to-end的学习。

Rule-based system VS Representation learning

Rule-based system：基于规则进行设计，和以前人工设计算法是一样的，比如基于图/树搜索。

Representation learning：表示学习是从数据进行traning。

New challenge
- Limit of hand-designed feature. 人工设计的特征受到很多现在，有很多人想不到的特征提取方法
- SVM can not handle big data set well.
- More and more application need to handle unstructured data. 以前都是关系型数据表，做特征降维PCA就OK了，现在很多都是无结构得数据，比如图像、文本和声音等等。

神经网络，最早的灵感来源于神经科学，现在用的深度学习来源于数学和工程学。

原子计算：

基于图的传播算法：

CPU版本的的话，CUDA选择None

梯度下降算法只能保证得到的是局部最优，而不是全局最优。那为什么我们在深度学习中大量使用梯度下降作为最基本的算法呢？这是因为深度学习的损失函数，以前人们认为有很多局部最优点，但是实际上局部最优点的个数很少。但是存在一种特殊点，即鞍点。