看过很多相关的书，时下有很多机器学习的工具可供使用，简单用过sklearn，tensorflow，Fasttext, LightGBM等框架之后，不可否认，通过对这些框架的学习了解，能够大概知道机器学习有哪些方向，可以用来处理哪些问题，然而，同时也发现自己的基础实在是太差，现在决定还是要把吴恩达的课程仔细的从头到尾看一遍，并且动手实践一遍。相信只有动手搞一遍底层实现之后才能对机器学习更自信些。
所以，在2018.8.20 ~ 2018.10.1 看完所有课程，课程使用octave实现工具，需要结合着网上的开源代码，争取用python+numpy实践一遍，立此flag。
- 张量、矩阵、向量、标量
- 初始化赋值，从文件中load等
- 加减，乘法(结合律、交换律)、求逆、转置、求导等操作
问题：
- 梯度下降算法比较？
| name | 中文 | 简介 | 优点 | 缺点 |
|---|---|---|---|---|
| BGD | 批量(batch)梯度下降法 | 更新每一个参数都会使用到所有的样本 | 全局最优，易并行 | 运行慢 |
| SGD | 随机(stochastic)梯度下降法 | 每次更新使用一个样本 | 快 | 准确度下降，并不是全局最优；不易于并行实现 |
| MBGD | 小批量(mini-batch)梯度下降法 | 采用部分小样本进行，每次更新使用固定个样本量 | . | . |
- 共轭梯度等高级算法pp47，scipy等高级优化算法如何使用？
3.模型选择算法？
4.正则化，惩罚项 p51
sklearn中线性回归、逻辑回归的多项式，正则化处理？
线性回归的正则化处理？
逻辑回归的正则化处理？ - 梯度检验？
6.训练数据随机拆分训练集、交叉验证集、测试集？
交叉验证集：假设函数，超参数
7.偏差(真实与预测之间的差距)， 方差(数据的离散程度)
在线学习算法？
f-score?
先sklearn跑通例子，再扔开框架，python直接实现？
~~
霍夫曼编码树，又称最优二叉树
Softmax回归（Softmax Regression）又被称作多项逻辑回归（multinomial logistic regression），它是逻辑回归在处理多类别任务上的推广