机器学习

原则

• 将学习的内容整理进入自己的框架，放在其他单独的页面没有价值。

  • 暂时不知道放在哪里的内容先统一放到一个地方

• 参考[[AI算法工程师手册]]整理到什么程度

• 之前遗留下来的

  • [[@百面机器学习]]

  • 李宏毅强化学习笔记

  • [[一文看懂深度学习模型压缩和加速]] 整理到模型压缩和相关部分

  • [[白板机器学习]]

什么是机器学习？

• Mitchell 「对于某类任务 T 和性能度量 P，一个计算机程序被认为可以从经验 E 中学习是指，通过经验 E 改进后，搭载任务 T 上由性能度量 P 衡量的性能有所提升。」

• 机器学习本质属于应用统计学，更多关注于如何用计算机统计估计复杂函数。

• 基础知识 + 模型 + 实践

  • 模型可以从两个地方获得：论文以及工业实践的文章

任务分类

• 样本特征向量和标签之间存在未知函数关系

• 条件概率 $$p(y|x)$$ 服从某个未知分布

算法分类

• 监督学习

  • 期望风险最小化

  • 最大似然估计

• 无监督学习

  • 最大似然估计

  • 最小重构错误

• 强化学习

理论和定理

• 可能近似正确（Probably Approximately Correct，PAC）学习理论

• 没有免费午餐定理（No Free Lunch Theorem，NFL）

• [[奥卡姆剃刀]]

• 丑小鸭定理（Ugly Duckling Theorem）

  • “丑小鸭与白天鹅之间的区别和两只白天鹅之间的区别一样大”

• [[inductive bias]]

  • 贝叶斯学习中的先验[[Prior]]

基础知识

数据处理

• [[特征工程]] 是当前大多数机器学习任务的瓶颈。

  • [[目标编码]]

• [[Normalization]]

  • [[为什么要做归一化]]

  • [[归一化方法]]

  • [[归一化和标准化]]

  • [[Internal Covariance Shift]]

  • [[Normalization 实战]]

  • [[Normalization操作的Re-Scaling不变性]]

  • 不同变种

    • [[Batch Normalization]]

      • [[Batch Normalization/维度理解]]

      • [[Batch Normalization/多卡同步]]

      • [[Batch Normalization 为何有效]]

    • [[Group Normalization]]

    • [[Layer Normalization]]

    • [[Instance Normalization]]

• [[Initialization]]

  • [[Xavier Initialization]]

  • [[He Initialization]]

  • [[Orthogonal Initialization]]

• [[Standardization]]

• [[离散化]]

  • [[离散化方法]]

  • [[离散化和归一化有哪些优缺点]]

基础知识

• [[Dropout]]

• [[过拟合]]

• [[Regularization]]

  • [[L1 和 L2 正则]]

    • [[L1 正则]]

    • [[L2 正则]]

    • [[L1和L2正则的先验分布]]

• 激活函数

  • [[softmax]] 多分类、数值稳定

  • [[sigmoid]]

评估指标

• [[AUC]]

  • [[gauc]]

  • [[Base AUC]]

[[Tree Model]]

• [[随机森林]]

• [[GBDT]]

• [[XGBoost]]

• [[CatBoost]]

• [[LightGBM]]

[[Logistic Regression]]

[[VAE]]

[[FM]]

• [[FM模型与逻辑回归相比有什么优缺点？]]

深度神经网络 [[DNN]]

• [[BNN]]

[[Optimization]]

• [[SGD]]

卷积神经网络 [[CNN]]

• [[TCN]]

• [[CNN 卷积核]]

• [[Pooling]]

  • [[为什么CNN需要 pooling操作？]]

图神经网络

• [[GCN]]

• [[DeepWalk]]

[[Transformer]]

• 综述 [[A Survey of Transformers]]

• [[self-attention]]

• [[Attention]]

• [[Multi-Head Attention]]

• 编码器应用 [[BERT]]

• 解码器应用 [[GPT]]

词向量 [[Word Embedding]]

• [[Word2Vec]]

[[CTR]]

• [[CTR Bias]]

• [[推荐系统 embedding 技术实践总结]]

[[集成学习]]

• [[Adaboost]]

• 提升树

  • [[GBDT]]

  • [[XGBoost]]

  • [[LightGBM]]

• [[如何理解Boosting和Bagging？他们有什么异同？]]

  • [[boosting]]

  • [[bagging]]

[[CV]]

• linear probe

[[GAN]]

• [[IRGAN]] 分类器生成文档序列，判别器去判别

[[评估指标]]

训练

• 数据并行、模型并行

• 同步训练、异步训练

• Parameter Server架构、Ring allreduce架构

优化

• [[Tensorflow 模型量化]]

• 联邦学习

• [[模型蒸馏]]

• 数据集相关 [[Data]]

[[机器学习参考]]