日程

课程主题

主要内容

第

一

天

上

午

决策树模型与各种集成模型；

Kaggle与工业界的大杀器—Xgboost;

随机森林与深度学习的结合；

1.决策树模型及其原理；

2.Bias and Various tradeoff原理：评估模型性能的直观解释；

3.各种集成模型（Ensemble）：bagging, boosting和随机森林等树集成模型与他们的原理和实际应用；

4.Kaggle与工业界的大杀器—Xgboost: 原理和实际应用中的技巧（如何在比赛和实际项目中使用xgboost达到最好的效果）；

5.随机森林与深度学习的结合：Deep Forest的原理，数学推导和实用性；

6.实战：各种特征工程和分类器在真实案例中的应用

第

一

天

下

午

多层神经网络（MLP）与深度学习      

1.多层全连接神经网络：

 多层神经网络的结构与网络表达；

 向前传播与反向传播原理和数学推导；

 激活函数使用方法与优劣；

 损失函数使用方法与优劣；

  各种正则化原理使用方法与优劣（L1，L2, dropout等）；

2. 深度学习与多层神经网络的关系；

直观解释和理论分析深度学习效果强劲的背后原理；

3. 实战：用python手工来实现复杂的多层神经网络结构

第

二

天

上

午

卷积神经网络（CNN）与计算机视觉（CV）

1.  计算机视觉中的大杀器—卷积神经网络：

卷积神经网络的结构；

卷积层的原理和计算推导；

池化层；

全连接层；

2. 最近几年常用的卷积神经网络结构（Letnet, Alexnet, Vgg, Googlenet, Resnet等）和核心数学公式推导;

3. 深度迁移学习（transferlearningindeeplearning）与多任务学习（multi-tasklearning）：

   深度迁移学习在计算机视觉中的基本概念和实际使用方法；

4. 实战：用卷积神经网络实现物体识别

第

二

天

下

午

循环神经网络（RNN）与自然语言处理（NLP）

1、在计算机中词向量的表达形式和word embedding;

2、从词向量到wordembedding的方法——word2vec: skip-gram和CBOW的原理，数学推导和实际应用；

3、循环神经网络（RNN）的结构与原理：

   循环神经网络在不同应用中的不同网络结构；

   LSTM和GRU的拓扑网络结构

   它们之间联系与区别；

4、Sequence to Sequence模型的组成与优缺点；

5、Attention-based模型的组成与数学推导；

6、实战：用基于attention-based Seq2Seq实现机器翻译；

第

三

天

上

午

深度学习在Google, Facebook, 百度，阿里等互联网巨头公司中的成功应用——广告点击率预估（CTR预估）

1、什么是广告点击率预估，广告点击率预估的商业价值是什么;

 2、早期各大公司中广告点击率预估的机器学习模型的应用和原理：

   LR, LR-FTRL; Factorization Machines; GBDT+LR;

3、最近两年中，深度学习在这个领域的发展和实际应用：

   l  Wide & Deep Learning;

   l  Deep Learning over Multi-field

   categorical data: FNN and SNN;

   l  Product-based Neural Networks: PNN;

   l  DeepFM;

   l  Neural Factorization Machine（NFM）

   l  Attentional Factorization Machine（AFM）

第

三

天

下

午

未来通用人工智能和最近热门的发展方向—迁移学习（transferlearning），生成对抗网络（GAN）和深度强化学习（Deep Reinforcement Learning）

1、迁移学习的基本概念和各种应用场景；

2、四类迁移学习的方法；

3、最近的深度学习中的迁移学习：

   几种常见的深度迁移学习的算法原理和核心数学公式推导；

4、生成模型与判别模型的区别与联系

5、生成对抗网络的基本原理和网络结构；

6、介绍深度强化学习；

   2016年轰动人类的人工智能—AlphaGo的原理和数学推导；

   100 vs 0击败AlphaGo的又一“魔鬼”：AlphaGo Zero的原理和改进之处；

第

三

天

自然语言处理中的机器学习

1.    词嵌入模型 word embedding;

2.    高级词向量表达技术：word2vec的两个模型；

3.    RNN网络：从传统RNN到LSTM, GRU和Bi-LSTM的原理理解与推导

4.    简单理解Seq2Seq模型：Encoder-Decoder

5.    实践:基于Seq2Seq的机器翻译模型

第

三

天

高级自然语言处理技巧与

人工智能热门技术

1.    重新认识Seq2Seq模型，

   基于Attention-based model;

2.    强化学习概述与应用；

3.    GAN技术的概述与应用；

4.    人工智能技术在工业界的发展展望与讨论

本提纲只是一个初始版本，为了课程需要，中间细节内容可能略微调整。授课时预留一些时间给学员答疑解惑，每天的课程会留出来一些时间给学员做总结和答疑阶段，为了学员能更好的学以致用，建议学员带着自己实际项目或者之前学习过程中的问题去听课，授课过程中积极与讲师互动，来解决之前的困惑。