预习阶段 从DL基础起步，掌握三大核心模型

在线视频：DNN与CNN，及NN框架

• 1-DNN与混合网络：google Wide&Deep
• 2-实战项目：数据非线性切分+google wide&deep 模型实现分类
• 3-CNN:从AlexNet到ResNet
• 4-实战项目：搭建CNN完成图像分类示例
• 5-NN框架：caffe, tensorflow与pytorch
• 6-实战项目：用几大框架完成DNN与CNN网络搭建与分类

在线视频：RNN、LSTM、与条件生成、attention

• 1-RNN/LSTM/Grid LSTM
• 2-实战项目：RNN文本分类
• 3-RNN条件生成与attention
• 4-实战项目：google神经网络翻译系统

第一阶段 从数据科学比赛里看深度学习应用

在线视频：深入理解神经网络原理

• 1-从线性分类器说到非线性分类器
• 2-理解神经网络参数W的物理意义
• 3-Backpropagation的两种理解/推导方式
• 4-初探神经网络模型训练调参

在线实训：基于tensorflow/keras实现分类任务

在线视频：深度卷积神经网络原理与实践

• 1-卷积操作的数学定义和物理意义
• 2-卷积神经网络结构的两大原理—局部连接和权值共享
• 3-卷积神经网络的主体结构和变种
• 4-3小时内用百行代码登顶Kaggle图像分类比赛的Top-5%

在线实训：参加Kaggle图像分类比赛并提交结果

在线视频：神经网络压缩技术：工业界业务上线/部署的大杀器！

• 1-业务场景下的特征处理与挖掘套路
• 2-Deep Compression：兼顾神经网络模型的效果和效率
• 3-详解网络剪枝技术（及其变种）以及知识蒸馏模型

在线实训：基于tensorflow/keras实现知识蒸馏模型

在线视频：深入理解CNN、RNN和LSTM

• 1-CNN网络结构及误差反向传播推导
• 2-RNN网络结构及误差反向传播推导
• 3-LSTM及GRU

在线实训：基于TensorFlow的CNN/RNN网络构建训练集推理应用

线下实战：从DNN/Wide/Wide&Deep解决房价预测问题

• 1-机器学习vs深度学习，工业界的利弊权衡
• 2-神经网络基本原理和训练要点
• 3-如何针对不同的应用场景选择模型结构
• 4-从wide&deep到混合网络的搭建与应用
• 5-以kaggle比赛为例讲解神经网络解决方案

第二阶段 深度学习在计算机视觉中的应用

在线视频：深度学习在物体检测中的应用（上）

• 1-物体检测相关必备背景知识
• 2-深入理解RCNN家族模型
• 3-消灭令人抓狂的Anchor理解（从Motivation说到实践技巧）

在线实训：MS-COCO物体检测by Faster RCNN

在线视频：深度学习在物体检测中的应用（中）

• 1-对比One Stage/Two Stage模型的优劣势
• 2-从SSD说到YOLO-V3
• 3-深入理解Focal Loss-消灭Class Imbalance/Hard-Easy Examples Problem

在线实训：MS-COCO物体检测by YOLO-V3

在线视频：深度学习在物体检测中的应用（下）

• 1-物体检测中多尺度变化问题的处理
• 2-2019年物体检测领域的弄潮儿：Anchor Free
• 3-刷新行人检测记录的新思路：Center and Scale Prediction

在线实训：行人检测by CSP

线下实战：图像分类与图像检索实战

• 1-灵活选取卷积神经网络结构作为图像分类的Backbone
• 2-迁移学习在深度学习中的应用——“微调”（Fine-tune）技术
• 3-图像搜索的前世（Bag-of-Visual-Words）和今生（Deep Learning）

第三阶段 深度学习在自然语言处理中的应用

在线视频：文本预处理，词袋模型，word2vec，语言模型

• 1-NLP基本知识：词袋、tf-idf、朴素贝叶斯
• 2-DL中的NLP基础：word2vec、doc2vec、embedding、N-gram LM
• 3-用深度学习一步步完成情感分析任务

在线实训：基于维基百科语料库自己动手训练word2vec模型

在线视频：CNN/LSTM 文本分类

• 1-文本分类问题处理流程
• 2-传统模型在文本分类上的表现
• 3-从RNN到LSTM
• 4-CNN/LSTM 在文本分类上的应用

在线实训：百行代码用CNN/LSTM实现文本分类

在线视频：图像生成文本(Image2text)

• 1-Image2text基本模型
• 2-基于Attention的Image2Text
• 3-反问题：Text2ImageM

线下实战：文本语义相似度匹配模型以及Seq2Seq模型构建

• 1-深度学习在自然语言处理中的基础工具：word2vec、Embedding
• 2-文本检索与匹配通用模型方法：DSSM，CDSSM，DRMM，ARC-I
• 3-Seq2Seq模型搭建详解与应用案例
• 4-(短)文本语义相似度匹配模型构建及其实践应用

第四阶段 高级深度学习应用场景

在线视频：当下流行的语言模型BERT介绍

• 1-语言模型的发展历程
• 2-BERT（Bidirectional Encoder Representations from Transformers）语言模型介绍
• 3-从预训练到NLP问题求解
• 4-应用举例：问答系统，命名实体识别

在线实训：实战BERT模型与fine tuning

在线视频：生成式对抗网络（GAN）

• 1-15分钟无公式理解GAN
• 2-GAN的基本推导和优化目标
• 3-GAN的训练难点以及Improved GAN Training
• 4-From GAN to WGAN

在线实训：Step by Step实现DCGAN

在线视频：深度学习在推荐系统里的应用场景

• 1-深度学习模型用作Feature Embedding
• 2-Cross Layer：为推荐系统定制的网络结构
• 3-与传统推荐模型的结合

上午线下：基于深度学习的聊天机器人，看图说话与VQA

• 1-基于深度学习匹配的聊天机器人
• 2-基于序列到序列模型的聊天机器人
• 3-结合CNN与RNN的看图说话与VQA看图问答机器人

下午线下：智慧城市中的核心技术：大规模车辆图片搜索（Re-ID）算法原理及实践

• 1-多任务（Multi-task）深度学习模型搭建与训练
• 2-深度排序(Deep Ranking, Triplet Loss)原理与训练技巧
• 3-使用多任务和深度排序模型，构建一个工业界和学术界最前沿的大规模车辆图片搜索算法(可用于智慧城市、视频监控等安防场景)，在业界的车辆搜索开源数据集上取得State-of-the-Art效果
• 4-ReID算法思维延伸：基于视觉特征二次识别问题的技巧（比如Person Re-ID）

第五阶段 深度学习模型优化及实践技巧

在线视频：NLP应用之文本分类系统

• NLP的经典任务，但应用场景也非常广泛。情感分类被应用于利用网上评论打分，探究金融市场情绪。主题分类被应用于新闻分类，intent classification被用于构建聊天机器人。

在线实训：从特征抽取到索引构建——自己动手实现实现一个文本分类系统

在线视频：CV方向专项项目

• 1-深入理解损失函数曲线
• 2-CNN模型训练/实践中的常见问题以及Checklist
• 3-CNN模型训练的若干高效技巧（Bag of Tricks）
• 4-若干技术面试真题快问快答

在线实训：基于CoCo数据集上实现物体检测分类模型Faster-RCNN

在线视频：推荐应用之电商平台的商品推荐

• 电商业务在全球各大互联网公司的营收中都占有极其重要的地位，推荐系统对用户推荐商品的质量好坏直接影响了巨头们的股价，商品推荐团队是公司各大算法团队中的核心团队，有着绝对地位的优势，我们针对全球Top 1的电商数据进行推荐算法优化。

上午线下：NLP与CV数据科学比赛案例详解与实践

• 1-NLP AI比赛：文本主题与标签预测(通用模型结构、textCNN与textRNN、texRCNN与其他网络)
• 2-图像比赛基本套路
• 3-图像分类与图像分割比赛解决方案介绍
NLP与CV数据科学比赛案例详解与实践

下午线下：深度学习模型优化前瞻技术 以及实践技巧

• 1-深度卷积神经网络的历史变革和设计理念——从AlexNet到DenseNet
• 2-解析各类轻量级深度网络的设计理念——深度可分离网络
• 3-深度学习模型训练时应注意的问题即实践技巧