第一天

　 第一讲 机器学习引论

　　专题介绍：近年来人工智能迅速进入大众视野，并在全球范围内迎来了行业的快速发育期。机器学习作为人工智能的组成部分，无疑是人工智能科学研究和应用领域的重要驱动力，将带来一系列传统决策机制的根本性变革，势必推动社会科学研究范式的重大转型。 当计量经济学的影响力几乎不出校门时，机器学习正迅速进入大众视野，并悄然改变着我们的日常生活（比如，网络搜索、网购等背后均有机器学习的算法支持，本讲将带您揭开机器学习的神密面纱。

　　第二讲 KNN

　　专题介绍：K-近邻算法（KNN）是将最简单最初级的分类器是将全部的训练数据所对应的类别都记录下来，当测试对象的属性和某个训练对象的属性完全匹配时，便可以对其进行分类。 KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。交叉验证是一种通过估计模型的泛化误差，从而进行模型选择的方法。没有任何假定前提，具有应用的普遍性，操作简便， 是一种行之有效的模型选择方法。K折交叉验证：把数据分成K份，每次拿出一份作为验证集，剩下k-1份作为训练集，重复K次。最后平均K次的结果，作为误差评估的结果，此方法大大减小算法复杂度，被广泛应用。【偏差与方差的权衡 、如何选择K 、验证集法 、交叉验证】

　　第三讲 OLS

　　专题介绍：OLS(最小二乘法)主要用于线性回归的参数估计，它的思路很简单，就是求一些使得实际值和模型估值之差的平方和达到最小的值，将其作为参数估计值。OLS的最大好处是便于解释，容易考察解释变量 x 对被解释变量 y 的影响。虽然OLS估计非常简单，但在进行统计推断时，却需要特别注意在不同的场合下使用不同的标准误，比如稳健标准误，HAC标准误，聚类稳健标准误，自助标准误等。【OLS的代数与几何、统计推断、标准误（稳健、HAC、聚类、自助）】

　　第四讲 判别分析

　　专题介绍：贝叶斯决策论是解决模式分类问题的一种基本统计途径。其假设：决策问题可以用概率的形式来描述，并且所有有关的概率结构均已知，叶斯决策论是基于概率论的决策，根据不同决策准则，分别得到不同决策意义下的最优判断。由于线性判别函数易于分析，所以关于这方面的研究特别多。 应用统计方法解决模式识别问题时，一再碰到的问题之一是维数问题。在低维空间里解析上或计算上行得通的方法，在高维空间里往往行不通。因此，降低维数有时就成为处理实际问题的关键。【贝叶斯决策理论、线性判别、二次判别、Fisher判别分析】

　　第五讲 朴素贝叶斯

　　专题介绍：朴素贝叶斯算法简单高效，在处理分类问题上，是首先考虑的方法之一。其优点为简单、快速、有效。能处理好噪声数据和缺失的数据，需要用来训练的例子相对较少，但同样能处理好大量的例子，很容易获得一个预测的估计概率值 。 本讲将主要讲解朴素贝叶斯通过拉普拉斯修正，可以避免因训练集样本不充分而导致概率估值为零的问题，对算法的思考以及应用的消息，培养思维能力，注重过程，挖掘背后的原理。【朴素贝叶斯、 拉普拉斯修正】

　　第六讲 逻辑回归

　　专题介绍：逻辑回归由于存在易于实现、解释性好以及容易扩展等优点，被广泛应用于点击率预估（CTR）、计算广告（CA）以及推荐系统（RS）等任务中。 ROC/AUC作为机器学习的评估指标非常重要， 为了了解模型的泛化能力，我们需要用某个指标来衡量，这就是性能度量的意义。有了一个指标，我们就可以对比不同模型了，从而知道哪个模型相对好，那个模型相对差，并通过这个指标来进一步调参逐步优化我们的模型。 本讲我们主要讨论与分类相关的一些指标，因为AUC/ROC就是用于分类的性能度量标准。【Logit回归、边际效应、几率比、ROC、AUC】

　　第七讲 决策树（Decision Tree）

　　专题介绍：机器学习中，决策树是一个预测模型；他代表的是对象属性与对象值之间的一种映射关系。其中CART算法（Classification and Regression Trees）分类与回归树(CART——Classification And Regression Tree)) 是一种非常有趣并且十分有效的非参数分类和回归方法。它通过构建二叉树达到预测目的。 剪枝（Pruning）是决策树停止分支的方法之一。除此之外，课程中还将对分裂准则函数（错分率、基尼指数、信息熵）、交叉验证（Cross-validation）做详细讲解。【CART算法（Classification and Regression Trees）、分裂准则函数（错分率、基尼指数、信息熵）、剪枝（Pruning）、交叉验证（Cross-validation）】

　　第八讲集成学习（Ensemble Learning）

　　专题介绍：集成学习的理论基础是 PAC 理论、强可学习与弱可学习理论。集成学习的理论基础表明强可学习器与弱可学习器是等价的，因此可以寻找方法将弱可学习器转换为强可学习器，而不必去直接寻找较难发现的强可学习器。本次课程陈教授将带我们一起探讨具有代表性的集成学习方法包括Boosting，Bagging，随机森林等。【袋装法（Bagging）、随机森林（Random Forest）、提升法（Boosting）、变量重要性（Variable Importance）、偏依赖图（Partial Dependence Plot）】

　　第九讲 支持向量机

　　专题介绍：支持向量机（Support Vector Machine, SVM）是一类按监督学习（supervised learning）方式对数据进行二元分类（binary classification）的广义线性分类器（generalized linear classifier），其决策边界是对学习样本求解的最大边距超平面（maximum-margin hyperplane）。 SVM被提出于1964年，在二十世纪90年代后得到快速发展并衍生出一系列改进和扩展算法，在人像识别（face recognition）、文本分类（text categorization）等模式识别（pattern recognition）问题中有得到应用 。本课程将重点解析最大间隔分类器（Maximal Margin Classifier）、软间隔（Soft Margin）及核技巧（Kernel Trick）等支持向量机方面的核心内容。【最大间隔分类器（Maximal Margin Classifier）、软间隔（Soft Margin）、支持向量机（Support Vector Machine）、核技巧（Kernel Trick）】

　　第十讲 人工神经网络

　　专题介绍：人工神经网络（Artificial Neural Network，即ANN ），是20世纪80 年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象， 建立某种简单模型，按不同的连接方式组成不同的网络。在学术界也常直接简称为神经网络或类神经网络。 最近十多年来，人工神经网络的研究工作不断深入，已经取得了很大的进展，其在模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题，表现出了良好的智能特性。本课程将详细介绍人工神经网络的思想、激活函数、反向传播算法、神经网络的训练等内容，同时陈老师也会和大家一起探讨关于神经网络的类型与发展等问题。【人工神经网络的思想、激活函数、反向传播算法（Back-propagation Algorithm）、神经网络的训练、深度神经网络、神经网络的类型与发展】