哈工大机器学习-期末考试回忆

     哈工大机器学习-期末考试回忆                  考完啦，开心。希望老师能手下留情，我已经尽力把卷子写满了。2021秋期末考试（大概意）​1.参数先验和参数正则化的关系，说说你的理解。参数正则化在机器学习中的作用。（6分）​2.条件熵的定义和公式。说说你对条件熵的理解。在机器学习课程中有哪些地方运用到了条件熵，请举例说明。（8分）​3.朴素贝叶斯假设了什么？如果满足一个分类器朴素贝叶斯，请问在最小错误概率的角度看，该分类器是不是最优的分类器，说明理由。（8分）​4.K-means和GMM都运用了EM算法求解，请你说说它们之间的相同点和不同的，并说说K-means和GMM算法的优势和劣势。请写出GMM算法E步和M步的公式。（8分）​5.在线性可分条件下，请给出SVM的目标函数和约束条件，并给出解的形式（用公式给出）。该问题本可以迭代求解，请说明，为什么要使用对偶问题来求解本问题，有什么好处？（8分）​6.GMM用EM算法求解时，会出现参数的协方差矩阵不可逆的现象，请说明这种现象出现的原因。并给出解决。（6分）​7.逻辑回归是否是线性分类器？给出证明。（8分）​8.机器学习中向量（函数）内积的应用举例（3个）。解释他们的意义。（8分）是的，你没看错，这个是2019秋的原题。哈工大2020秋机器学习期末1.决策树(8分)(1)什么是互信息(2)用互信息（信息增益）选择的目的是什么，能带来什么效果(3)怎么防止过拟合？2.贝叶斯决策(8分)(1)对于样本x，其标签为0/1，若x真实标签为0，错误划分为1的损失为a，若x真实标签为1，错误划分为0的损失为b，求最优决策方法(2)结合图画出来。3.svm(8分)(1)线性可分时的优化目标，约束条件(2)线性不可分咋整(3)支持向量的意义4.机器学习的方法(8分)(1)机器学习估计参数模型的方法(2)这些方法有什么不同(3)这些方法什么时候趋于一致5.逻辑回归(7分)(1)逻辑回归为什么优化函数使用条件分布log(Y|x)而不是联合分布log(x,Y)(2)逻辑回归的推导6.pca(8分)(1)从信号重构角度推导pca(2)怎么实现信号压缩7.k-means(8分)(1)k-means流程(2)k-means目标函数(3)k-means和em算法的不同8.线性回归(5分)实验一是非线性回归，怎么将非线性回归变成线性回归2019秋期末考试信息增益是什么？举例说明为什么信息增益好。决策树分界面是否是线性的，举例说明。最小错误概率下的最优分类方法并证明什么是过拟合，决策树、SVM怎么避免的过拟合。在第二题的分类方法下，假设类概率分布是伯努利分布，类条件概率分布是协方差相等的两个高斯分布。求分界面方程。求类后验概率。逻辑回归优化目标函数。在交叉熵的角度理解，交叉熵中的两个概率分布分别是什么。PCA推导。PCA应用举例（2个）GMM模型优化目标函数，（EM算法）主要步骤。在做实验时，协方差矩阵行列式为0原因，如何解决。在低维空间中线性不可分的样本，在高维空间中线性可分，为什么。举例，你做的实验中有无应用。（实验1）机器学习中内积的应用举例（3个）。解释他们的意义。 -全文完-