这是什么
研究生阶段的深度学习超越标准课程,涵盖高级架构和训练理论——包括注意力机制和transformer的深入研究、梯度消失等优化难题、正则化理论,以及架构设计中当前的研究前沿。
为什么重要
深度学习研究发展极快,研究生阶段对架构为何有效——而不仅仅是它们确实有效——的理解,正是让研究者能够真正贡献新想法,而不仅仅是拼接现有的、已发表的构建模块。
考试小贴士
批评文献中的一个新架构时,要问它解决了先前架构的哪个具体局限,以及所提供的实证证据是否真正孤立地证明了这一改进——许多论文报告的提升同样可能由训练配置中其他混杂的变化来解释。