当前位置: 首页 > 我要自学

李宏毅机器学习,[自注意力机制]——台大李宏毅 笔记

  • 我要自学
  • 2025-02-26

李宏毅机器学习?2024年,《机器学习》课程暂别,2025年或将继续。此年,新设《生成式人工智能导论》与《生成式人工智能技术》(拟定)。自2016年起至2023年,每年均开设《机器学习》课程。2023年,技术革新,教育应有所变。以往,每年调整《机器学习》课程,以适应最新技术。然而,2023年变革显著,决定新开一门课程。那么,李宏毅机器学习?一起来了解一下吧。

李宏毅机器学习hw3 Boss baseline(2023)

李宏毅,台湾杰出的机器学习专家与教授,以其卓越成果与广泛影响力在领域内独树一帜。

他虽未自立品牌,然而其名已成为机器学习象征。李宏毅以严谨教学及前瞻研究,推动领域普及与发展。全球广受欢迎的视频教程,被视为机器学习入门者的首选教材,使李宏毅成为品牌代表。其高质量教学与研究成就,彰显其品牌价值。

【李宏毅2021春季机器学习课程思考01】激活函数的作用

2024年,《机器学习》课程暂别,2025年或将继续。此年,新设《生成式人工智能导论》与《生成式人工智能技术》(拟定)。

自2016年起至2023年,每年均开设《机器学习》课程。2023年,技术革新,教育应有所变。以往,每年调整《机器学习》课程,以适应最新技术。然而,2023年变革显著,决定新开一门课程。

《生成式人工智能导论》已开始更新,B站同步更新视频。所有课程资料整理打包至云盘,公众号回复【26】获取。

此课程为《生成式人工智能导论》,面向基础学习者,无需任何前置知识,不需先修机器学习或人工智能课程。对人工智能领域感兴趣的初学者,这是一个理想起点。课程从基础深入,使学员完成学习后,能探索更高级课程。

课程设计注重体验,包含代码编写元素,即使无代码经验,助教会提供详细指导和范例,确保学员跟上步伐。

对《生成式人工智能导论》课程感兴趣者,赶快加入学习,抓住这一机遇!

李宏毅机器学习HW2 (Classification)

本文讨论的是一个图像识别分类问题,主要介绍了在学习过程中遇到的基线代码和最终实现的高分策略。首先,我们引入的是基于图像识别的机器学习项目,具体信息可参阅2023年ML课程网站(ntu.edu.tw)及提供的基线代码(google.com)。

通过运行基线代码,我们观察到了不同层次的基线实现。初始的简单基线(0.63733)在理解问题的基础上进行简单的模型构建。接着,中等基线(0.70000)引入了图像数据增强,这一策略在识别性能上有显著提升。具体而言,未进行数据增强的训练准确性图表明,图像数据增强是提高模型表现的关键因素。

进一步,优化策略中包含了一个有趣的技巧:通过调整DataLoader的并发数量(Train用4~8个并发,persistent_workers=True,Test用2个并发),可以将训练时间显著缩短至9秒一轮,同时CPU核的使用率达到满载,支持多个训练任务并行执行,从而加快了实验进程。

在更高层次的基线(0.81400)中,采用了更复杂的策略,如使用预定义的CNN模型(如resnet)并加入dropout、增加训练轮数、提高数据变换复杂度等。在深度学习实践中,这些策略有助于模型的泛化能力。

李宏毅品牌叫什么

作业来源源自2022Spring的ML2022Spring-hw2任务,任务来自Kaggle平台,涉及语音数据处理与机器学习中的分类问题。数据部分包括.pt格式的语音样本,可通过torch.load读取,样本编号存于_split.txt,而音素识别结果则记录在_labels.txt中。为了构建更丰富的训练样本,需将每个音频帧(39维)前后延伸5帧,形成11帧的样本。

数据预处理和合并的函数设计复杂,但无需修改,最终能够处理大规模的训练集,达到百万级规模。模型设计采用多层神经网络,当hidden_layers设置为4时,实际上有5层,首层负责接收输入。网络结构的定义采用*[a,b,c]形式作为参数传递。

在模型训练中,采用特定的损失函数和优化器,如增加stepLR学习率调度器,每10轮调整学习率。训练函数的实现也至关重要,而超参数的选择则关乎模型性能的关键。一个基础的优化策略是:通过增加拼接帧数至17,将准确率从0.4提升至0.6以上;增加训练轮数至30轮,根据训练输出判断过拟合情况;调整网络结构,如设置4个hidden_layers,每个层的hidden_dim设为1024,可使准确率超过0.7。

[自注意力机制]——台大李宏毅 笔记

猜你喜欢