介绍模型训练中的 GPU 资源获取方式和成本优化策略,适合想降低训练成本的开发者。
训练模型需要越来越强的算力。GPU 对各个领域而言也变得愈发不可或缺。但无论是直接购买 GPU,还是订阅 GPU 服务,价格都不便宜。像我这样的学生,以及你或其他没有条件拥有 GPU 的人,都需要寻找替代方案,以便继续使用和学习。我不了解你的电脑配置,但我的笔记本电脑性能很普通,无法承受太大的计算量,因此有一个替代方案会非常有帮助。
在下面介绍的各个选项中,我都会附上自己创建的 notebook 作为运行示例。这些 notebook 没有特定目标,只是用于配合本文内容,也方便你亲自测试。
亲爱的读者,如果你愿意点赞并分享,我会非常感激。这样我就能了解自己的文章传播到了哪里,并继续为你带来新内容。
我已经使用 Google Colab 好几年了。它简单易用,你可以通过 Notebook 开展工作,并且能够免费使用 CPU、GPU 和 TPU。当然,免费资源存在额度限制,所以请适度使用。
Google Colab 可以与我们的 Google 账号配合使用,直接访问 Google Drive 中共享的文件。如果你有非常大的图像文件,只需简单操作就能将其导入,这一点非常实用。此外,你还可以将 notebook 保存到自己的账号中。
它的界面很简洁,提供 terminal、代码片段、键盘快捷键和多种主题,还有一些现成的 notebook,可以帮助你从示例开始上手。
Kaggle 是我的最爱。我不知道你是否也喜欢,但我很享受学习,而在 Kaggle 中,我可以结合许多资源进行学习。
首先是社区,你可以在其中搜索新内容、发起讨论以及参与其他辩论。平台提供了庞大的 notebook、dataset 和 model 资源库,供你直接使用。使用方式也很简单:只需创建一个 notebook,再通过名称添加你想使用的 dataset 或 model,整个过程非常灵活。
除此之外,平台还提供短期课程,帮助你学习 machine learning 和 deep learning 相关主题。你可以使用 CPU、GPU 和 TPU,当然同样存在额度限制。最令人惊喜的是,Kaggle 还为团队和个人用户举办竞赛,帮助参与者提升技能。
Kaggle
Kaggle Datasets
Kaggle Models
我觉得 SageMaker Studio Lab 使用起来比较复杂。首先,注册后需要等待审核通过。我是在创建账号时遇到这种情况的,不确定现在是否已经有所改变。
当你想学习一款新软件并运行一些 notebook 时,却因为审核而无法继续;之后还必须检查手机,这又会带来额外的等待。你还需要确认它是否能够正常工作。亲爱的读者,希望你使用时一切顺利。
撇开这些问题不谈,平台提供 CPU 和 GPU 两种选择,可以用于运行 notebook。此外,它还有一个包含大量示例的 repository,帮助你学习 Generative Deep Learning、Computer Vision 和 NLP。
Amazon SageMaker Studio Lab Notebooks
亲爱的读者,关于 PaperSpace,我也要先说声抱歉:我没能成功运行 notebook,甚至只能截一张图作为展示。
它确实提供免费机器,但在实例化机器时,会弹出一个新窗口,要求添加银行卡。即使我在图片中选择的是免费机器,它也始终显示不可用。最终,我没能创建任何 notebook,希望你可以成功。
不过,不要因此放弃了解它。除了提供 CPU 和 GPU 之外,你还可以使用不同类型的机器创建 notebook,包括空白 notebook,以及已经预先配置好 libraries 的 notebook。你也可以在同一个平台中处理 deployment、data 和 model,所有功能都集中在一处。
我毕业于信息系统学士专业,在大学期间接触过多种不同的技术。在这个过程中,我修读了 Artificial Intelligence 课程,并第一次接触到 machine learning 和 Python。从那以后,学习这个领域便成了我的热情所在。
如今,我从事 machine learning 和 deep learning 相关工作,负责开发通信软件。在学习和工作的过程中,我创建了一个博客,用来发布自己正在研究的主题,并通过分享这些内容来帮助其他用户。
我目前正在学习 TensorFlow 和 Computer Vision。
趣事:我非常喜欢咖啡。
为什么要在软件开发中使用 Obsidian?
我在 2024 年作为软件开发者拥有的超能力
教程:Docker——在容器之间进行通信
如需采取进一步措施,你可以考虑屏蔽此人和/或举报滥用行为。