随着人工智能(AI)的发展,模型的能耗问题日益凸显。据国际能源署预测,数据中心的电力消耗将在未来几年内翻倍,而AI计算需求的增加更是加剧了这一问题。例如,ChatGPT在处理任务时,不仅消耗大量电力,还会使用大量水资源。为应对这一挑战,谷歌DeepMind的研究团队提出了一种名为“多模态对比学习与联合示例选择”(JEST)的新方法,旨在减少AI训练所需的计算资源和时间。
JEST通过13倍更少的迭代次数和10倍更少的计算量,超越了当前最先进的模型,实现了更高效的训练。这一创新在于,它允许模型自我选择高质量的训练数据,从而降低能源和水资源的消耗。具体来说,JEST算法通过从“超级 batch”中筛选出“子 batch”,确保训练数据的质量和相关性,同时减少了对数据筛选的人工干预。
在实验中,JEST展示了其在选择可学习batch方面的优势,能够显著加速多模态学习过程。通过使用JEST,研究人员观察到在减少训练数据量的同时,仍能保持或提高模型的性能。此外,JEST还能与其他数据管理策略结合,如多分辨率训练,以进一步提高效率。
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
走过万里,足下留香...