兰德：2025人工智能算法进展：进步调查与近期未来预测报告

“欧米伽未来研究所”关注科技未来发展趋势，研究人类向欧米伽点演化过程中面临的重大机遇与挑战。将不定期推荐和发布世界范围重要科技研究进展和未来趋势研究。（点击这里查看欧米伽理论）

      兰德公司(RAND)发布的《人工智能算法进展：进步调查与近期未来预测》研究报告由Carter C. Price、Brien Alkire和Mohammad Ahmadi撰写，于2025年初完成。该报告对人工智能算法改进进行全面调研，分析了算法进步的关键渠道和未来发展趋势。

      报告主要内容包括：人工智能算法改进的定义与维度、数值分析与运筹学中算法进步机制分析、大型语言模型性能提升的关键因素，以及对近期AI发展的预测。研究发现两个高影响力的算法改进渠道是：数据合成与优化，以及提高数据效率的改进算法。报告还探讨了三种可能的近期发展情景：数据限制成为瓶颈、算法无法有效扩展，或算法与数据协同发展。

     值得注意的是，2024年12月问世的DeepSeek-V3语言模型成为算法改进的重要实例，展示了混合专家系统架构的优势。该报告为政策制定者提供了基于证据的预测，帮助理解AI技术发展轨迹及其安全影响。

算法改进的本质与维度

    什么才算是算法的改进？这个问题并没有一个标准答案。从本质上讲，当算法变化能够在特定任务上带来更好的性能表现或减少所需的计算资源（或两者兼具）时，我们可以称之为算法的改进。这种改进可能是主观的（如对人类偏好的样本统计），也可能是客观的（如减少执行数学运算所需的浮点运算次数）。

    算法改进可以从不同维度来描述。从强度边际来看，改进包括减少输入需求（如训练数据、训练计算量或模型参数）或在相同或更少输入的情况下获得更好的性能。本质上，强度边际关注的是效率。而广度边际的改进则包括新能力或应用领域的扩展，比如解决之前模型无法解决的新问题类别。

    算法改进也可以发生在不同阶段：训练阶段、训练后调整阶段或推理阶段。训练阶段的改进尤为重要，因为训练需要前期投入大量成本，这可能成为未来模型发展的障碍。某些算法变化可能会在多个维度上带来改进，或者在一个维度上的改进是以牺牲另一个维度为代价的。

人工智能算法进步的历史与现状

纵观人工智能算法的发展历史，我们可以看到算法改进在人工智能性能提升中扮演了关键角色。研究表明，在各种问题类型的性能进步中，算法进步贡献了50%到100%的改进。特别是在大型语言模型领域，从2012年到2023年，预训练后的语言模型性能提升中，有5%到40%归功于算法改进。

两个关键创新带来了大部分性能提升：Transformer架构的引入和来自Hoffmann等人(2022)的缩放定律。Transformer作为深度学习架构，彻底改变了自然语言处理领域。而缩放定律则揭示了模型大小、训练计算量和模型性能之间的经验关系，为模型设计提供了重要指导。

然而，关于算法进步的速度和方向，目前并没有明确共识。一些研究认为，人工智能系统的性能正趋于稳定并接近人类水平，而另一些研究则预测算法每年会带来大约半个数量级的模型改进，如果这一趋势持续到2027年，人工智能系统将能够承担人工智能研究者的工作。

算法改进的主要渠道

通过对数值分析、运筹学和计算机科学领域算法的广泛研究，我们可以识别出几个可能的算法改进渠道，并探讨它们对人工智能发展的影响。

高影响潜力的渠道

两个可能带来高影响的算法改进渠道涉及：

1. 数据合成与优化：生成合成数据或精简现有数据，以生成更适合训练人工智能的数据集。随着高质量数据资源的日益稀缺，如何高效利用现有数据或创造新数据将成为关键。
2. 数据效率提升：改进算法以提高计算效率，例如开发比Transformer计算成本更低的算法（如Mamba），或者每次迭代效果比Transformer更好的算法（如Kolmogorov-Arnold网络）。这两种改进也可能同时发生。
   

潜在突破性渠道

一个可能带来突破的渠道是开发更符合商业实用性能衡量标准的替代训练标准（本报告中松散称为目标函数）。当前的训练方法主要基于预测下一个标记的交叉熵损失函数，但这可能与商业上有意义的性能衡量标准不完全匹配。

算法进步的案例：DeepSeek-V3

值得一提的是2024年12月问世的DeepSeek-V3语言模型，它是算法改进的重要实例。根据DeepSeek的介绍，该模型"优于其他开源模型，达到与领先闭源模型相当的性能...仅需2.788M H800 GPU小时完成全部训练"。

DeepSeek-V3采用了专家混合(MoE)架构，通过采用多头潜在注意力机制和架构变更，实现了高效推理和经济高效的训练。此外，它还实施了新的负载平衡策略，并执行多标记预测训练目标以获得更强性能。模型训练后，还进行了监督微调(SFT)和强化学习阶段，以使其性能与人类偏好保持一致。

人工智能算法的近期未来发展

基于对高影响渠道的分析，我们可以展望人工智能算法在近期可能的发展趋势。根据不同渠道的进展程度，可能出现三种近期未来情景：

1. 数据限制成为瓶颈

如果无法获取额外数据，可能会阻止模型继续高效扩展，这可能导致小型、专注的人工智能系统主导市场。在这种情况下，研究人员将更加专注于如何从有限数据中提取最大价值，比如通过更高效的训练算法或更精确的数据筛选方法。

2. 算法无法有效扩展

如果可以通过合成生成获得额外数据，但新算法无法通过包含这些额外数据有效提取有意义的性能提升，那么大型模型的工作可能会继续，但小型人工智能系统可能会在市场上占据主导地位。这种情况下，研究重点可能会转向如何优化现有算法以更好地利用新数据。

3. 算法和数据协同发展

如果能够生成额外数据，并且有新算法能够高效利用这些数据，那么大型模型可能会继续主导市场，并且可能出现性能上的实质性突破。这种情景下，我们可能会看到人工智能能力的快速提升，开辟全新的应用领域。

人工智能进展的指标与政策思考

    如何评估人工智能算法的进展？Stanford人类中心人工智能研究所的2024年人工智能指数报告指出，人工智能性能已经接近或超过人类在九个技术性能基准上的表现。然而，最近几年这些基准的性能已经趋于稳定，这可能表明人工智能能力已经达到平台期，或者研究人员正转向更复杂的研究挑战。

    对于政策制定者而言，了解算法进步的方向和速度至关重要，这有助于预测人工智能技术的发展轨迹，并制定相应的政策措施。例如，如果数据成为限制因素，政策制定者可能需要关注数据隐私和数据共享的规定；如果算法扩展成为挑战，则可能需要增加对基础研究的投资。

    值得注意的是，随着人工智能技术的发展，安全和伦理问题也变得越来越重要。确保人工智能系统的安全、可靠和符合人类价值观是一个复杂的挑战，需要技术和政策层面的共同努力。例如，强化学习与人类反馈(RLHF)的研究正致力于将人工智能系统的行为与人类偏好和价值观保持一致。

结语

    人工智能算法的进步是一个复杂而动态的过程，涉及多个维度和渠道。通过理解算法改进的机制和渠道，我们可以更好地预测人工智能技术的未来发展方向，并为政策制定提供依据。

    在可预见的未来，数据合成与优化以及数据效率提升将是推动人工智能发展的关键因素。如何在保障安全的前提下，最大限度地发挥这些技术的潜力，将是研究人员、产业界和政策制定者共同面临的挑战和机遇。

    随着人工智能技术不断演进，我们需要保持警惕和适应性，既要抓住技术进步带来的机遇，也要应对可能出现的风险和挑战。只有这样，我们才能确保人工智能的发展真正造福人类社会。

    人工智能算法的进步不仅仅是技术问题，也是关乎社会、经济和伦理的重大议题。通过跨学科的合作和全球范围的对话，我们可以共同塑造一个人工智能技术为人类服务的未来。在这个未来中，算法不仅仅追求效率和性能，也要体现公平、透明和负责任的价值观。这将是人工智能发展的终极目标，也是我们共同的责任。

阅读报告全文，请访问欧米伽研究所的“未来知识库”

未来知识库是“欧米伽未来研究所”建立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。欢迎扫描二维码或访问http://wx.zsxq.com/group/454854145828 进入。

截止到3月31日 ”未来知识库”精选的百部前沿科技趋势报告

（加入未来知识库，全部资料免费阅读和下载）