AIlarge language modelsMultimodal Models
黑森林实验室的Self-Flow将AI训练效率提升2.8倍
MA
Ma Lin
2周前7 分钟阅读
黑森林实验室刚刚发布了Self-Flow，这是一种让人精神一振的效率优化方法。他们声称能将多模态模型的训练效率提升2. 8倍，这不仅仅是一个漂亮的数字——它直接冲击了不断膨胀的计算成本，而这一成本一直困扰着该领域。任何关注过单次GPT-4级别训练成本的人都知道，我们一直走在一条不可持续的道路上；这项技术可能打破这一曲线。该机制尚未完全公开，但从透露的信息来看，Self-Flow基本上通过跨模态回收梯度信息，减少了冗余的反向传播步骤。这很巧妙——就像发现可以在视觉和语言头之间共享权重而不牺牲性能。与此同时，微软悄悄发布了Phi-4-reasoning-vision，一个150亿参数的模型，其表现远超其规模。这并非偶然：更小、更高效的架构正成为对抗“越大越好”教条的务实力量。这些举措共同标志着向可持续AI开发的真正转变，让资源有限的实验室仍能与超大规模企业竞争。但我们不要过于乐观。效率是一把双刃剑：更便宜的训练意味着更快的迭代，这可能意味着模型在安全测试不够严格的情况下就发布。我们已经看到了当公司优先考虑速度时会发生什么——对齐研究往往滞后。现在的问题不仅仅是训练能有多快，而是我们能否在更精简的流程扩展到无法控制之前，将治理嵌入其中。.
#multimodal AI
#training efficiency
#Black Forest Labs
#Microsoft Phi-4
#AI optimization
#week's picks
相关新闻
评论
这里很安静...留下第一条评论开始对话吧。