产品简介
BigMac 是小红书 dots infra 团队开源的多模态大模型训练新范式，旨在突破传统训练中计算效率与显存占用难以兼顾的帕累托前沿。它针对多模态大模型（MLLM）由模态编码器、LLM 主干和模态生成器组成的异构架构，提出了依赖安全的嵌套流水线技术，在不打乱 LLM 执行顺序的前提下，有序嵌入编码器和生成器计算，从而高效实现多模态流水训练。相比传统流水并行方案，BigMac 在工程上解耦了全局调度与运行时执行，并提供了丰富的接口和工具链，显著降低了模型接入与系统调优的成本。
核心功能
- 依赖安全的嵌套流水线：以成熟的 LLM 流水线为主干，在不增加 LLM 流水线空泡、保持激活显存有界的前提下，有序嵌入编码器和生成器计算，实现多模态训练的高效并行。
- 解耦的全局调度与运行时执行：工程实现上分离了调度逻辑与执行逻辑，提升了系统的灵活性和可维护性，便于针对不同模型和硬件进行优化。
- 低成本的模型接入与调优工具链：设计了一系列接口和工具，降低了新模型接入 BigMac 框架的门槛，并简化了系统调优的复杂度。
适合谁用
以下类型的用户会特别受益于 BigMac：
- 多模态大语言模型的训练与微调
- 需要同时处理文本、图像、音频等多类型数据的 AI 系统开发
- 大规模分布式训练场景下，对显存和计算效率有严格要求的模型训练
优点亮点
- 训练速度较基线提升 1.08～1.9 倍
- 在 global batch size 增大时保持稳定的显存占用
- 开源且已作为 dots 多模态模型训练的核心组件应用于生产
- 有效解决多模态异构模块带来的流水线空泡和显存瓶颈问题
价格与方案
开源免费，遵循开源协议（具体协议请参考 GitHub 仓库）
总结与建议
BigMac 是一个专注于多模态大模型训练的高效流水并行框架，通过依赖安全的嵌套流水线设计，在保持显存有界的同时显著提升训练速度，并提供了易用的工具链，适合大规模多模态 AI 模型的训练与部署。