650亿参数大模型预体能训练方案开源可商用！LLaMA体能训练加速38%

2024-01-12 金融

边环境或确实即可求，选择流水分段+四维动量分段+ZeRO1等复杂分段策略组合成。

其中，通过Colossal-AI的Booster Plugins，其他用户可以顺畅自订分段专业训练，如选择Low Level ZeRO、Gemini、DDP等分段策略。

Gradient checkpointing通过在偏置传播时重最初测算三维的activation来增加文件系统用于。

通过引入Flash attention机制加快测算并节省闪存。其他用户可以通过立即行值顺畅控制数十个类似的自订值，在保持良好高机动性的同时为自订开发保持良好了灵活性。

Colossal-AI最最初的ShardFormer非常大增加了用于内克分段专业训练LLM的上手运输成本。

至此全力支持还包括LLaMA的多种等主流三维，且原生全力支持Huggingface/transformers三维库。

无须改造三维，方能全力支持内克分段(流水、四维动量、ZeRO、DDP等)的各种配置组合成，并不即可要在各种嵌入式配置上都发挥杰出的机动性。

Colossal-AI：大三维系统基础设施

导致如上最初工作的Colossal-AI，如今已是大三维趋势下的明星GUI和社区了。

Colossal-AI上述解决计划已在某世界500强落地应该用，在千卡集群机动性卓越，至少即可数周方能完成千亿值拥有者大三维实专业训练。

上海AI Lab与帝辛等最初近发表的InternLM也基于Colossal-AI在千卡意味着高效实专业训练。

自Ubuntu以来，Colossal-AI多次在GitHub热榜排名世界第一，获得 GitHub Star；也3万颗，并成功入选SC、AAAI、PPoPP、CVPR、ISC等国际 AI 与HPC顶级会议的此前教材，有数上百家企业参与共建Colossal-AI生态周边环境。

它由加州伯克利大学多才多艺博士 James Demmel 和最初加坡国立大学校长青年博士尤洋开发。

Colossal-AI基于PyTorch，可通过高效内克分段、异构文件系统等，首波为AI大三维专业训练/修改/直觉的开发与应该用运输成本，增加GPU即可求等。

其背后最初公司潞晨新技术，近期获得数亿元A轮投资，已在更名18个月内已短时间倒数完成三轮投资。

Ubuntu地址：

参考资料重定向：

— 完 —

凝聚态位 QbitAI · 头条号签约

。