全量微调显存占用

[ACXuLiu]

请问大佬在全量微调时，显存占用是多少呢？

[SpongebBob]

默认的配置我用了8个40GB的A100。

[wac81]

2个40g就可以

[Alwin4Zhang]

2个40g就可以

有开源吗？

[ustbliubo2014]

2个40g就可以

这个是用的原始的配置吗？我用 4 个 A00 仍然 GPU 不够， out of memory

[resehist]

训练了多久呢？

[wac81]

用dp zero 2， 长度拉小点一般256-512就够了，我用2个40g，4个3090 都测试过，可以跑，如果跑一半不可以，就可能是长度问题。

[wac81]

2个40g就可以

这个是用的原始的配置吗？我用 4 个 A00 仍然 GPU 不够， out of memory

检查cpu的内存，不一定是显存不够

[dlxj]

用dp zero 2， 长度拉小点一般256-512就够了，我用2个40g，4个3090 都测试过，可以跑，如果跑一半不可以，就可能是长度问题。

麻烦能贴一下详细的参数配置吗，我用 4 卡 24G 的 A5000 一直爆显存, CPU 内存是 80G