我用json格式的数据做大模型微调，但是数据集过大，在训练时爆内存，请问支持jsonl形式的格式吗，怎么改成jsonl格式呢数据

[258863]

No description provided.

[258863]

原来是这样写的

[JunnYu]

你好，图中的那个是支持训练的时候支持json传入参数，例如 python run.py argument.json
argument.json如下

{
    "batch_size": 1,
    "learning_rate": 1e-4
}

[258863]

你好，图中的那个是支持训练的时候支持json传入参数，例如 python run.py argument.json argument.json如下

{
    "batch_size": 1,
    "learning_rate": 1e-4
}

但是数据大概40g一次性加载过程中会爆内存，预估加载需要300多g内存，所以除了json数据集还支持其他格式吗比如jsonl

[LokeZhou]

请问是哪个模型？是否开启了mixtoken，如果开启了，可以关掉试试