https://www.hpc-ai.tech/blog/colossal-ai-chatgpt
Colossal AI 쪽에서 RLHF 학습을 위한 프레임워크를 작성했군요. 학습시 필요한 GPU/메모리 양 감소를 위한 트릭들을 많이 붙여놨네요. Colossal AI 쪽 도구들이 실제로 얼마나 잘 돌아가는지 궁금하긴 합니다. 디자인 측면에서도 참고할만한 것이 있지 않을까 싶네요.
https://www.hpc-ai.tech/blog/colossal-ai-chatgpt
Colossal AI 쪽에서 RLHF 학습을 위한 프레임워크를 작성했군요. 학습시 필요한 GPU/메모리 양 감소를 위한 트릭들을 많이 붙여놨네요. Colossal AI 쪽 도구들이 실제로 얼마나 잘 돌아가는지 궁금하긴 합니다. 디자인 측면에서도 참고할만한 것이 있지 않을까 싶네요.