https://stability.ai/blog/stablecode-llm-generative-ai-coding
Stability AI에서 코드 모델이 나왔군요. 16K context 지원이 특이 포인트일 것 같네요. scratch 학습이지만 4K에 학습시키고 16K에 파인튜닝하는 방식인데...이 시나리오에서도 RoPE가 최적의 선택일지가 궁금하긴 하네요.
https://stability.ai/blog/stablecode-llm-generative-ai-coding
Stability AI에서 코드 모델이 나왔군요. 16K context 지원이 특이 포인트일 것 같네요. scratch 학습이지만 4K에 학습시키고 16K에 파인튜닝하는 방식인데...이 시나리오에서도 RoPE가 최적의 선택일지가 궁금하긴 하네요.