https://arxiv.org/abs/2307.02477
Reasoning or Reciting? Exploring the Capabilities and Limitations of Language Models Through Counterfactual Tasks (Zhaofeng Wu, Linlu Qiu, Alexis Ross, Ekin Akyürek, Boyuan Chen, Bailin Wang, Najoung Kim, Jacob Andreas, Yoon Kim)
일반적인 세계와는 다른 counterfactual 세계를 가정하고 문제를 풀게 해보는 실험. 예를 들어 10진법이 아니라 9진법을 쓴다고 가정하고 계산 문제를 풀게 해본 연구입니다. 이런 접근으로 문제 특화적인 어떤 규칙이나 패턴이 아니라 추상적인, 범용적으로 문제를 푸는 메커니즘이 있는지를 평가해볼 수 있겠죠. 대체로 성능이 휙휙 떨어집니다. 오히려 랜덤 수준으로 붕괴하지 않는 경우가 꽤 있다는 것이 더 놀랍기도 하네요.
#evaluation #llm