使用QWen2.5进行推测解码时遇到的问题
#1025
Replies: 1 comment
-
正确的 |
Beta Was this translation helpful? Give feedback.
0 replies
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
-
开发者你好！我最近在使用你们的2.5系列进行推测解码的测试。推测解码使用小模型生成草稿，大模型进行验证。在验证过程中，有一个操作是使用大模型对某个token产生的概率分布与小模型生成的概率分布相减，取大于0的部分归一化重新采样。但是在这个过程中我发现他们的logits维度并不相同。0.5B的模型输出为151936维度，而32B模型输出152064维度。
我已经查看了一些关于vocab大小的issue，使用len(tokenizer)得到的词表大小是相通的，都是151665.
这是否代表，我在采样时需要从这两个logits中的前151665维度采样，而非完整的logits大小？如果要查看某个token的logits，是否只需要从output.logits中以token作为索引即可？感谢解惑
Beta Was this translation helpful? Give feedback.
All reactions