直接load Qwen2_5OmniThinkerForConditionalGeneration进行推理时eos token失灵的问题,导致不断生成重复token直至max new tokens触发

直接load Qwen2_5OmniThinkerForConditionalGeneration进行推理时eos token失灵的问题,导致不断生成重复token直至max new tokens触发

https://github.com/QwenLM/Qwen2.5-Omni/issues/371

 

遇到标题里描述的问题,最终的解决方法是:在调用 generate 函数时,显式地重新设置 eos_token_id 和 pad_token_id。代码示例如下:

text_ids = model.generate(**inputs,use_audio_in_video=USE_AUDIO_IN_VIDEO,eos_token_id=processor.tokenizer.eos_token_id,pad_token_id=processor.tokenizer.pad_token_id,max_new_tokens=1024,
)