無法複現飛書上的示例

[d223302]

System Info / 系統信息

Cuda==11.8
transformers==4.36.2

Who can help? / 谁可以帮助到您？

@zRzRzRzRzRzRzR

Information / 问题信息

• The official example scripts / 官方的示例脚本
• My own modified scripts / 我自己修改的脚本和任务

Reproduction / 复现过程

飛書上使用 cogagent的示例: I'm looking for guidance on how to search the CogVLM arxiv paper 無法複現。

我嘗試使用 cogagent-chat 模型執行此任務。然而，此模型並不支援多圖多輪對話。不知道要如何使用此模型完成示例中的任務？如果只能使用單輪對話，要如何將過去的歷史action紀錄提供給模型？

另外，cogagent-chat 的訓練資料是什麼？這個模型能夠執行的action 除了 type / click 以外還有哪些？

Expected behavior / 期待表现

期待有一個能夠執行GUI agent 任務的模型，如同飛書上的示例

[MachineDora]

感覺效果不是很好，不知道是我用的不對還是怎麽的