EvoCUA – 美团开源的通用多模态计算机操作模型

EvoCUA是什么

EvoCUA（Evolving Computer Use Agent）是美团开源的多模态模型，专注于计算机使用自动化任务。EvoCUA通过自然语言指令和屏幕截图实现对Chrome、Excel、PowerPoint等软件的端到端多轮操作，显著提升计算机使用能力。在OSWorld基准测试中，EvoCUA以56.7%的任务完成率位列开源模型第一，超越多个知名模型。EvoCUA创新的数据合成与训练方法可在不降低通用性能的情况下，显著提升开源视觉语言模型的计算机使用能力。

EvoCUA的主要功能

• 多轮交互：支持与桌面环境进行多轮交互，根据任务需求逐步完成操作。
• 任务自动化：支持根据自然语言指令完成复杂的计算机任务，例如在Excel中生成报表、在浏览器中搜索信息等。
• 多模态输入：结合视觉（屏幕截图）和语言（自然语言指令）输入，更精准地理解任务需求。
• 高效率执行：通过优化的算法和模型结构，在较少的步骤内完成任务，提升效率。
• 开源与可扩展：作为开源模型，EvoCUA支持用户根据需求进行定制和扩展。

EvoCUA的技术原理

• 数据合成与训练方法
  EvoCUA采用创新的数据合成方法生成大量高质量的训练数据，模拟真实世界中的计算机操作任务。其训练方法能够在不降低模型通用性能的情况下，显著提升计算机使用能力，通过优化训练策略，模型在多模态任务中表现出色。
• 强化学习与优化：EvoCUA在训练过程中利用强化学习技术，通过奖励机制优化模型的行为策略。模型在多轮交互中不断试错和学习，逐步找到最优的操作路径，在复杂任务中实现高效的任务完成。
• 模型架构：EvoCUA基于大型语言模型（LLM）和视觉语言模型（VLM）构建，具备强大的语言理解和生成能力，同时能处理视觉信息。通过特定的提示（prompts）和解析机制，模型将自然语言指令转化为具体的操作指令，实现对桌面环境的自动化操作。