IT之家 3 月 8 日消息，一项大规模研究显示：AI 智能体开发几乎只聚焦编程任务，忽视了绝大多数劳动力市场。

卡内基梅隆大学与斯坦福大学的研究人员，系统性对比了涵盖 72342 项任务的 43 个智能体基准测试与美国劳动力市场。他们借助美国政府的 O*NET 数据库（该数据库对工作活动进行了多维度详细分类），将基准测试任务映射到 1016 种真实职业。

IT之家注意到，该研究揭示了一种失衡现状：当前智能体开发几乎只针对计算机与数学领域，而这一以编程为主的领域仅占美国总就业人数的 7.6%。

分析发现，多个高度数字化的工作领域在现有基准测试中几乎没有体现。管理领域数字化率达 88%，却仅占所有分析基准测试任务的 1.4%；法律工作数字化率 70%，占比仅 0.3%；建筑与工程领域数字化率 71%，占比也只有 0.7%。

研究人员认为，AI 智能体恰恰能在这些领域实现短期生产力提升，但这些领域也存在特殊技术挑战，包括目标模糊、成果需长期验证等。

从资本分配（即各专业领域总收入）来看，管理、法律等经济价值最高的领域在基准测试中占比依然偏低；与此同时，个人服务、护理等低薪劳动密集型领域也几乎未被关注。

研究表明，这种失衡在个人技能层面同样严重。研究人员构建了分类体系，将职业技能分为四类：信息获取、思维处理、人际互动、工作成果。现实中，四类所需技能分布相对均衡。

但智能体基准测试只聚焦“获取信息”和“计算机操作”两类，二者合计仅覆盖美国就业市场的不到 5%。而涉及大量现实工作的“人际互动”类别，在基准测试中几乎没有涉及。

研究人员将这种偏向归因于方法上的便捷性：那些易于编写任务指令、检验结果的领域获得了过多关注。尽管这推动了细分领域的快速发展，但研究团队警告，这可能让智能体开发偏离社会与经济回报最大的领域。

研究人员特别将 OpenAI 的 GDPval 基准测试列为正面案例：尽管规模相对较小，却覆盖了最广泛的专业领域与技能。OpenAI 在 2025 年专门设计该基准，用于衡量 AI 智能体对不同领域真实知识工作的影响。

为衡量 AI 智能体在覆盖工作领域中的实际自主程度，研究人员制定了可量化的自主性指标：将其定义为智能体在既定成功率下可处理的最大任务复杂度，复杂度通过分层工作流的步骤数衡量。

研究显示，即便在覆盖最充分的软件开发领域，任务复杂度提升时，智能体成功率也会急剧下降。智能体在思维处理、产出工作成果等独立活动中表现最佳，但即便在相对简单的任务中，也难以胜任信息查找检索、与人协作等工作。

少数可用于对照测试的基准（如 SWE-bench）显示：OpenHands 框架表现优于 SWE-agent，Claude 优于 GPT，中等复杂度任务中这一差距尤为明显。但研究人员提醒，这些趋势未必适用于其他复杂度级别，并呼吁更广泛地公开智能体运行轨迹，以开展更系统的对比。

基于研究结果，研究人员提出未来基准测试的三大设计原则：

1. 新基准应专门针对管理、法律等覆盖不足但高度数字化的领域，或追求跨领域、跨技能的广泛覆盖。

2. 基准测试需更贴近现实、更复杂。许多自动生成的基准仅捕捉了真实工作的简化片段，而人工编写的任务（如 GDPval、TheAgentCompany 基准）则覆盖多元领域与技能；若需通过自动生成实现规模化，任务设计应反映真实的领域与技能构成。

3. 推动更精细化的评估。仅衡量智能体是否完成任务，无法定位其具体失效环节。研究人员建议，从人类演示中自动提取工作流，设立中间检查点，从而更细致地评估智能体表现。该研究还提供了框架与配套资源，帮助基准设计者发现覆盖缺口、助力开发者明确改进方向、帮助用户为具体任务选择合适的自主等级。

这些结论与现实使用情况一致：Anthropic 近期基于数百万次人类-智能体交互的分析显示，软件开发占公共 API 中所有智能体工具调用的近 50%，而其他行业各自仅占几个百分点。Anthropic 将当前阶段称为“智能体应用的早期阶段”。

加州大学伯克利分校及合作机构 2025 年末的研究也得出相似结论：企业目前大多将 AI 智能体作为简单、高度受控的工具，自主操作步骤极少。该研究认为，系统可靠性仍是最大障碍。