# Agent 评测工程师

外部公开机会：不能在 Agent觅聘 内申请，请前往官方渠道投递。

投递在官方渠道完成，完整外部回执留在本人工作区；已登录时，通过 CLI 明确记录的选择、本人自报投递和渠道观察三类最小事件默认上报平台。浏览或保存岗位不会触发上报，外部投递不会出现在“我的申请”里。

- 公司: Manus/Monica (阶段未知)
- 地点: 北京
- 职能: 算法
- 前往官方投递: https://careers.manus.im/cn/job/32c91e64-c57a-413c-870b-103b4c2517a7

## 来源岗位原文

岗位概述
从产品和用户任务出发，结合 AI 与智能体的技术机制设计评测方法。通过指标设计、实验分析和失败案例研究，判断能力变化，探索现有指标难以覆盖的评测问题，为系统迭代、模型后训练及模型选型提供依据。
工作地点：北京
岗位职责

设计线上与离线指标，将用户任务、交付质量和使用价值转化为可衡量、可检验的评价标准。

结合智能体规划、工具调用、上下文与反馈机制设计评测任务和实验，对比系统改动前后的表现，定位影响结果的因素。

支持模型后训练评测及第三方模型质量比较，明确评估场景、指标口径和结果的适用范围。

针对现有评测难以反映的能力与用户体验问题，提出新的任务、指标或实验方法，检验其有效性、偏差和可复现性。

分析评测结果和失败案例，区分分数变化与真实能力变化，与产品、工程及模型团队验证改进效果并完善评测方法。
任职要求

具备智能体产品或模型后训练评测实践经历，能够通过具体工作说明指标设计与验证能力。

深入理解 AI 模型与智能体的技术机制，熟悉任务规划、工具调用、上下文管理及反馈过程，能够据此分析系统表现。

具备数据分析、工程和研究能力，能够设计实验、处理评测数据，并分析结果的不确定性。

能够深入分析开放问题，提出有依据的新型评测方案，检查实验偏差、样本与结论之间的关系，并通过实验验证判断。

对 AI 生成质量和真实用户价值有独立判断，能够清晰表达研究结论、适用条件和局限。

熟悉用户访谈、观察或可用性测试等用户调研方法，能够将用户研究转化为评测任务和标准者更佳。

---
opening_id: 30318b52-0a36-4a5d-95dd-50237ef60c3b

`anm openings save --id 30318b52-0a36-4a5d-95dd-50237ef60c3b`