# Agent 评测工程师

External opening: you cannot apply through AI Native Match; apply on the official site.

Apply through the official channel. The full external receipt stays in your workspace. When signed in, three minimal event types explicitly recorded through the CLI are reported by default: selection, self-reported application and channel observation. Browsing or saving a role does not report an event; external applications do not appear under My applications.

- Company: Manus/Monica (Stage unknown)
- Locations: 北京
- Role: Algorithm
- Apply on the official site: https://careers.manus.im/cn/job/32c91e64-c57a-413c-870b-103b4c2517a7

## Role description from source

岗位概述
从产品和用户任务出发，结合 AI 与智能体的技术机制设计评测方法。通过指标设计、实验分析和失败案例研究，判断能力变化，探索现有指标难以覆盖的评测问题，为系统迭代、模型后训练及模型选型提供依据。
工作地点：北京
岗位职责

设计线上与离线指标，将用户任务、交付质量和使用价值转化为可衡量、可检验的评价标准。

结合智能体规划、工具调用、上下文与反馈机制设计评测任务和实验，对比系统改动前后的表现，定位影响结果的因素。

支持模型后训练评测及第三方模型质量比较，明确评估场景、指标口径和结果的适用范围。

针对现有评测难以反映的能力与用户体验问题，提出新的任务、指标或实验方法，检验其有效性、偏差和可复现性。

分析评测结果和失败案例，区分分数变化与真实能力变化，与产品、工程及模型团队验证改进效果并完善评测方法。
任职要求

具备智能体产品或模型后训练评测实践经历，能够通过具体工作说明指标设计与验证能力。

深入理解 AI 模型与智能体的技术机制，熟悉任务规划、工具调用、上下文管理及反馈过程，能够据此分析系统表现。

具备数据分析、工程和研究能力，能够设计实验、处理评测数据，并分析结果的不确定性。

能够深入分析开放问题，提出有依据的新型评测方案，检查实验偏差、样本与结论之间的关系，并通过实验验证判断。

对 AI 生成质量和真实用户价值有独立判断，能够清晰表达研究结论、适用条件和局限。

熟悉用户访谈、观察或可用性测试等用户调研方法，能够将用户研究转化为评测任务和标准者更佳。

---
opening_id: 30318b52-0a36-4a5d-95dd-50237ef60c3b

`anm openings save --id 30318b52-0a36-4a5d-95dd-50237ef60c3b`