# AI搜索评估产品经理

External opening: you cannot apply through AI Native Match; apply on the official site.

Apply through the official channel. The full external receipt stays in your workspace. When signed in, three minimal event types explicitly recorded through the CLI are reported by default: selection, self-reported application and channel observation. Browsing or saving a role does not report an event; external applications do not appear under My applications.

- Company: 阶跃 (Stage unknown)
- Locations: 上海
- Role: Product
- Apply on the official site: https://app.mokahr.com/social-recruitment/step/94904#/

## Role description from source

岗位定位
负责AI搜索产品质量评测与体验评估，搭建生成式搜索、语义搜索的专属评估体系，量化AI搜索结果优劣、监控产品体验基线、验收策略迭代效果。核心是用产品视角把控AI搜索质量，发现体验漏洞、约束策略迭代方向，是AI搜索产品的体验质检员与度量架构师。
岗位职责
AI搜索评估体系搭建：针对大模型生成式搜索、语义检索、RAG问答等场景，搭建专属的离线+在线评估体系。制定AI搜索相关性、真实性、准确性、逻辑性、安全性、多样性的评测标准与标注规范，区别于传统关键词搜索评估。
全维度质量巡检与Badcase归因：日常巡检AI搜索全链路体验，挖掘语义理解错误、生成幻觉、答案不实、召回缺失、排序异常、歧义误判、无结果、内容低质等AI特有Badcase，完成问题归类、根因分析与优先级排序，输出优化整改清单。
迭代实验效果验收：负责所有AI搜索策略迭代、模型升级、功能上线的A/B实验评估，解读离线评测指标（NDCG、MRR、准召率）与线上用户指标（CTR、首点击、跳出率、会话满意度），输出专业的产品验收结论与优化建议。
体验基线与风险监控：搭建通用、长尾、口语化、复杂语义、多模态等多场景AI搜索质量基线，常态化监控指标波动，及时发现策略退化、模型效果衰减、内容风险等问题，保障搜索体验稳定可控。
评测工具与流程优化：联动研发搭建AI自动评测、批量巡检、问题溯源工具，优化人工标注流程与评测效率，沉淀搜索质量白皮书、问题库、迭代规范，实现体验质量标准化管理。
反向驱动产品策略迭代：基于评测数据与Badcase沉淀，反向输出产品优化方向、策略调优建议、需求迭代优先级，配合策略产品、算法团队完成体验闭环优化。
任职要求
本科及以上学历，有搜索产品、AI产品、内容质量、体验评测相关经验优先，熟悉大模型搜索特性。
精通搜索核心评估指标，理解AI搜索幻觉、语义偏差、事实错误等特有问题，具备体系化的质量评估思维。
具备极强的细节洞察力与问题敏感度，能精准识别AI搜索体验短板，独立完成问题归因与复盘总结。
熟练使用数据分析工具、掌握基础SQL，能够通过数据量化体验问题、验证迭代效果。
严谨细心、逻辑闭环，具备良好的跨团队沟通能力，可独立推进质量优化闭环。

---
opening_id: 68fe3efb-c042-4a33-a192-e1415fdbe65c

`anm openings save --id 68fe3efb-c042-4a33-a192-e1415fdbe65c`