# 混元大模型漫爬数据策略算法工程师

外部公开机会：不能在 Agent觅聘 内申请，请前往官方渠道投递。

投递在官方渠道完成，完整外部回执留在本人工作区；已登录时，通过 CLI 明确记录的选择、本人自报投递和渠道观察三类最小事件默认上报平台。浏览或保存岗位不会触发上报，外部投递不会出现在“我的申请”里。

- 公司: 腾讯 (阶段未知)
- 地点: 深圳
- 职能: 算法
- 前往官方投递: https://careers.tencent.com/jobdesc.html?postId=2065201683578925056

## 来源岗位原文

1.负责大模型预训练/AI搜索业务的全网漫爬策略设计，解决资源发现和调度问题，覆盖全语种/多模态，提升有价值数据覆盖率、时效性；
2.页面质量，基于机器学习/NLP/LLM，构建高质量内容筛选策略，识别低质量/垃圾/重复页面，提高数据质量；
3.重复问题解决，优化URL/资源内容去重策略，提升爬虫抓取效率、内容转化和留存能力；
4.内容理解，基于BERT/GPT/LLM 等技术，构建网页内容理解、网页分类，助力大模型训练数据/AI搜索效果。
职位要求
1.计算机相关专业优先，熟悉 python/c++编程语言；
2.有数据工程或相关领域的工作经验，具备一定的机器学习算法基础，了解BERT/GPT/LLM 等技术；
3.熟练掌握大数据技术栈，包括Hadoop、Spark 等，有使用数据库（如SQL）和数据仓库的经验。
工作年限（官方顶部字段）
两年以上工作经验
官方重要事项
1.熟悉抓取策略，包括全网覆盖、低质识别、内容理解等；熟练使用大模型、AI工具；有预训练数据处理经验。

---
opening_id: 60bd97e5-3f70-466e-b1b1-9859f8fb5846

`anm openings save --id 60bd97e5-3f70-466e-b1b1-9859f8fb5846`