# 混元大模型漫爬数据策略算法工程师

External opening: you cannot apply through AI Native Match; apply on the official site.

Apply through the official channel. The full external receipt stays in your workspace. When signed in, three minimal event types explicitly recorded through the CLI are reported by default: selection, self-reported application and channel observation. Browsing or saving a role does not report an event; external applications do not appear under My applications.

- Company: 腾讯 (Stage unknown)
- Locations: 深圳
- Role: Algorithm
- Apply on the official site: https://careers.tencent.com/jobdesc.html?postId=2065201683578925056

## Role description from source

1.负责大模型预训练/AI搜索业务的全网漫爬策略设计，解决资源发现和调度问题，覆盖全语种/多模态，提升有价值数据覆盖率、时效性；
2.页面质量，基于机器学习/NLP/LLM，构建高质量内容筛选策略，识别低质量/垃圾/重复页面，提高数据质量；
3.重复问题解决，优化URL/资源内容去重策略，提升爬虫抓取效率、内容转化和留存能力；
4.内容理解，基于BERT/GPT/LLM 等技术，构建网页内容理解、网页分类，助力大模型训练数据/AI搜索效果。
职位要求
1.计算机相关专业优先，熟悉 python/c++编程语言；
2.有数据工程或相关领域的工作经验，具备一定的机器学习算法基础，了解BERT/GPT/LLM 等技术；
3.熟练掌握大数据技术栈，包括Hadoop、Spark 等，有使用数据库（如SQL）和数据仓库的经验。
工作年限（官方顶部字段）
两年以上工作经验
官方重要事项
1.熟悉抓取策略，包括全网覆盖、低质识别、内容理解等；熟练使用大模型、AI工具；有预训练数据处理经验。

---
opening_id: 60bd97e5-3f70-466e-b1b1-9859f8fb5846

`anm openings save --id 60bd97e5-3f70-466e-b1b1-9859f8fb5846`