爬虫工程师
2天前
Shanghai, 中国
N3O
全职
通过电子邮件或 Google 免费
保存此职位并让您的搜索井井有条
创建一个免费帐户来保存职位、创建警报并从仪表板返回此列表。
通过电子邮件或 Google 免费
工作要求:
• 多源素材采集:影视、游戏、3D、公开视频/图文等来源的采集策略设计、爬虫开发与调度
• 采集管线工程:分布式爬虫、增量采集、限流重试、代理调度、反爬适配、任务监控与告警
• 数据入湖入管线:元数据抽取、去重、清洗、结构化,与切分/质量分级/标签体系衔接
• 合规与风控:在合法合规和授权范围内采集,关注 robots、版权、隐私与平台规则,建立采集白名单和风险控制
• 深度参与数据管线建设:与产品、算法、评测团队协作,保证爬虫数据质量与周期 工作内容
• AI native,熟悉各类AI工具及文本/视觉模型 2.2–5 年,计算机相关背景,Python 熟练
• 做过爬虫/数据采集/大规模数据管线,熟悉 Scrapy、requests、Playwright/Selenium 等常见工具
• 熟悉分布式任务调度、消息队列、数据库和对象存储,如 Celery/Kafka/Airflow、MySQL/PostgreSQL/MongoDB/ES/S3
• 有反爬适配、限流重试、代理池、日志监控、Docker/Linux 等工程经验
• 合规意识强,知道什么能采、怎么采、怎么留痕 ️ 我们更看重你能否把“采集”做成稳定、可监控、可扩展、可复用的数据生产线 【加分项】
• 做过视频/图像/3D 资产/游戏素材/影视相关数据采集
• 有大规模分布式爬虫、数据清洗去重、数据质量监控经验
• 会 Go/Node.js,熟悉云服务、Kubernetes、对象存储与数据湖
• 对视频生成、AIGC、多模态数据有真实兴趣
• 有 GitHub、开源项目、数据管线作品或可展示的采集系统
• 多源素材采集:影视、游戏、3D、公开视频/图文等来源的采集策略设计、爬虫开发与调度
• 采集管线工程:分布式爬虫、增量采集、限流重试、代理调度、反爬适配、任务监控与告警
• 数据入湖入管线:元数据抽取、去重、清洗、结构化,与切分/质量分级/标签体系衔接
• 合规与风控:在合法合规和授权范围内采集,关注 robots、版权、隐私与平台规则,建立采集白名单和风险控制
• 深度参与数据管线建设:与产品、算法、评测团队协作,保证爬虫数据质量与周期 工作内容
• AI native,熟悉各类AI工具及文本/视觉模型 2.2–5 年,计算机相关背景,Python 熟练
• 做过爬虫/数据采集/大规模数据管线,熟悉 Scrapy、requests、Playwright/Selenium 等常见工具
• 熟悉分布式任务调度、消息队列、数据库和对象存储,如 Celery/Kafka/Airflow、MySQL/PostgreSQL/MongoDB/ES/S3
• 有反爬适配、限流重试、代理池、日志监控、Docker/Linux 等工程经验
• 合规意识强,知道什么能采、怎么采、怎么留痕 ️ 我们更看重你能否把“采集”做成稳定、可监控、可扩展、可复用的数据生产线 【加分项】
• 做过视频/图像/3D 资产/游戏素材/影视相关数据采集
• 有大规模分布式爬虫、数据清洗去重、数据质量监控经验
• 会 Go/Node.js,熟悉云服务、Kubernetes、对象存储与数据湖
• 对视频生成、AIGC、多模态数据有真实兴趣
• 有 GitHub、开源项目、数据管线作品或可展示的采集系统