猎头岗位： 上海某科技公司：大数据架构师， Base：上海市

大数据架构师

薪资：面议

1. 架构设计：负责公司 PB 级用 户行为数据（ AppList + GPS ）仓库的建设。设计基于 StarRocks + MinIO 的 存算分离 架构，在私有化物理机环 境下实现低成本存储与秒级多维查询。
2. ETL 与 Python 工程化：放弃 Java 开发模式，主导使用 PySpark 编写高性能数据清洗脚本。解决海量 JSON/GPS 日志处理中的数据倾斜与内存溢出 (OOM) 问题，建立 PythonNative 的数据工程体系。
3. AI 数据管道建设：负责搭建 “数据湖 -> 训练集群” 的高速数据传输通道。解决海量小文件读取瓶颈，优化 I/O 吞吐，确 保清洗后的语料能高速流向 GPU 集群，保障 AI 训练效率。
4. 负责私有云环境下大数据组件（ Spark on K8s/YARN, StarRocks ）的部署与监 控。配合 AI 团队进行资源隔离（ CPU vs GPU ），确保数据处理与模型训练互不干扰。” “1. 计算机相关专业本科及以上学历，5 年以上大数据架构经验，必须有 PB 级数据处理实战经验。
5. 精通 Python (PySpark)：具备大型 Python 工程开发能力。同时具备 阅读 Java/Scala 报堆栈 (Stack Trace) 的能力，能排查 Spark 底层的 JVM 问题。
6. 精通 MPP 数据库原理，是 StarRocks 、Apache Doris 或 ClickHouse 的重度使用者。
7. 熟悉 私有云/IDC 环境下的资源规划，具备在物理机上搭建和维护大规模集群的能力。 —– 可直接添加 TG：Skyewen20251 有意向投递简历到 Email 邮箱： zygs2151@gmail.com