高级数据工程师 – 大数据与分析平台

角色概述

NearSource正在寻找一位高级数据工程师，负责设计和扩展支持高容量分析和报告的企业级数据平台。该角色专注于构建可靠的数据管道，并为一家财富500强产品公司实现数据驱动的决策。

主要职责

• 设计并实施与业务目标一致的可扩展数据和分析解决方案
• 设计和优化批处理和实时数据管道，以处理大规模数据集
• 推动开发稳健的数据基础设施，以确保可靠性、可扩展性和性能
• 使用现代数据工程工具执行ETL工作流和数据转换过程
• 自动化云基础设施、监控和可观测性，以提高运营效率
• 开发和维护管道以提高部署质量和速度
• 与跨职能团队合作以收集需求并提供数据驱动的解决方案
• 分析复杂数据集以识别趋势、洞察和优化机会
• 提供用于产品、营销和业务绩效跟踪的仪表板和报告解决方案
• 定义和维护关键指标、KPI和数据模型以支持分析计划
• 向技术和非技术利益相关者呈现技术洞察和建议
• 通过精心设计的仪表板和数据访问模式实现自助分析

必备技能

• 精通数据工程和管道开发编程
• 具有使用Apache Spark、Spark SQL和PySpark进行大规模数据处理的丰富经验
• 具备SQL和分析数据建模的专业知识，包括维度建模技术
• 具有使用Snowflake和Hive等数据仓库平台的实际经验
• 具有使用Apache Airflow等ETL编排工具的经验
• 具有使用Power BI、Tableau或Qlik等BI工具构建仪表板的丰富经验
• 具有版本控制系统和管道（包括Git）的经验
• 具有使用Jupyter或Apache Zeppelin等笔记本环境的实际经验

优先技能

• 熟悉Looker用于数据可视化和报告
• 具有使用Presto进行分布式查询的经验
• 接触过基于云的数据基础设施服务
• 具有处理大规模实时数据流系统的经验

平等机会声明

NearSource是一家致力于营造包容和尊重环境的平等机会雇主。我们庆祝多样性，不会因种族、性别、宗教、性取向、年龄、残疾或背景而歧视。创新在每个人都感到有能力贡献时蓬勃发展。