职位概述

我们正在寻找一位拥有4至5年一线实战经验的高级数据工程师，负责设计、构建并优化我们的数据管道。我们现代化的数据技术栈基于部署在AWS上的Snowflake，利用dbt进行批处理转换，并使用Python进行API集成。在这个岗位上，您不仅是开发者，更是数据生命周期的负责人，需要处理从实时流数据到用户维护的Excel表格等各类数据。您是连接数据工程技术与业务需求的桥梁，并需要偶尔与我们在瑞典的全球团队进行协作。

主要职责

1.数据管道开发与集成

• 设计、构建并维护稳健的批处理与实时数据管道，集成多样化的数据源，包括：流式数据（如Kafka）、结构化/半结构化数据（REST API）以及文件类数据（Excel、CSV）。
• 使用现代的Serverless架构（如AWS Lambda）或平台原生能力（如Snowflake存储过程）开发基于Python的集成服务。

2.数据建模与转换

• 负责维护dbt（数据构建工具）环境，将原始数据转换为可直接用于分析的模型。
• 设计并实施可扩展的数据架构，重点关注构建符合下游Power BI报表需求的优化的金层（Gold Layer）/ 宽表。
• 应用数据仓库最佳实践，包括维度建模（Kimball方法论）和在适用情况下的Data Vault建模。

3.优化与云成本管理（云FinOps）

• 在云环境中监控、调优并优化管道性能及查询速度。
• 实施具有成本效益的工程实践，有效管理和优化云按量付费的支出（包括计算和存储的优化）。

4.业务分析与协作

• 作为业务需求与技术实现之间的桥梁，承担基础的业务分析（BA）职责，与利益相关者澄清数据逻辑。
• 与本地团队成员以及瑞典的国际同事协作，确保数据治理和全球工程标准的一致性。

职位要求

1.拥有4至5年扎实的数据工程或数据仓库一线实战经验。

2.强大的数据工程思维：对数据建模、ETL/ELT管道设计、数据架构原则和性能优化有深刻理解。

3.云成本意识：熟悉云按量付费框架，并具备成本效益至上的开发思维。

技术栈（优先项，非硬性要求）：

我们更加看重扎实的基础数据工程能力，而非对特定工具的死记硬背。如果您精通SQL/Python，并拥有使用其他云数据仓库（如BigQuery、Redshift）或ETL工具的经验，我们同样非常欢迎您的申请。

• 数据平台：具备部署在AWS上的Snowflake使用经验者优先。
• 数据转换：有dbt进行批处理作业的一线实战经验者具备重大加分优势。
• 编程语言：精通Python（特别是用于API集成、AWS Lambda开发或编写自动化脚本）。
• 数据源：具备处理实时流式数据（如Kafka）、半结构化数据（API返回的JSON/XML）以及人工维护的业务文件（Excel）的经验。
• 下游BI工具：具备Power BI的基本了解或使用经验者优先，特别需要理解如何构建数据层以优化Power BI的报表性能。

语言与软技能：

1.沟通能力：具备优秀的沟通技巧，能够直接从利益相关者处获取业务需求。

2.英语水平：具备良好的工作英语能力。不要求英语为母语或完全流利，但必须能够自信地与瑞典团队进行基础的英语口语和书面沟通。

我们能为您提供：

1.具备国际化、包容性强且扁平化的组织结构。

2.操作现代前沿数据技术栈（Snowflake、dbt、AWS）的工作机会。

3.专业的成长空间和对项目的明确主导权。

4.具有竞争力的薪资和福利待遇。