Data Engineer

Khách hàng của Talent Match đang tìm kiếm những mảnh ghép chiến lược tham gia vào đội ngũ phát triển và vận hành các dự án Chuyển đổi số Chính phủ quy mô lớn, phục vụ trực tiếp cho Khối Chính phủ, các Bộ ban ngành, đặc biệt là Bộ Công An.

Ở vị trí Data Engineer, bạn sẽ tham gia xây dựng và vận hành Data Platform quy mô Enterprise, giải quyết các bài toán về tích hợp, đồng bộ, xử lý và khai thác dữ liệu lớn trong môi trường Private Cloud/On-Premise. Đây là cơ hội để trực tiếp tham gia thiết kế các nền tảng dữ liệu có yêu cầu cao về hiệu năng, tính toàn vẹn, khả năng mở rộng và SLA.

Mô tả công việc

• Thiết kế, xây dựng và vận hành ETL/ELT Pipeline kết nối dữ liệu từ ClickHouse, PostgreSQL, Oracle, DB2, API, File bằng Apache Airflow và các công cụ ingestion phù hợp.

• Triển khai CDC (Debezium/WAL2JSON + Apache Kafka) để đồng bộ dữ liệu gần thời gian thực; đảm bảo monitoring, retry, alert, SLA và tính toàn vẹn dữ liệu end-to-end.

• Xử lý dữ liệu lớn với Apache Spark, tối ưu job, partition và throughput của pipeline.

• Thiết kế Data Platform & Data Model theo kiến trúc Medallion (Bronze/Silver/Gold), Star/Snowflake Schema.

• Phát triển transformation bằng dbt; tối ưu hiệu năng ClickHouse thông qua partition, index, materialized views.

• Triển khai và quản trị Apache Superset/BI, xây dựng Semantic Layer, Dashboard, KPI/Business Metrics và phân quyền dữ liệu.

• Đề xuất kiến trúc Data Platform, lựa chọn công nghệ và xây dựng quy trình vận hành với Docker, Git, CI/CD.

• Phối hợp với Backend, DevOps, Data Analyst và Business trong quá trình triển khai, vận hành và tối ưu hệ thống dữ liệu; hỗ trợ xử lý sự cố khi cần.

• Có từ 4+ năm kinh nghiệm xây dựng và vận hành Data Platform, ETL/ELT Pipeline hoặc hệ thống xử lý dữ liệu lớn.

• Có kinh nghiệm thực tế với một số công nghệ: Apache Airflow, Apache Spark, Apache Kafka, Debezium, ClickHouse, dbt, PostgreSQL/Oracle/DB2.

• Hiểu và có kinh nghiệm về CDC, Data Warehouse, Data Modeling, Medallion Architecture, Star/Snowflake Schema.

• Có tư duy tốt về Data Architecture, Data Quality, Performance Optimization và SLA.

• Có kinh nghiệm với BI/Superset, Dashboard, Semantic Layer là lợi thế.

• Có khả năng phân tích, xử lý sự cố và phối hợp hiệu quả với các team kỹ thuật và nghiệp vụ.

• Chủ động, có tinh thần trách nhiệm và khả năng làm việc trong môi trường dự án quy mô lớn.

Ưu tiên

• Có kinh nghiệm triển khai dự án Chính phủ/Bộ ban ngành hoặc hệ thống dữ liệu quy mô lớn.

• Có kinh nghiệm với Data Lake/Lakehouse, Private Cloud/On-Premise.

• Có khả năng thiết kế Data Platform end-to-end và xây dựng quy trình vận hành.

• Có kinh nghiệm Technical Guidance/Mentoring cho các thành viên trong team.

• Có khả năng đề xuất giải pháp, lựa chọn công nghệ và tham gia xây dựng Data Architecture cho hệ thống.

• Thưởng tháng lương thứ 13 và thưởng hiệu quả kinh doanh cuối năm.

• 12 ngày nghỉ phép/năm, nghỉ lễ/Tết theo quy định.

• BHXH, BHYT, BHTN và các chế độ phúc lợi theo quy định.

• Trợ cấp ăn trưa, đồng phục, teambuilding và khám sức khỏe định kỳ.

• Tham gia các dự án CNTT/Chuyển đổi số quy mô lớn, có cơ hội làm việc cùng các chuyên gia và phát triển năng lực Technical Leadership.