Data Engineer

Mô tả Công việc
Trách nhiệm chính:
· Chịu trách nhiệm tạo các data pipeline có thể mở rộng và tái sử dụng
· Chịu trách nhiệm sử dụng Databrick để xây dựng mô hình trong Datalake/Azure Synapse
· Chịu trách nhiệm triển khai data pipeline bằng Azure Stack
· Nền tảng dữ liệu bao gồm cơ sở dữ liệu quan hệ, cơ sở dữ liệu phi quan hệ, luồng dữ liệu và kho lưu trữ tệp.
· Làm việc với lãnh đạo để thiết lập các tiêu chuẩn cho thực hành kỹ thuật phần mềm trong the machine learning engineering team và hỗ trợ trong các lĩnh vực khác
· Cung cấp và thiết lập nền tảng dữ liệu/Công nghệ truyền dữ liệu tại chỗ của kỹ sư dữ liệu và Cloud.
· Quản lý và bảo mật luồng dữ liệu có cấu trúc và phi cấu trúc từ nhiều nguồn.

Yêu Cầu Công Việc
Kiến Thức:
· Kiến thức về Linux, Iseries, Windows
· Kiến thức làm việc về ưu, nhược điểm và cách sử dụng của các ứng dụng ML/DL khác nhau (chẳng hạn như Keras, Tensorflow, Python scikit learn và R)
· Kiến thức và kinh nghiệm thực tế về các nền tảng dựa trên đám mây và các dịch vụ ML/DL của chúng (chẳng hạn như Google GCP, AWS và Azure) sẽ là lợi thế
· Kiến thức về các công nghệ Dữ liệu lớn, chẳng hạn như Spark, Hadoop/MapReduce là cần thiết nhưng không thiết yếu
· Hiểu biết về cơ sở hạ tầng (bao gồm lưu trữ, triển khai dựa trên vùng chứa và kiến trúc lưu trữ) sẽ là lợi thế
· Kiến thức về các dịch vụ Azure như HD Insight, Azure DataBricks, v.v.
· Đóng góp cho cộng đồng công nghiệp/nguồn mở.
Bằng cấp:
· Kiến thức tốt về SQL và kỹ năng coding xuất sắc (Python)
· Tiếng Anh giao tiếp.
· 2 năm kinh nghiệm với Flink/Spark, Databricks và lý tưởng là Kubernetes
· 2 năm kinh nghiệm với Azure (chứng chỉ DP200 và/hoặc DP201, DP203 là một lợi thế)
· Đam mê công nghệ & ứng dụng máy học phân tích và ham học hỏi
· Bằng đại học về Khoa học Máy tính, Kỹ thuật và/hoặc lĩnh vực định hướng kỹ thuật

Tăng lương
Chăm sóc sức khỏe
Đào tạo
Laptop
Chế độ thưởng
Chế độ bảo hiểm
Nghỉ phép năm
Du Lịch

Cập nhật gần nhất lúc: 2024-12-06 13:15:03