Nhân Viên Data Crawler

Tham gia vào việc thiết kế và triển khai các đường ống dữ liệu nhằm đảm bảo dữ liệu được thu thập và xử lý một cách hiệu quả.
Sử dụng các công cụ như Pandas để xử lý và chuyển đổi dữ liệu.
Hiểu rõ về các khái niệm và kỹ thuật trong xây dựng đường ống dữ liệu để chuyển giao và xử lý dữ liệu từ nhiều nguồn khác nhau.
Theo dõi và cải thiện hiệu suất của quy trình scraping, xử lý các thách thức như chặn IP, giới hạn tốc độ và CAPTCHA để đảm bảo hoạt động của hệ thống không bị gián đoạn.
Đảm bảo rằng các script được viết tối ưu và dễ bảo trì.
Sử dụng Python để quản lý và lưu trữ dữ liệu hiệu quả, làm việc với các hệ thống cơ sở dữ liệu SQL và NoSQL.
Phân tích dữ liệu thu thập để tối ưu hóa quy trình scraping và cải thiện trải nghiệm người dùng.
Xây dựng và duy trì các script Python để tự động thu thập dữ liệu từ nhiều nguồn web khác nhau, đảm bảo chất lượng và độ chính xác của dữ liệu thu thập.
Phát triển các quy trình quản lý dữ liệu, đảm bảo dữ liệu được lưu trữ an toàn và có thể truy xuất dễ dàng.
Thực hiện các bước làm sạch, lọc và tổ chức dữ liệu thu thập được để đảm bảo tính nhất quán và sẵn sàng cho phân tích.

Kinh nghiệm trong việc triển khai và quản lý proxy để tối ưu hóa quy trình scraping.
Ít nhất 1 năm kinh nghiệm trong lĩnh vực phát triển web scraping hoặc xử lý dữ liệu tự động.
Tốt nghiệp đại học (GPA > 2.8) chuyên ngành Công Nghệ Thông Tin, Viễn Thông, hoặc các lĩnh vực liên quan.
Kinh nghiệm xây dựng và tối ưu hóa các quy trình thu thập dữ liệu phức tạp từ nhiều nguồn khác nhau.
Có khả năng lập trình tốt với Python và các thư viện scraping như Scrapy, Selenium, BeautifulSoup.
Trình độ tiếng Anh tối thiểu: TOEIC > 600 hoặc IELTS ≥ 5.0.
Có kinh nghiệm với các công cụ scraping và viết script phức tạp để thu thập dữ liệu hiệu quả.
Có khả năng viết và tối ưu hóa các truy vấn SQL phức tạp để tìm kiếm và phân tích dữ liệu.
Kỹ năng phân tích và giải quyết vấn đề:
Kỹ năng phân tích tốt, có khả năng gỡ lỗi và khắc phục các sự cố trong quá trình scraping.
Kinh nghiệm phân tích dữ liệu, sử dụng các công cụ phân tích và báo cáo.
Kinh nghiệm làm việc với API để thu thập và tích hợp dữ liệu.
Khả năng lập kế hoạch và tổ chức công việc, làm việc độc lập hoặc trong môi trường nhóm một cách hiệu quả.
Kinh nghiệm trong việc thiết kế và triển khai đường ống dữ liệu.

Định kỳ tăng lương hằng năm
Được đào tạo, phát triển năng lực để đáp ứng yêu cầu công việc và lộ trình thăng tiến
Có phụ cấp gửi xe
Tham gia khoá học khi cần thiết
Du lịch: 1 lần/năm
Thưởng theo tuần/tháng/quý/năm và theo dự án
Thưởng lễ/tết
Môi trường làm việc trẻ, thân thiện và năng động.
Huởng đầy đủ các chế độ BHXH, BHYT, HĐLĐ, ngày phép và các chế độ khác theo quy định của nhà nước.

Cập nhật gần nhất lúc: 2024-10-24 13:10:03