Nhân viên Data Crawler/Web Scraping (HCM)

Phát triển và duy trì script:
Đảm bảo rằng các script được viết tối ưu và dễ bảo trì.
Xây dựng và duy trì các script Python để tự động thu thập dữ liệu từ nhiều nguồn web khác nhau, đảm bảo chất lượng và độ chính xác của dữ liệu thu thập.
Làm sạch và tổ chức dữ liệu:
Thực hiện các bước làm sạch, lọc và tổ chức dữ liệu thu thập được để đảm bảo tính nhất quán và sẵn sàng cho phân tích.
Sử dụng các công cụ như Pandas để xử lý và chuyển đổi dữ liệu.
Quản lý và lưu trữ dữ liệu:
Phát triển các quy trình quản lý dữ liệu, đảm bảo dữ liệu được lưu trữ an toàn và có thể truy xuất dễ dàng.
Sử dụng Python để quản lý và lưu trữ dữ liệu hiệu quả, làm việc với các hệ thống cơ sở dữ liệu SQL và NoSQL.
Giám sát và tối ưu hóa hiệu suất:
Phân tích dữ liệu thu thập để tối ưu hóa quy trình scraping và cải thiện trải nghiệm người dùng.
Theo dõi và cải thiện hiệu suất của quy trình scraping, xử lý các thách thức như chặn IP, giới hạn tốc độ và CAPTCHA để đảm bảo hoạt động của hệ thống không bị gián đoạn.
Kiến thức về đường ống dữ liệu:
Hiểu rõ về các khái niệm và kỹ thuật trong xây dựng đường ống dữ liệu để chuyển giao và xử lý dữ liệu từ nhiều nguồn khác nhau.
Tham gia vào việc thiết kế và triển khai các đường ống dữ liệu nhằm đảm bảo dữ liệu được thu thập và xử lý một cách hiệu quả.
Yêu cầu trình độ:
Tốt nghiệp đại học (GPA > 2.8) chuyên ngành Công Nghệ Thông Tin, Viễn Thông, hoặc các lĩnh vực liên quan.
Có khả năng lập trình tốt với Python và các thư viện scraping như Scrapy, Selenium, BeautifulSoup.
Trình độ tiếng Anh tối thiểu: TOEIC > 600 hoặc IELTS ≥ 5.0.
Kinh nghiệm làm việc:
Kinh nghiệm xây dựng và tối ưu hóa các quy trình thu thập dữ liệu phức tạp từ nhiều nguồn khác nhau.
Ít nhất 1 năm kinh nghiệm trong lĩnh vực phát triển web scraping hoặc xử lý dữ liệu tự động.
Kỹ năng:
Kỹ năng scraping:
Có kinh nghiệm với các công cụ scraping và viết script phức tạp để thu thập dữ liệu hiệu quả.
SQL trung cấp:
Có khả năng viết và tối ưu hóa các truy vấn SQL phức tạp để tìm kiếm và phân tích dữ liệu.
Kỹ năng quản lý proxy:
Kinh nghiệm trong việc triển khai và quản lý proxy để tối ưu hóa quy trình scraping.
Kỹ năng phân tích và giải quyết vấn đề:
Kỹ năng phân tích tốt, có khả năng gỡ lỗi và khắc phục các sự cố trong quá trình scraping.
Kỹ năng quản lý dự án:
Khả năng lập kế hoạch và tổ chức công việc, làm việc độc lập hoặc trong môi trường nhóm một cách hiệu quả.
Điểm cộng:
Kinh nghiệm phân tích dữ liệu, sử dụng các công cụ phân tích và báo cáo.
Kinh nghiệm trong việc thiết kế và triển khai đường ống dữ liệu.
Kinh nghiệm làm việc với API để thu thập và tích hợp dữ liệu.

Cập nhật gần nhất lúc: 2024-10-21 22:55:02