Astronomer

Astronomer là công ty điều phối dữ liệu có trụ sở tại Cincinnati, Ohio, Hoa Kỳ, giữ vai trò đơn vị bảo trợ thương mại cho dự án mã nguồn mở Apache Airflow từ năm 2018, giúp doanh nghiệp điều phối và lên lịch các luồng công việc dữ liệu và AI phức tạp trên nhiều hệ thống.

Nền tảng Astro là dịch vụ Airflow được quản lý, cung cấp bộ lập lịch và executor được xây dựng lại, môi trường phát triển trên trình duyệt, triển khai quản lý bằng mã nguồn, cùng khả năng quan sát dữ liệu gốc với phân tích nguyên nhân gốc rễ; nền tảng công bố hỗ trợ hơn 500.000 tác vụ chạy đồng thời và được các đội kỹ thuật dữ liệu tại Booking.com và Together AI sử dụng để đưa pipeline từ thử nghiệm vào sản xuất.

1. Apache Airflow được quản lý: Astro vận hành phiên bản scheduler mã nguồn mở đã được gia cố như một dịch vụ.

2. Đồng thời cao: nền tảng chịu tải khối lượng lớn tác vụ chạy song song với độ trễ khởi động thấp.

3. Triển khai bằng mã nguồn: đội ngũ quản lý môi trường và pipeline qua quy trình dựa trên Git.

4. Quan sát dữ liệu tích hợp: giám sát sẵn có phát hiện lỗi và gợi ý nguyên nhân gốc rễ.

5. IDE trên trình duyệt: Astro IDE giúp kỹ sư xây dựng và kiểm thử DAG mà không cần cài đặt cục bộ.

6. Vận hành hỗ trợ AI: một agent chuyên cho Airflow giúp viết DAG và điều tra sự cố.