Twelve Labs

Twelve Labs là công ty AI video thành lập năm 2021 bởi Aiden Lee, Jae Lee, Dave Chung và Sungjun Kim, trụ sở tại San Francisco và có thêm văn phòng tại Seoul, New York và London. Công ty xây dựng mô hình nền tảng đa phương thức giúp máy tính hiểu video theo cách con người hiểu, bằng cách kết hợp thông tin hình ảnh, âm thanh và ngôn ngữ thay vì chỉ dựa vào gắn thẻ thủ công.

Dòng sản phẩm xoay quanh hai mô hình: Marengo, tạo embedding phục vụ tìm kiếm video bằng ngôn ngữ tự nhiên trên hơn 47 ngôn ngữ, và Pegasus, mô hình ngôn ngữ video có thể suy luận trên đoạn phim dài tới hai giờ để tạo tóm tắt và thông tin chuyên sâu. Các tổ chức trong lĩnh vực truyền thông, quảng cáo và khu vực công dùng nền tảng để tìm kiếm, phân đoạn và phân tích kho video lớn mà không cần gắn thẻ thủ công.

1. Tìm kiếm ngôn ngữ tự nhiên: Tìm khoảnh khắc cụ thể trong kho video bằng truy vấn văn bản thường.

2. Embedding Marengo: Tạo embedding đa phương thức từ dữ liệu hình ảnh, âm thanh và ngôn ngữ.

3. Suy luận Pegasus: Phân tích đoạn phim dài tới hai giờ để tạo tóm tắt và thông tin chuyên sâu.

4. Phân đoạn nội dung: Tự động chia video dài thành các đoạn có cấu trúc, dễ tìm kiếm.

5. Sàng lọc tuân thủ: Đánh dấu nội dung để rà soát an toàn thương hiệu và kiểm duyệt.

6. Xử lý tốc độ cao: Xử lý video ở tốc độ khoảng 60 lần thời gian thực trên quy mô lớn.