
1. Tổng quan công nghệ
OneTriangle là start-up tại San Francisco (lứa Y Combinator Summer 2026, thành lập 2026 theo YC) tối ưu suy luận LLM. Giải pháp xử lý chi phí prefill với đầu vào dài, khi mô hình lớn tính phí trước khi sinh chữ đầu tiên.
Công cụ chạy prefill trên mô hình nhỏ và decode trên mô hình lớn, chuyển KV cache giữa hai mô hình bằng phép chiếu theo đầu chú ý. Trang web nêu kết quả như thời gian token đầu của Llama 3.1 8B sang 70B giảm từ 16,9 giây xuống 2,7 giây ở 100 nghìn token. Tích hợp với endpoint riêng hoặc GPU của khách hàng.
2. Tính năng và thông số nổi bật
- Chuyển KV cache: chuyển cache từ mô hình nhỏ sang mô hình lớn.
- Suy luận tách đôi: prefill trên mô hình nhỏ, decode trên mô hình lớn.
- Benchmark: công bố số liệu độ trễ và chi phí.
- Tích hợp: dùng với endpoint riêng hoặc GPU.
- Demo: có bản demo và trang nghiên cứu.
3. Ứng dụng tiềm năng
Ngân hàng chạy LLM riêng có thể giảm độ trễ với truy vấn tài liệu dài. Nhà mạng có thể giảm chi phí trợ lý chăm sóc khách hàng. Nhà cung cấp đám mây có thể tăng tốc endpoint mô hình.
4. Lợi ích
Nêu thời gian token đầu nhanh hơn 6,3 lần và chi phí prefill thấp hơn 84 phần trăm trong benchmark của hãng. Tích hợp với endpoint riêng hoặc GPU của khách hàng. Dựa trên nghiên cứu chuyển KV cache giữa các mô hình đã công bố.
5. Xu hướng và cơ hội thị trường
Tác vụ LLM ngữ cảnh dài làm tăng chi phí suy luận, kéo theo nhu cầu tối ưu phục vụ mô hình. Doanh nghiệp Việt Nam tự chạy mô hình trên GPU nội bộ tìm cách giảm chi phí.
6. Thông tin khác
Trụ sở San Francisco, CA theo YC; thuộc lứa Y Combinator Summer 2026. Số liệu benchmark là của công ty.
Một nền tảng kết nối startup, doanh nghiệp, viện nghiên cứu, địa phương và nhà đầu tư











Cẩm nang · 6/2/2026
Winning Accelerator Playbook 2026 by BambuUP
AI VÀ DỮ LIỆU THỜI GIAN THỰC ĐANG THAY ĐỔI CÁCH DOANH NGHIỆP BÁN LẺ VẬN HÀNH








































