Suy luận chuyển KV cache OneTriangle

Tổ chức
OneTriangle · Hoa Kỳ
Loại giải pháp
Nền tảng
Hình thức hợp tác
Hợp tác kinh doanh (Liên doanh), Cấp giấy phép sử dụng

1. Tổng quan công nghệ

OneTriangle là start-up tại San Francisco (lứa Y Combinator Summer 2026, thành lập 2026 theo YC) tối ưu suy luận LLM. Giải pháp xử lý chi phí prefill với đầu vào dài, khi mô hình lớn tính phí trước khi sinh chữ đầu tiên.

Công cụ chạy prefill trên mô hình nhỏ và decode trên mô hình lớn, chuyển KV cache giữa hai mô hình bằng phép chiếu theo đầu chú ý. Trang web nêu kết quả như thời gian token đầu của Llama 3.1 8B sang 70B giảm từ 16,9 giây xuống 2,7 giây ở 100 nghìn token. Tích hợp với endpoint riêng hoặc GPU của khách hàng.

2. Tính năng và thông số nổi bật

  • Chuyển KV cache: chuyển cache từ mô hình nhỏ sang mô hình lớn.
  • Suy luận tách đôi: prefill trên mô hình nhỏ, decode trên mô hình lớn.
  • Benchmark: công bố số liệu độ trễ và chi phí.
  • Tích hợp: dùng với endpoint riêng hoặc GPU.
  • Demo: có bản demo và trang nghiên cứu.

3. Ứng dụng tiềm năng

Ngân hàng chạy LLM riêng có thể giảm độ trễ với truy vấn tài liệu dài. Nhà mạng có thể giảm chi phí trợ lý chăm sóc khách hàng. Nhà cung cấp đám mây có thể tăng tốc endpoint mô hình.

4. Lợi ích

Nêu thời gian token đầu nhanh hơn 6,3 lần và chi phí prefill thấp hơn 84 phần trăm trong benchmark của hãng. Tích hợp với endpoint riêng hoặc GPU của khách hàng. Dựa trên nghiên cứu chuyển KV cache giữa các mô hình đã công bố.

6. Thông tin khác

Trụ sở San Francisco, CA theo YC; thuộc lứa Y Combinator Summer 2026. Số liệu benchmark là của công ty.

Chưa sẵn sàng kết nối?

Lưu giải pháp này và quay lại khi bạn sẵn sàng trao đổi với bên cung cấp

Được các đối tác tin tưởng

TechFest VietnamIOM – UN MigrationGIZ (Deutsche Gesellschaft für Internationale Zusammenarbeit)APED – Cục Phát triển doanh nghiệp tư nhân và kinh tế tập thểSIHUB – Startup and Innovation Hub of Ho Chi Minh CityHợp tác Đức (Deutsche Zusammenarbeit)SCE & Investment PromotionStartup Vietnam Foundation (SVF)National Startup Support Center (NSSC)01BoosterQuest VenturesBộ Tài chính (Ministry of Finance)ITPC – HCMC Investment and Trade Promotion CentreJICA – Japan International Cooperation AgencyNational Innovation Center (NIC)UK GovernmentBCG – Boston Consulting GroupHAWEEHeineken VietnamTalentnetMB BankVIREA – Liên chi hội Bất động sản Công nghiệp Việt NamJobTestGlobal Supply Chain Support Fund / Aavishkaar CapitalKDANPSE / JPS – Phúc Sang MinhG-AsiaPacificBlueScopeLPBankUlsan Center for Creative Economy & InnovationĐại học Bách khoa Hà Nội – Trường Điện - Điện tửVINK – Vietnam Innovation Network in KoreaTencent WeStart (Shenzhen)Ulsan CollegeK-StartupFaslinkShinhan Future's LabShinhan SecuritiesShinhan FinanceShinhan BankShinhan Life

Bắt đầu với kết nối phù hợp

Chúng tôi giúp mọi doanh nghiệp, ở bất cứ đâu, dễ dàng tiếp cận đổi mới sáng tạo. Thương vụ tiếp theo có thể bắt đầu từ bạn.

Liên hệ