Agent API: Môi trường thời gian chạy được quản lý cho các quy trình làm việc dạng tác nhân

Hôm nay, chúng tôi ra mắt Perplexity Agent API, một môi trường thời gian chạy được quản lý để xây dựng các quy trình làm việc dạng tác nhân với tính năng tìm kiếm tích hợp, thực thi công cụ và điều phối đa mô hình.

Nó thay thế bộ định tuyến mô hình, lớp tìm kiếm, nhà cung cấp embedding, dịch vụ sandbox và hệ thống giám sát bằng một điểm tích hợp duy nhất.

Vòng lặp tác nhân như một mô hình tính toán

Một CPU thông thường thực thi một chu kỳ tất định: lấy một lệnh, giải mã nó, thực thi nó, lưu kết quả. Bộ đếm chương trình tiến lên. Bộ xử lý không bao giờ tự quyết định phải làm gì.

Agent API triển khai một mô hình tính toán khác. Bộ xử lý là một mô hình ngôn ngữ tiên tiến. Nó nhận mục tiêu và xác định cách đạt được mục tiêu đó. Nó phân rã mục tiêu thành một kế hoạch, chọn các công cụ để sử dụng từ tập công cụ có sẵn, thực thi, quan sát kết quả, đánh giá xem mục tiêu đã đạt được chưa và lặp lại. Cửa sổ ngữ cảnh đóng vai trò là các thanh ghi. Lý luận và điều phối đóng vai trò là bộ lập lịch.

Hãy tưởng tượng việc chuẩn bị cho một cuộc gọi bán hàng với một khách hàng tiềm năng mà bạn đã trò chuyện vài lần. Bạn gửi một yêu cầu duy nhất tới Agent API với ba công cụ: một để tìm kiếm CRM nội bộ của bạn, web_search và fetch_url. Mô hình gọi công cụ CRM của bạn trước tiên, truy xuất ngữ cảnh từ các cuộc trò chuyện trước đây. Sau đó, nó gọi web_search để tìm tin tức gần đây và thông tin tình báo cạnh tranh, trả về một số trang có liên quan. Nó quyết định hai trong số các trang đó cần được đọc kỹ hơn và gọi fetch_url cho từng trang. Trong ba bước, mô hình đã tổng hợp lịch sử nội bộ, ngữ cảnh web rộng và chi tiết toàn trang thành một phản hồi duy nhất có cơ sở. Đó chính là vòng lặp tác nhân.

Điều phối toàn bộ vòng lặp tác nhân

Điều quan trọng là phải phân biệt Agent API với các dịch vụ định tuyến mô hình. Agent API là một môi trường thời gian chạy được quản lý giúp điều phối toàn bộ vòng lặp tác nhân: truy xuất, thực thi công cụ, lập luận và dự phòng đa mô hình, cùng với bất kỳ công cụ tùy chỉnh nào bạn cấp quyền truy cập. Nó thay thế bộ định tuyến mô hình, lớp tìm kiếm, nhà cung cấp embedding, dịch vụ sandbox và hệ thống giám sát bằng một điểm cuối, tài khoản và khóa API duy nhất.

API này hoạt động độc lập với mọi nhà cung cấp mô hình tiên tiến. Đối với các ứng dụng có tính sẵn sàng cao, API hỗ trợ các chuỗi dự phòng mô hình: chỉ định nhiều mô hình và API sẽ tự động thử mô hình tiếp theo nếu mô hình trước đó không khả dụng. Điều này đảm bảo mức độ sẵn sàng gần như 100%.

Các công cụ mạnh mẽ được tích hợp sẵn

Có sẵn hai công cụ tích hợp: web_search và fetch_url. web_search hỗ trợ lọc theo tên miền (danh sách cho phép và danh sách chặn, lên tới 20 tên miền), lọc theo độ mới, lọc theo phạm vi ngày, lọc theo ngôn ngữ và ngân sách nội dung có thể định cấu hình cho mỗi trang. fetch_url truy xuất và trích xuất toàn bộ nội dung trang từ các URL cụ thể.

Ngoài các công cụ tích hợp sẵn, các hàm tùy chỉnh cho phép nhà phát triển kết nối tác nhân với hệ thống phụ trợ, cơ sở dữ liệu và API của riêng họ.

Các cấu hình sẵn mô hình tiên tiến được tối ưu hóa liên tục

Việc xây dựng một cấu hình tác nhân hiệu quả từ đầu đòi hỏi phải chọn đúng mô hình, hiệu chuẩn độ sâu lập luận, lựa chọn công cụ và tinh chỉnh ngân sách mã thông báo. Perplexity liên tục thực hiện điều này cho các sản phẩm của riêng mình, được hỗ trợ bởi đội ngũ đánh giá nội bộ chuyên chuẩn hóa các cấu hình dựa trên khối lượng công việc thực tế.

Các cấu hình sẵn chia sẻ chuyên môn đó. Mỗi cấu hình sẵn là một thiết lập hoàn toàn minh bạch, được định cấu hình sẵn và tối ưu hóa cho một trường hợp sử dụng cụ thể: tra cứu thực tế nhanh chóng, nghiên cứu cân bằng, phân tích đa nguồn sâu và nghiên cứu cấp độ tổ chức. Chúng tôi công bố lời nhắc hệ thống, công cụ và hồ sơ chi phí được khuyến nghị cho từng trường hợp. Khi bối cảnh mô hình phát triển, chúng tôi cập nhật các cấu hình cơ bản để cấu hình sẵn luôn phản ánh trạng thái công nghệ tiên tiến hiện tại với chi phí có thể dự đoán được. Tất cả các tham số cấu hình sẵn đều có thể ghi đè: nhà phát triển có thể sử dụng cấu hình sẵn làm điểm khởi đầu và điều chỉnh mô hình, công cụ, số bước hoặc ngân sách mã thông báo trong một yêu cầu duy nhất.

Nghiên cứu chuyên sâu 2.0, có sẵn thông qua cấu hình sẵn advanced-deep-research, chính là động cơ lập luận nhiều bước cung cấp năng lượng cho sản phẩm dành cho người tiêu dùng của Perplexity. Nó thực hiện hàng chục lượt tìm kiếm cho mỗi truy vấn, đọc hàng trăm tài liệu nguồn và liên tục tinh chỉnh phân tích của mình. Hiệu suất trên DRACO, ResearchRubrics của Scale AI và DeepSearchQA của Google DeepMind được trình bày chi tiết trong bài đăng về điểm chuẩn DRACO của chúng tôi.

Agent API hiện đã có sẵn. Tài liệu và hướng dẫn bắt đầu nhanh có tại docs.perplexity.ai