Giới thiệu Portable Computer cho AI ưu tiên cục bộ

Một số công việc giá trị nhất mà mọi người dành cho các tác nhân AI liên quan đến dữ liệu mà họ muốn giữ lại trên máy tính của chính mình. Dù là cơ sở mã riêng tư hay tài liệu bảo mật, các mô hình cục bộ giờ đây đã đủ mạnh để xử lý chúng ngay tại nơi chúng đang lưu trữ.

Hôm nay chúng tôi ra mắt Portable Computer, một phiên bản của Perplexity Computer chạy hoàn toàn trên máy cục bộ. Chúng tôi xây dựng sản phẩm này cùng NVIDIA để người dùng có thể sở hữu toàn bộ ngăn xếp trên NVIDIA DGX Spark™, máy tính AI cỡ để bàn của NVIDIA. Sản phẩm này cũng sẽ sớm có mặt trên PC trang bị GPU NVIDIA RTX.

Portable Computer cho phép người dùng chạy hoàn toàn Perplexity Computer trên thiết bị, phân tích dữ liệu, tổng hợp tệp và chạy các quy trình làm việc phức tạp. Dữ liệu riêng tư nằm ở cục bộ và công việc thực hiện trên thiết bị không tiêu tốn credit. Khi người dùng cho phép, mô hình cục bộ có thể chuyển lên đám mây để nghiên cứu và suy luận nâng cao hơn trong khi vẫn giữ các thông tin nhạy cảm trên thiết bị.

Ngăn xếp AI ưu tiên cục bộ

Portable Computer ra mắt khi người dùng tìm cách khai thác tối đa năng lực tính toán của họ, cân bằng giữa hiệu suất và độ hiệu quả. Với sức mạnh tương đương cấp độ biên được trang bị trên máy tính của chính họ lần đầu tiên, mọi người không còn phải định mức việc sử dụng trí tuệ nhân tạo nữa.

Portable Computer chạy trên NVIDIA DGX Spark với Qwen 3.8 27B hoặc PPLX 27B, phiên bản đã được huấn luyện hậu kỳ của mô hình Qwen. NVIDIA Nemotron 3.5 Lightning, một mô hình mở 30B, sắp có mặt trong công cụ lựa chọn mô hình. Trình điều phối, bộ lập kế hoạch, bộ định tuyến công cụ, trình lập lịch, hàng đợi tác vụ bền vững và chỉ mục tìm kiếm cục bộ đều chạy trên thiết bị.

Mô hình Qwen đã được huấn luyện hậu kỳ để hoàn thành cục bộ mọi tác vụ nhiều nhất có thể và chuyển lên đám mây khi tác vụ đó yêu cầu. Nó đọc các tệp cục bộ, tìm kiếm trên các tài liệu và mã nguồn, thực hiện các hành động trên thiết bị và duy trì các tác vụ chạy liên tục.

Sở hữu hạ tầng tính toán giúp các tác vụ AI khối lượng lớn trở nên khả thi khi thực thi, bởi các công việc được xử lý bởi mô hình cục bộ sẽ không bị tính phí theo mỗi credit.

Chuyển đổi tác vụ lên đám mây

Portable Computer xử lý phần lớn các tác vụ mà bất kỳ ai cũng cần chạy hoàn toàn cục bộ. Nhưng một số công việc được hưởng lợi từ việc truy cập web hoặc khả năng suy luận tiên tiến trên đám mây. Người dùng có thể muốn giữ các thông tin chi tiết và bảo mật của một bảng điều khoản ở cục bộ, nhưng chuyển lên đám mây để có được các dữ liệu so sánh thị trường hiện tại hoặc các thương vụ tiền lệ gần đây.

Trình điều phối cục bộ của Portable Computer có thể chuyển một tác vụ lên đám mây để lấy thông tin hiện tại, sử dụng trình duyệt, các ứng dụng được kết nối hoặc một trong hơn 15 mô hình tiên tiến nhằm phục vụ cho mục đích suy luận nâng cao.

Thông qua các trình kết nối ứng dụng, Portable Computer hoạt động với Google Drive, Gmail, Slack và GitHub. Người dùng có thể phân loại các vấn đề GitHub mới so với các báo cáo lỗi qua đêm trong Gmail ngay trên thiết bị, sau đó gửi tin nhắn Slack về ba vấn đề hàng đầu kèm theo những người phụ trách được đề xuất vào buổi sáng.

Khi một tác vụ cần gửi nội dung từ thiết bị tới dịch vụ đám mây, Portable Computer sẽ xin phép người dùng trước khi tiến hành.

Tìm kiếm và đọc chính tả

Một mô hình cục bộ chỉ biết những gì có trên máy. Khi một tác vụ cần thế giới bên ngoài, Portable Computer cũng có thể chạy tìm kiếm Perplexity hoặc Nghiên cứu chuyên sâu diện rộng hoặc chiều sâu. Người dùng nhận được các kết quả tìm kiếm có trích dẫn từ web mà không phải đánh đổi việc thực thi cục bộ đối với mọi thứ khác.

Chế độ đọc chính tả cũng chạy cục bộ với Mô hình ASR NVIDIA Nemotron 3.5. Người dùng hướng dẫn tác nhân trong lúc đọc tài liệu hoặc phác thảo trên giấy. Bản ghi âm và các hành động trên tệp đều nằm trên máy. Người dùng có thể trao đổi về tình huống của khách hàng hoặc đọc chính tả trên một cơ sở mã riêng tư mà không cần âm thanh chạm tới đám mây.

Bảo mật tương đương với phiên bản đám mây của Perplexity Computer. Mã nguồn và việc thực thi công cụ chạy trong các môi trường sandbox cô lập với quyền truy cập được kiểm soát vào các tệp và ứng dụng được kết nối.

Hôm nay chỉ mới là khởi đầu của AI cục bộ

Khi các mô hình ngày càng mạnh mẽ và chip ngày càng nhanh hơn, ngày càng có nhiều người chạy các quy trình làm việc phức tạp trên máy tính của chính họ. Mỗi chu kỳ chip và mỗi lần phát hành mô hình lại đẩy ranh giới này tiến xa hơn. Chạy AI trên máy tính cá nhân sẽ trở thành một phần lớn hơn nhiều trong cách công việc được hoàn thành.

Portable Computer hiện có sẵn cho các Thuê bao Pro và Max trên NVIDIA DGX Spark. Phiên bản đầu tiên có mặt trên Linux, hỗ trợ Windows sẽ sớm ra mắt.

NVIDIA DGX Spark được xây dựng dựa trên nền tảng Grace Blackwell GB10: CPU Arm 20 nhân và GPU NVIDIA với 128 GB bộ nhớ thống nhất. Portable Computer có thể được cài đặt bằng thiết lập một cú nhấp chuột thông qua ứng dụng Perplexity.

Đọc thêm về bản ra mắt trên Blog AI Cục bộ của NVIDIA. Blog nghiên cứu của chúng tôi, A Local-First Agent for Private and Cost-Effective Knowledge Work, trình bày chi tiết quá trình phát triển đằng sau Portable Computer và hiệu suất vượt trội của nó trên các tiêu chuẩn đánh giá về độ chính xác, tốc độ và hiệu quả sử dụng credit.

Dùng thử Portable Computer ngay hôm nay.