Παρουσίαση του Portable Computer για τοπική τεχνητή νοημοσύνη

Ορισμένες από τις πιο πολύτιμες εργασίες που έχουν οι χρήστες για πράκτορες τεχνητής νοημοσύνης περιλαμβάνουν δεδομένα που προτιμούν να διατηρούν στους δικούς τους υπολογιστές. Είτε πρόκειται για ιδιωτικές βάσεις κώδικα είτε για εμπιστευτικό υλικό, τα τοπικά μοντέλα γίνονται πλέον αρκετά ισχυρά ώστε να εργάζονται σε αυτά ακριβώς εκεί που βρίσκονται.

Σήμερα λανσάρουμε το Portable Computer, μια έκδοση του Perplexity Computer που εκτελείται εξ ολοκλήρου σε τοπικό μηχάνημα. Το κατασκευάσαμε με τη NVIDIA, ώστε οι χρήστες να μπορούν να κατέχουν τη στοίβα στο NVIDIA DGX Spark™, τον υπολογιστή τεχνητής νοημοσύνης επιτραπέζιου μεγέθους της NVIDIA. Σύντομα θα είναι επίσης διαθέσιμο σε υπολογιστές με NVIDIA RTX GPU.

Το Portable Computer επιτρέπει στους χρήστες να εκτελούν το Perplexity Computer εξ ολοκλήρου στη συσκευή, αναλύοντας δεδομένα, συνθέτοντας αρχεία και εκτελώντας σύνθετες ροές εργασίας. Τα ιδιωτικά δεδομένα παραμένουν τοπικά και η εργασία στη συσκευή δεν καταναλώνει πιστώσεις. Όταν ο χρήστης το εξουσιοδοτεί, το τοπικό μοντέλο μπορεί να μεταφέρει την εργασία στο cloud για πιο προηγμένη έρευνα και συλλογισμό, διατηρώντας παράλληλα ευαίσθητες πληροφορίες στη συσκευή.

Τοπική στοίβα τεχνητής νοημοσύνης

Το Portable Computer κυκλοφορεί καθώς οι χρήστες επιδιώκουν να αξιοποιήσουν περισσότερο την υπολογιστική τους ισχύ, εξισορροπώντας την απόδοση με την αποδοτικότητα. Με δύναμη που θυμίζει μοντέλα αιχμής διαθέσιμη στους δικούς τους υπολογιστές για πρώτη φορά, οι άνθρωποι δεν χρειάζεται πλέον να κάνουν δελτίο περιορισμού σε τι χρησιμοποιούν τη νοημοσύνη.

Το Portable Computer εκτελείται στο NVIDIA DGX Spark με Qwen 3.8 27B ή με PPLX 27B, μια εκπαιδευμένη εκ των υστέρων έκδοση του μοντέλου Qwen. Το NVIDIA Nemotron 3.5 Lightning, ένα ανοιχτό μοντέλο 30B, έρχεται σύντομα στον επιλογέα μοντέλων. Ο ενορχηστρωτής, ο σχεδιαστής, ο δρομολογητής εργαλείων, ο χρονοπρογραμματιστής, η ανθεκτική ουρά εργασιών και το τοπικό ευρετήριο αναζήτησης εκτελούνται όλα στη συσκευή.

Το μοντέλο Qwen είναι εκπαιδευμένο εκ των υστέρων ώστε να ολοκληρώνει όσο το δυνατόν μεγαλύτερο μέρος κάθε εργασίας τοπικά και να μεταφέρει την εργασία στο cloud όταν το απαιτεί η περίσταση. Διαβάζει τοπικά αρχεία, πραγματοποιεί αναζητήσεις σε έγγραφα και κώδικα, εκτελεί ενέργειες στη συσκευή και διατηρεί τις εργασίες σε εκτέλεση.

Η κατοχή της υπολογιστικής ισχύος καθιστά τις εργασίες τεχνητής νοημοσύνης υψηλού όγκου πρακτικές για εκτέλεση, επειδή η εργασία που διεκπεραιώνεται από τα τοπικά μοντέλα δεν έχει χρέωση ανά πίστωση.

Μεταφορά στο cloud

Το Portable Computer χειρίζεται την πλειονότητα των εργασιών που χρειάζεται κανείς να εκτελέσει εξ ολοκλήρου τοπικά. Ορισμένες όμως εργασίες επωφελούνται από την πρόσβαση στον ιστό ή σε συλλογισμό αιχμής στο cloud. Ένας χρήστης μπορεί να θέλει οι εμπιστευτικές λεπτομέρειες ενός εγγράφου όρων να παραμείνουν τοπικές, αλλά να μεταφέρει την εργασία στο cloud για να λάβει τρέχοντα στοιχεία της αγοράς ή πρόσφατες προηγούμενες συμφωνίες.

Ο τοπικός ενορχηστρωτής του Portable Computer μπορεί να μεταφέρει μια εργασία στο cloud για τρέχουσες πληροφορίες, χρήση προγράμματος περιήγησης, συνδεδεμένες εφαρμογές ή ένα από τα 15+ μοντέλα αιχμής για προηγμένο συλλογισμό.

Μέσω συνδέσμων εφαρμογών, το Portable Computer λειτουργεί με τα Google Drive, Gmail, Slack και GitHub. Ένας χρήστης μπορεί να διαλογίσει νέα ζητήματα GitHub έναντι αναφορών σφαλμάτων της νύχτας στο Gmail στη συσκευή, και στη συνέχεια να στείλει ένα μήνυμα Slack σχετικά με τα τρία κορυφαία ζητήματα με προτεινόμενους υπεύθυνους μέχρι το πρωί.

Όταν μια εργασία πρέπει να στείλει περιεχόμενο από τη συσκευή σε μια υπηρεσία cloud, το Portable Computer ζητά την άδεια του χρήστη πριν προχωρήσει.

Αναζήτηση και υπαγόρευση

Ένα τοπικό μοντέλο γνωρίζει μόνο ό,τι βρίσκεται στο μηχάνημα. Όταν μια εργασία απαιτεί τον έξω κόσμο, το Portable Computer μπορεί επίσης να εκτελέσει αναζήτηση Perplexity ή ευρεία ή εις βάθος έρευνα. Οι χρήστες λαμβάνουν ευρήματα με παραπομπές από τον ιστό χωρίς να εγκαταλείπουν την τοπική εκτέλεση όλων των υπολοίπων.

Η λειτουργία υπαγόρευσης εκτελείται επίσης τοπικά με το μοντέλο NVIDIA Nemotron 3.5 ASR. Οι χρήστες ενημερώνουν συνοπτικά τον πράκτορα ενώ διαβάζουν ένα έγγραφο ή κάνουν σκίτσα σε χαρτί. Η μεταγραφή και οι ενέργειες σε αρχεία παραμένουν όλες στο μηχάνημα. Ένας χρήστης μπορεί να συζητήσει μια κατάσταση πελάτη ή να υπαγορεύσει πάνω σε μια ιδιωτική βάση κώδικα χωρίς ο ήχος να αγγίξει το cloud.

Η ασφάλεια ταιριάζει με την έκδοση cloud του Perplexity Computer. Η εκτέλεση κώδικα και εργαλείων εκτελείται σε απομονωμένα περιβάλλοντα Sandbox με ελεγχόμενη πρόσβαση σε αρχεία και συνδεδεμένες εφαρμογές.

Σήμερα είναι μόλις η αρχή της τοπικής τεχνητής νοημοσύνης

Καθώς τα μοντέλα γίνονται ισχυρότερα και τα τσιπ ταχύτερα, περισσότεροι άνθρωποι θα εκτελούν σύνθετες ροές εργασίας στους δικούς τους υπολογιστές. Κάθε κύκλος τσιπ και κάθε κυκλοφορία μοντέλου το προχωρά αυτό ακόμη παραπέρα. Η εκτέλεση τεχνητής νοημοσύνης σε προσωπικούς υπολογιστές πρόκειται να αποτελέσει πολύ μεγαλύτερο μέρος του τρόπου με τον οποίο διεκπεραιώνεται η εργασία.

Το Portable Computer είναι διαθέσιμο σε συνδρομητές Pro και Max στο NVIDIA DGX Spark. Η πρώτη έκδοση είναι διαθέσιμη σε Linux, ενώ η υποστήριξη για Windows έρχεται σύντομα.

Το NVIDIA DGX Spark είναι βασισμένο στην πλατφόρμα Grace Blackwell GB10: έναν πυρήνα Arm 20 πυρήνων και GPU NVIDIA με 128 GB ενοποιημένης μνήμης. Το Portable Computer μπορεί να εγκατασταθεί με ρύθμιση παραμέτρων ενός κλικ μέσω της εφαρμογής Perplexity.

Διαβάστε περισσότερα σχετικά με την κυκλοφορία στο NVIDIA Local AI blog. Το ερευνητικό μας ιστολόγιο, A Local-First Agent for Private and Cost-Effective Knowledge Work, περιγράφει λεπτομερώς την ανάπτυξη πίσω από το Portable Computer και την υπεροχή του σε δείκτες αναφοράς για την ακρίβεια, την ταχύτητα και την αποδοτικότητα πιστώσεων.

Δοκιμάστε το Portable Computer σήμερα.