ಖಾಸಗಿ ಮತ್ತು ವೆಚ್ಚ-ಪರಿಣಾಮಕಾರಿ ಜ್ಞಾನ ಕೆಲಸಕ್ಕಾಗಿ ಸ್ಥಳೀಯ-ಮೊದಲ ಏಜೆಂಟ್
ಸ್ಥಳೀಯ ಜ್ಞಾನದ ಕೆಲಸಕ್ಕಾಗಿ ಸಹ-ವಿನ್ಯಾಸಗೊಳಿಸಲಾದ ಹಾರ್ನೆಸ್ ಮತ್ತು ಮಾದರಿ, ಸಾಧನದಲ್ಲಿ ಚಾಲನೆಯಲ್ಲಿದೆ ಮತ್ತು ಬೇಡಿಕೆಯ ಮೇರೆಗೆ ರಿಮೋಟ್ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಪ್ರವೇಶಿಸುತ್ತದೆ.
Perplexity Portable Computer ಎನ್ನುವುದು ಸ್ಥಳೀಯ-ಮೊದಲ (local-first) ಏಜೆಂಟ್ ಆಗಿದೆ.
ಸಂಪೂರ್ಣ ಸ್ಟಾಕ್ ಪೂರ್ವನಿಯೋಜಿತವಾಗಿ ಸ್ಥಳೀಯವಾಗಿ ಚಾಲನೆಗೊಳ್ಳುತ್ತದೆ. ಮಾದರಿ, ಹಾರ್ನೆಸ್, ಸಂಭಾಷಣೆ ಮತ್ತು ಪಥ (trajectory) ಎಲ್ಲವೂ ಬಳಕೆದಾರರ ಯಂತ್ರದಲ್ಲಿಯೇ ಇರುತ್ತವೆ. ವೆಬ್ ಹುಡುಕಾಟ, ಕನೆಕ್ಟರ್ಗಳು ಅಥವಾ ಕ್ಲೌಡ್ನಲ್ಲಿರುವ ಬಲವಾದ ಸಲಹೆಗಾರ ಮಾದರಿಗೆ ಉನ್ನತೀಕರಣದಂತಹ ಬಾಹ್ಯ ಪ್ರಪಂಚದ ಅಗತ್ಯವಿರುವ ಕೆಲಸವನ್ನು, ಅಗತ್ಯವಿದ್ದಾಗ ಮಾತ್ರ ಮತ್ತು ಯಾವಾಗಲೂ ಬಳಕೆದಾರರ ನಿಯಂತ್ರಣದೊಂದಿಗೆ ಕರೆಯಲಾಗುತ್ತದೆ. ಆದ್ದರಿಂದ ಸೂಕ್ಷ್ಮ ಡೇಟಾವು ಅನುಮತಿಯಿಲ್ಲದೆ ಸಾಧನವನ್ನು ಎಂದಿಗೂ ಬಿಡುವುದಿಲ್ಲ, ಮತ್ತು ಸ್ಥಳೀಯ ಮಾದರಿಗಳು ಯಾವುದೇ ಅನುಮಾನ ಶುಲ್ಕವನ್ನು ಹೊಂದಿರುವುದಿಲ್ಲ: ಸಿಸ್ಟಮ್ ವಿನ್ಯಾಸದಿಂದಲೇ ಖಾಸಗಿ ಮತ್ತು ವೆಚ್ಚ-ಪರಿಣಾಮಕಾರಿಯಾಗಿದೆ.
ಪರಿಣಾಮಕಾರಿ ಸ್ಥಳೀಯ-ಮೊದಲ (local-first) ಏಜೆಂಟ್ಗೆ ಮಾದರಿ ಮತ್ತು ಹಾರ್ನೆಸ್ ಅನ್ನು ಒಟ್ಟಿಗೆ ವಿನ್ಯಾಸಗೊಳಿಸುವ ಅಗತ್ಯವಿದೆ. ಸಾಮಾನ್ಯ-ಉದ್ದೇಶದ ಹಾರ್ನೆಸ್ಗಳು ದೀರ್ಘ ಸಂದರ್ಭಗಳನ್ನು ಹೀರಿಕೊಳ್ಳಲು, ವಿಶಾಲವಾದ ಸಾಧನ ಮೇಲ್ಮೈಯನ್ನು ನ್ಯಾವಿಗೇಟ್ ಮಾಡಲು ಮತ್ತು ದೀರ್ಘ ಪರಿಧಿಯ ಮೇಲೆ ಯೋಜನೆ ಮಾಡಲು ಸಮರ್ಥವಾಗಿರುವ ಫ್ರಂtier ಮಾದರಿಯನ್ನು ಊಹಿಸುತ್ತವೆ. ಆ ಬೇಡಿಕೆಗಳ ಅಡಿಯಲ್ಲಿ ಸ್ಥಳೀಯ ಮಾದರಿಗಳು ಕಡಿಮೆ ವಿಶ್ವಾಸಾರ್ಹವಾಗಿರುತ್ತವೆ. ದೊಡ್ಡ ಮಾದರಿಗಾಗಿ ನಿರ್ಮಿಸಲಾದ ಹಾರ್ನೆಸ್ ಅನ್ನು ನಿರ್ವಹಿಸಲು ಸಣ್ಣ ಮಾದರಿಯನ್ನು ಕೇಳುವ ಬದಲು, ನಾವು ಎರಡನ್ನು ಪರಸ್ಪರ ಆಕಾರಗೊಳಿಸಿದ್ದೇವೆ: ಮಾದರಿಯ ಸಾಮರ್ಥ್ಯದ ಪ್ರೊಫೈಲ್ಗೆ ತಕ್ಕಂತೆ ತಯಾರಿಸಿದ ಹಾರ್ನೆಸ್, ಮತ್ತು ಆ ಹಾರ್ನೆಸ್ ಅನ್ನು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಬಳಸಲು ಪೋಸ್ಟ್-ರೈಟ್ ಮಾಡಲಾದ ಮಾದರಿ.
ಪರಿಚಯ
ಇತ್ತೀಚಿನ ತಿಂಗಳುಗಳಲ್ಲಿ ಏಜೆಂಟ್ ಸಾಮರ್ಥ್ಯಗಳು ವ್ಯಾಪಕ ಶ್ರೇಣಿಯ ಜ್ಞಾನ-ಕೆಲಸದ ಕಾರ್ಯಗಳಲ್ಲಿ ವೇಗವಾಗಿ ಮುಂದುವರೆದಿವೆ. ಈ ಪ್ರಗತಿಗಳು ಉತ್ಪಾದಕತೆ ಮತ್ತು ದಕ್ಷತೆಯಲ್ಲಿ ದೊಡ್ಡ ಲಾಭವನ್ನು ತಂದರೂ, ಅವು ಎರಡು ಸವಾಲುಗಳನ್ನು ಒಡ್ಡುತ್ತವೆ.
ಟೋಕನ್ ಬಳಕೆ ವೇಗವಾಗಿ ಹೆಚ್ಚುತ್ತಿದೆ, ಮತ್ತು ಅದರೊಂದಿಗೆ ಒಟ್ಟು ವೆಚ್ಚವೂ ಹೆಚ್ಚುತ್ತಿದೆ. ರಿಮೋಟ್ ಕ್ಲಸ್ಟರ್ಗಳಲ್ಲಿ ಚಾಲನೆಯಲ್ಲಿರುವ ಮುಕ್ತ-ಮೂಲವಲ್ಲದ ಮಾದರಿಗಳ API ಗಳ ಮೂಲಕ ಬುದ್ಧಿವತ್ತೆಯನ್ನು ಪ್ರವೇಶಿಸಿದಾಗ, ಪ್ರತಿ ವಿನಂತಿಯೊಂದಿಗೆ ಖಾಸಗಿ ಮಾಹಿತಿ ಮತ್ತು ಬೌದ್ಧಿಕ ಆಸ್ತಿಯು ಬಳಕೆದಾರರ ಸಾಧನವನ್ನು ತೊರೆಯುತ್ತದೆ. ಏಜೆಂಟ್ಗಳು ವೈಯಕ್ತಿಕ ಕಾರ್ಯಪ್ರವಾಹಗಳು ಮತ್ತು ಸಂಪೂರ್ಣ ಸಂಸ್ಥೆಗಳಾದ್ಯಂತ ಅಳೆಯುವಾಗ, ಟೋಕನ್ ವೆಚ್ಚ ಮತ್ತು ಡೇಟಾ ಚಲನೆಯನ್ನು ನಿಯಂತ್ರಿಸುವುದು ಹೆಚ್ಚು ಕಷ್ಟಕರವಾಗುತ್ತದೆ.
ಅದೇ ಸಮಯದಲ್ಲಿ, ಮುಕ್ತ-ಮೂಲ (open-source) ಮಾದರಿಗಳು ಇನ್ನೂ ವೇಗವಾಗಿ ಸುಧಾರಿಸಿವೆ. NVIDIA Nemotron 3.5 Lightning (30B ಒಟ್ಟು ನಿಯತಾಂಕಗಳು), Qwen 3.6 (35B), ಮತ್ತು Qwen 3.8 (27B) ನಂತಹ ಅತ್ಯಂತ ಸಣ್ಣ ಮತ್ತು ಸಮರ್ಥ ಮಾದರಿಗಳಲ್ಲಿ ಪ್ರಗತಿಯು ಹೆಚ್ಚು ಗೋಚರಿಸುತ್ತದೆ. ಈ ಸಣ್ಣ ಮಾದರಿಗಳು ತಮ್ಮ ತೂಕಕ್ಕಿಂತ ಹೆಚ್ಚಿನ ಪ್ರದರ್ಶನ ನೀಡುತ್ತವೆ ಮತ್ತು ಈಗ ಸಂಕೀರ್ಣವಾದ ಏಜೆಂಟ್ ಕಾರ್ಯಪ್ರವಾಹಗಳನ್ನು ನಿರ್ವಹಿಸಲು ಸಮರ್ಥವಾಗಿವೆ. ಸ್ಥಳೀಯ-ಅನುಮಾನ (local-inference) ಹಾರ್ಡ್ವೇರ್ ಸಮಾನಾಂತರವಾಗಿ ಮುನ್ನಡೆಯುತ್ತಿದೆ: NVIDIA DGX Spark ನಂತಹ ಸಿಸ್ಟಮ್ಗಳು ಈಗ ಈ ಮಾದರಿಗಳನ್ನು ಸ್ಥಳೀಯವಾಗಿ ರನ್ ಮಾಡಬಹುದು. ಒಟ್ಟಾಗಿ, ಈ ಪ್ರವೃತ್ತಿಗಳು ವೆಬ್ ಹುಡುಕಾಟ, ಕನೆಕ್ಟರ್ಗಳು ಅಥವಾ ಕ್ಲೌಡ್-ಮಾದರಿಯ ಉನ್ನತೀಕರಣದಂತಹ ಬಾಹ್ಯ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಅಗತ್ಯವಿದ್ದಾಗ ಆಯ್ಕೆ ಮಾಡಲು ಬಳಕೆದಾರರಿಗೆ ಅವಕಾಶ ನೀಡುವಾಗ ಸಂಪೂರ್ಣವಾಗಿ ಆನ್-ಡೀವ್ಸ್ ಕಾರ್ಯಾಚರಣೆಯನ್ನು ಪ್ರಾಯೋಗಿಕವಾಗಿಸುತ್ತವೆ.
ಈ ಸ್ಥಳೀಯ-ಮೊದಲ ವಿಧಾನವು ಗಮನಾರ್ಹ ವೆಚ್ಚ ಉಳಿತಾಯವನ್ನು ಸಕ್ರಿಯಗೊಳಿಸುತ್ತದೆ, ಏಕೆಂದರೆ ಸ್ಥಳೀಯ ಅನುಮಾನವು ಪ್ರತಿ-ಟೋಕನ್ API ಶುಲ್ಕವನ್ನು ತಪ್ಪಿಸುತ್ತದೆ. ಇದು ಗೌಪ್ಯತೆ ಮತ್ತು ಬೌದ್ಧಿಕ ಆಸ್ತಿ ಕಾಳಜಿಗಳನ್ನು ಸಹ ಸ್ವಾಭಾವಿಕವಾಗಿ ಪರಿಹರಿಸುತ್ತದೆ: ಖಾಸಗಿ ಟೋಕನ್ಗಳನ್ನು ರಿಮೋಟ್ ಕ್ಲಸ್ಟರ್ಗಳಿಗೆ ಎಂದಿಗೂ ರವಾನಿಸುವ ಅಗತ್ಯವಿಲ್ಲ ಮತ್ತು ಸ್ಥಳೀಯ ಸಾಧನದ ಗಡಿಯೊಳಗೆ ಸುರಕ್ಷಿತವಾಗಿ ಉಳಿಯುತ್ತವೆ.
ಜೂನ್ನಲ್ಲಿ, ಯಾವ ಕೆಲಸವು ಆನ್-ಡೀವ್ಸ್ನಲ್ಲಿ ರನ್ ಆಗಬೇಕು ಮತ್ತು ಯಾವ ಕೆಲಸವು ಕ್ಲೌಡ್ನಲ್ಲಿರುವ ಏಜೆಂಟ್ಗಳಿಗೆ ಹೋಗಬೇಕು ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸುವ ಮೊದಲ ಹೈಬ್ರಿಡ್ ಸ್ಥಳೀಯ-ಸರ್ವರ್ ಅನುಮಾನ ಆರ್ಕೆಸ್ಟ್ರೇಟರ್ ಅನ್ನು ನಾವು ಪರಿಚಯಿಸಿದ್ದೇವೆ. ಹಾರ್ನೆಸ್ ಮತ್ತು ಪರಸ್ಪರ ಸಹ-ಆಪ್ಟಿಮೈಸ್ ಮಾಡಲಾದ ಮಾದರಿಗಳನ್ನು ಒಳಗೊಂಡಂತೆ ಅಂತಹ ಸ್ಥಳೀಯ-ಮೊದಲ ಏಜೆಂಟ್ ಅನ್ನು ನಾವು ಹೇಗೆ ನಿರ್ಮಿಸಿದ್ದೇವೆ ಎಂಬುದನ್ನು ಇಲ್ಲಿ ವಿವರಿಸುತ್ತೇವೆ.
ನಾವು ಪ್ರಮುಖ ವಿನ್ಯಾಸ ಆಯ್ಕೆಗಳ ಅವಲೋಕನವನ್ನು ನೀಡುತ್ತೇವೆ, ಮೂರು ಸಾರ್ವಜನಿಕ ಬೆಂಚ್ಮಾರ್ಕ್ಗಳು ಮತ್ತು ನಮ್ಮ ಆಂತರಿಕ ಸ್ಥಳೀಯ ಜ್ಞಾನ ಕೆಲಸದ ಬೆಂಚ್ನಲ್ಲಿ ಜನಪ್ರಿಯ ಮುಕ್ತ-ಮೂಲ ಸಾಮಾನ್ಯ-ಉದ್ದೇಶದ ಹಾರ್ನೆಸ್ಗಳಾದ (Hermes ಮತ್ತು Pi) ವಿರುದ್ಧ Computer ಅನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತೇವೆ. ನಮ್ಮ ಬೆಂಚ್ಮಾರ್ಕ್ನಲ್ಲಿ, NVIDIA DGX Spark ನಲ್ಲಿ ಚಾಲನೆಯಲ್ಲಿರುವ Qwen 3.8 27B ಮಾದರಿಯೊಂದಿಗೆ, Computer ಅತ್ಯಧಿಕ ಸ್ಕೋರ್ ಅನ್ನು ಸಾಧಿಸುತ್ತದೆ, Pi ಗ 77.6% ಮತ್ತು Hermes ಗ 74.0% ಗೆ ಹೋಲಿಸಿದರೆ 82.6%. Qwen 3.8 27B ಮೇಲೆ ಪೋಸ್ಟ್-ರೈಟ್ ಮಾಡಲಾದ ನಮ್ಮ ಮಾದರಿಯಾದ PPLX 27B, ಸ್ಕೋರ್ ಅನ್ನು ಮತ್ತಷ್ಟು 85.4% ಕ್ಕೆ ಹೆಚ್ಚಿಸುತ್ತದೆ.
ಸ್ಥಳೀಯ ಮಾದರಿಯ ಸುತ್ತ ಹಾರ್ನೆಸ್ ಅನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸಿ
ಕಾಂಪ್ಯಾಕ್ಟ್ ಆನ್-ಡೀವ್ಸ್ ಮಾದರಿಗಳು ಈಗಾಗಲೇ ಸಾಕಷ್ಟು ಸಮರ್ಥವಾಗಿದ್ದರೂ, ಅವು ಕಾರ್ಯಕ್ಷಮತೆಯಲ್ಲಿ ದೊಡ್ಡ ಫ್ರಾಂಟಿಯರ್ ಮಾದರಿಗಳಿಗಿಂತ ಇನ್ನೂ ಹಿಂದೆ ಇವೆ. ಈ ಮಾದರಿಗಳನ್ನು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಮುನ್ನಡೆಸಲು ಮತ್ತು ಅವುಗಳ ಮಿತಿಗಳನ್ನು ಪರಿಹರಿಸಲು ಎಚ್ಚರಿಕೆಯಿಂದ ವಿನ್ಯಾಸಗೊಳಿಸಿದ ಹಾರ್ನೆಸ್ ಅಗತ್ಯವಿದೆ.
Pi ಮತ್ತು Hermes ನಂತಹ ಜನಪ್ರಿಯ ಮುಕ್ತ-ಮೂಲ ಹಾರ್ನೆಸ್ಗಳು ಸಾಮಾನ್ಯವೆಂದು ಸಾಬೀತುಪಡಿಸಿವೆ: ಅವು ಗಾತ್ರಗಳು ಮತ್ತು ವರ್ಗಗಳಾದ್ಯಂತ ವಿವಿಧ ರೀತಿಯ ಮಾದರಿಗಳೊಂದಿಗೆ ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ. ಆದರೆ ಅವು ಆನ್-ಡೀವ್ಸ್ ಮಾದರಿಗಳ ಸಾಮರ್ಥ್ಯಗಳಿಗಾಗಿ ಆಪ್ಟಿಮೈಸ್ ಮಾಡಲಾಗಿಲ್ಲ. ನಾವು ಸ್ಥಳೀಯ ಹಾರ್ನೆಸ್ ಅನ್ನು ನಿರ್ದಿಷ್ಟವಾಗಿ ಈ ಸೆಟ್ಟಿಂಗ್ಗಾಗಿ, ಕೆಲವು ಪ್ರಮುಖ ತತ್ವಗಳ ಸುತ್ತ ವಿನ್ಯಾಸಗೊಳಿಸಿದ್ದೇವೆ.
ಸಂದರ್ಭ ದಕ್ಷತೆ
ನಮ್ಮ ಹಾರ್ನೆಸ್ ಅನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸುವಲ್ಲಿ ಮುಖ್ಯ ಗಮನವು ಮಾದರಿಯ ಸಂದರ್ಭವನ್ನು ಉತ್ತಮವಾಗಿ ಬಳಸುವುದಾಗಿದೆ.
Qwen 3.8 27B ನಂತಹ ಆನ್-ಡೀವ್ಸ್ ಮಾದರಿಗಳು 260K ಟೋಕನ್ಗಳ ಸಂದರ್ಭ ವಿಂಡೋಗಳನ್ನು ನೀಡುತ್ತವೆಯಾದರೂ, 100K ಟೋಕನ್ಗಳನ್ನು ಮೀರಿದಾಗ ಅವು ಹೆಣದಾಡಲು ಪ್ರಾರಂಭಿಸುತ್ತವೆ ಎಂದು ನಾವು ಅನುಭವದಿಂದ ಕಂಡುಕೊಂಡಿದ್ದೇವೆ. ಆದ್ದರಿಂದ ನಾವು ಕೋರ್ ಹಾರ್ನೆಸ್ ಅನ್ನು ಸಂಕ್ಷಿಪ್ತವಾಗಿರಿಸುತ್ತೇವೆ: ಕನಿಷ್ಠ ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್ ಮತ್ತು ಕೋರ್ ಪರಿಕರಗಳ ಸಣ್ಣ ಸೆಟ್.
ಎಲ್ಲಾ ಇತರ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಆನ್-ಡಿಮ್ಯಾಂಡ್ ಕೌಶಲ್ಯಗಳಾಗಿ ಮಾಡ್ಯುಲರೈಸ್ ಮಾಡಲಾಗಿದೆ, ಇವು ಪಥದಾದ್ಯಂತ ಲೋಡ್ ಆಗುತ್ತವೆ ಮತ್ತು ಅನ್ಲೋಡ್ ಆಗುತ್ತವೆ. ನಾವು ಈ ಕೌಶಲ್ಯಗಳನ್ನು ಸಾಮಾನ್ಯ ಜ್ಞಾನ-ಕೆಲಸದ ಕಾರ್ಯಗಳಿಗಾಗಿ ವಿನ್ಯಾಸಗೊಳಿಸಿದ್ದೇವೆ: ಸಂಶೋಧನೆ, ಡೇಟಾ ವಿಜ್ಞಾನ, ಡೇಟಾ ದೃಶ್ಯೀಕರಣ, ಡಾಕ್ಯುಮೆಂಟ್ ರಚನೆ, ಸಾಫ್ಟ್ವೇರ್ ಎಂಜಿನಿಯರಿಂಗ್ ಮತ್ತು ಇನ್ನಷ್ಟು.
ಹಾರ್ನೆಸ್ ಸಂದರ್ಭ ಸಂಕುಚಿತಗೊಳಿಸುವಿಕೆಯನ್ನು (context compaction) ಬೆಂಬಲಿಸುತ್ತದೆ, ಪಥವು ದೀರ್ಘವಾದಾಗ ಹಳಸಿದ ಸಂದರ್ಭವನ್ನು ಸಾರಾಂಶಗೊಳಿಸುತ್ತದೆ ಇದರಿಂದ ಮಾದರಿಯು ತನ್ನ ಪರಿಣಾಮಕಾರಿ ವಿಂಡೋದೊಳಗೆ ಇರುತ್ತದೆ.
ಕಮಾಂಡ್-ಲೈನ್ ಪರಿಕರಗಳಾಗಿ ಕನೆಕ್ಟರ್ಗಳು
ದೈನಂದಿನ ಜ್ಞಾನದ ಕೆಲಸಕ್ಕೆ প্রায়ই Gmail, GitHub, Outlook ಮತ್ತು Google Calendar ನಂತಹ ಕನೆಕ್ಟರ್ಗಳ ಅಗತ್ಯವಿರುತ್ತದೆ. ಇವುಗಳನ್ನು ಸಾಮಾನ್ಯವಾಗಿ ಹಾರ್ನೆಸ್ಗೆ MCP ಸರ್ವರ್ಗಳಾಗಿ ಬಹಿರಂಗಪಡಿಸಲಾಗುತ್ತದೆ, ಇವುಗಳ ದೊಡ್ಡ ಸಾಧನ ವ್ಯಾಖ್ಯಾನಗಳು ಸಂದರ್ಭದ ಗಣನೀಯ ಪಾಲನ್ನು ಬಳಸಿಕೊಳ್ಳುತ್ತವೆ. ಬದಲಾಗಿ, ನಾವು ಹೆಚ್ಚು ಬಳಸಿದ MCP ಗಳನ್ನು ಕಾಂಪ್ಯಾಕ್ಟ್, ಬಳಸಲು ಸುಲಭವಾದ ಕಮಾಂಡ್-ಲೈನ್ ಪರಿಕರಗಳಾಗಿ ಪರಿವರ್ತಿಸಿದ್ದೇವೆ, ಇದು ಮಿತಿಯಾದ ಪರಿಣಾಮಕಾರಿ ಸಂದರ್ಭವನ್ನು ಉತ್ತಮವಾಗಿ ಬಳಸುವ ಕಸ್ಟಮ್ ಕೌಶಲ್ಯಗಳೊಂದಿಗೆ ಪೂರಕವಾಗಿದೆ.
ಸ್ವಯಂ- ಪರಿಶೀಲನೆ
ಏಜೆಂಟ್ ತನ್ನ ಸ್ವಂತ ಕೆಲಸವನ್ನು ಪರಿಶೀಲಿಸಿದಾಗ ಕಾರ್ಯಕ್ಷಮತೆಯೂ ಸುಧಾರಿಸುತ್ತದೆ. ಪರಿಶೀಲನೆಯು ಹೆಚ್ಚುವರಿ ಹಂತಗಳನ್ನು ಸೇರಿಸುತ್ತದೆ, ಆದರೆ ಇದು ಅಂತಿಮ ಫಲಿತಾಂಶಗಳನ್ನು ಬಹಳಷ್ಟು ಸುಧಾರಿಸುತ್ತದೆ ಮತ್ತು ಫ್ರಾಂಟಿಯರ್ ಮಾದರಿಗಳಿಗೆ ಇರುವ ಅಂತರವನ್ನು ಗಣನೀಯವಾಗಿ ಕಡಿಮೆ ಮಾಡುತ್ತದೆ. ಇದನ್ನು ಸ್ವತಃ ಮಾದರಿಯಿಂದ ಅಥವಾ ಪಥದ ಆರೋಗ್ಯವನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡುವ ಮತ್ತು ಏನಾದರೂ ತಪ್ಪಾದಾಗ ಸ್ವಯಂ-ಪರಿಶೀಲನೆಯನ್ನು ಕೋರುವ ಹುಕ್ಗಳ ಸೆಟ್ನಿಂದ ಪ್ರಚೋದಿಸಬಹುದು.
ಸ್ಯಾಂಡ್ಬಾಕ್ಸ್ ಮಾಡಿದ ಕಾರ್ಯಗತಗೊಳಿಸುವಿಕೆ
ಹಾರ್ನೆಸ್ ಬಳಕೆದಾರರ ಸಾಧನದಲ್ಲಿ OS ಮಟ್ಟದ ಸ್ಯಾಂಡ್ಬಾಕ್ಸ್ನಲ್ಲಿ ಪರಿಕರಗಳನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸುತ್ತದೆ. ಗಡಿಯು ನೀತಿಗೆ ಅನುಗುಣವಾಗಿ ಪ್ರಕ್ರಿಯೆಗಳು, ಫೈಲ್ಸಿಸ್ಟಮ್ ಮಾರ್ಗಗಳು ಮತ್ತು ನೆಟ್ವರ್ಕ್ ಪ್ರವೇಶವನ್ನು ನಿರ್ಬಂಧಿಸುತ್ತದೆ. ಇದು ತಪ್ಪಾದ ಆಜ್ಞೆಯ ಸ್ಫೋಟ ತ್ರಿಜ್ಯವನ್ನು ಮಿತಿಗೊಳಿಸುತ್ತದೆ. ಸ್ಯಾಂಡ್ಬಾಕ್ಸ್ ಲಭ್ಯವಿಲ್ಲದಿದ್ದರೆ, ಸ್ಯಾಂಡ್ಬಾಕ್ಸ್ ಮಾಡದ ಕಾರ್ಯಗತಗೊಳಿಸುವಿಕೆಗೆ ಇಳಿಯುವ ಬದಲು ಹಾರ್ನೆಸ್ ಯಾವುದೇ ಸಾಧನ ಕಲ್ಗಳ ಮೊದಲು ತನ್ನನ್ನು ತಾನೇ ನಿಷ್ಕ್ರಿಯಗೊಳಿಸುತ್ತದೆ.
ಇದು Pi ಮತ್ತು Hermes ನಂತಹ ಮುಕ್ತ-ಮೂಲ ಹಾರ್ನೆಸ್ಗಳಿಂದ ಭಿನ್ನವಾಗಿದೆ, ಇದು ಪೂರ್ವನಿಯೋಜಿತವಾಗಿ ಬಳಕೆದಾರರ ಅನುಮತಿಗಳೊಂದಿಗೆ ನೇರವಾಗಿ ಆಜ್ಞೆಗಳನ್ನು ರನ್ ಮಾಡುತ್ತದೆ. Computer ನಲ್ಲಿ, ಪ್ರತ್ಯೇಕತೆಯು ಯಾವಾಗಲೂ ಆನ್ ಆಗಿರುತ್ತದೆ, ಯಾವುದೇ ಕಾನ್ಫಿಗರೇಶನ್ ಅಗತ್ಯವಿಲ್ಲ, ಮತ್ತು ಇದರಿಲ್ಲದೆ ಪರಿಕರಗಳು ರನ್ ಆಗಲು ಸಾಧ್ಯವಿಲ್ಲ.
ಕೆಳಗಿನ ರೇಖಾಚಿತ್ರವು ಈ ತತ್ವಗಳು ಕಾರ್ಯಗತಗೊಳಿಸುವ ಲೂಪ್ನಲ್ಲಿ ಹೇಗೆ ಒಂದಕ್ಕೊಂದು ಹೊಂದಿಕೊಳ್ಳುತ್ತವೆ ಎಂಬುದನ್ನು ತೋರಿಸುತ್ತದೆ. ಆರ್ಕೆಸ್ಟ್ರೇಟರ್ ಎನ್ನುವುದು ನಿರ್ಣಾಯಕ ಹಾರ್ನೆಸ್ ಕೋಡ್ ಆಗಿದೆ, LLM ಅಲ್ಲ: ಇದು ಲೂಪ್ ಅನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ, ಸಂದರ್ಭವನ್ನು ಜೋಡಿಸುತ್ತದೆ ಮತ್ತು ನೀತಿಯನ್ನು ಜಾರಿಗೆ ತರುತ್ತದೆ. ಸ್ಥಳೀಯ ಮಾದರಿಯು ಮುಂದಿನ ಕ್ರಿಯೆಯನ್ನು ಪ್ರಸ್ತಾಪಿಸುತ್ತದೆ; ಆರ್ಕೆಸ್ಟ್ರೇಟರ್ ಅನುಮೋದಿತ ಸಾಧನ ಕಲ್ಗಳನ್ನು ಸ್ಯಾಂಡ್ಬಾಕ್ಸ್ನಲ್ಲಿ ಕಾರ್ಯಗತಗೊಳಿಸುತ್ತದೆ ಮತ್ತು ಅವುಗಳ ಫಲಿತಾಂಶಗಳನ್ನು ಮಾದರಿಗೆ ಹಿಂತಿರುಗಿಸುತ್ತದೆ. ವೆಬ್ ಹುಡುಕಾಟ, ಕನೆಕ್ಟರ್ಗಳು ಮತ್ತು ಸಲಹೆಗಾರ ಕಲ್ಗಳು ಸಕ್ರಿಯಗೊಳಿಸಿದಾಗ ಮತ್ತು ಅನುಮೋದಿಸಿದಾಗ ಮಾತ್ರ ಸಾಧನದ ಗಡಿಯನ್ನು ದಾಟುತ್ತವೆ.
ಸ್ಥಳೀಯ ಹಾರ್ನೆಸ್ ಅದೇ ಮಾದರಿಯ ಹೆಚ್ಚಿನದನ್ನು ಮಾಡುತ್ತದೆ
ಅದೇ ಆನ್-ಡೀವ್ಸ್ ಬೇಸ್ ಮಾದರಿಯನ್ನು ಬಳಸಿ, ವೆಬ್ ಸಂಶೋಧನೆ ಮತ್ತು ಮಲ್ಟಿಮೋಡಲ್ ಡಾಕ್ಯುಮೆಂಟ್ ತಿಳುವಳಿಕೆಯ ಮೇಲೆ ನಾವು ನಮ್ಮ ಸ್ಥಳೀಯ ಹಾರ್ನೆಸ್ ಅನ್ನು ಸಾಮಾನ್ಯ-ಉದ್ದೇಶದ ಪರ್ಯಾಯಗಳೊಂದಿಗೆ ಹೋಲಿಸುತ್ತೇವೆ. ಎಲ್ಲಾ ಹಾರ್ನೆಸ್ಗಳು NVIDIA DGX Spark ನಲ್ಲಿ ಚಾಲನೆಯಲ್ಲಿರುವ ಮಧ್ಯಮ ತಾರ್ಕಿಕತೆಯೊಂದಿಗೆ Qwen 3.8 27B ಮಾದರಿಯನ್ನು ಬಳಸುತ್ತವೆ. ಈ ಹೋಲಿಕೆಯು ಯಾವುದೇ ಮಾದರಿ ಪೋಸ್ಟ್-ರೈನಿಂಗ್ಗೆ ಮುಂಚಿತವಾಗಿ, ಹಾರ್ನೆಸ್ ಸ್ವತಃ ನೀಡಿದ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಪ್ರತ್ಯೇಕಿಸುತ್ತದೆ.
ನಾವು ಈ ಎರಡು ಸಾಮರ್ಥ್ಯಗಳ ಮೇಲೆ ಗಮನ ಕೇಂದ್ರೀಕರಿಸುತ್ತೇವೆ ಏಕೆಂದರೆ ಜ್ಞಾನದ ಕೆಲಸವು প্রায়ই ಬಳಕೆದಾರರ ಸಾಧನದಲ್ಲಿರುವ ಖಾಸಗಿ ಡಾಕ್ಯುಮೆಂಟ್ಗಳನ್ನು ವೆಬ್ನಿಂದ ಸಾರ್ವಜನಿಕ ಮಾಹಿತಿಯೊಂದಿಗೆ ಸಂಯೋಜಿಸಿ ಆಧಾರಿತ ಆರ್ಟಿಫ್ಯಾಕ್ಟ್ ಅನ್ನು ಉತ್ಪಾದಿಸುತ್ತದೆ. ವೆಬ್ ಹುಡುಕಾಟಕ್ಕೆ ಸಂಪರ್ಕದ ಅಗತ್ಯವಿದೆ, ಆದರೆ ಮಾದರಿ ಅನುಮಾನ ಮತ್ತು ಖಾಸಗಿ-ಡಾಕ್ಯುಮೆಂಟ್ ಪ್ರಕ್ರಿಯೆಯು ಸ್ಥಳೀಯವಾಗಿ ಉಳಿಯುತ್ತದೆ. ಸ್ಥಳೀಯ ಫೈಲ್ಗಳು ಅಧಿಕೃತ ಮೂಲವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ, ಸಾರ್ವಜನಿಕ ಮೂಲಗಳು ಸಂದರ್ಭವನ್ನು ಸೇರಿಸುತ್ತವೆ ಮತ್ತು ಬಳಕೆದಾರರು ಸಂಪೂರ್ಣ ಆಫ್ಲೈನ್ ಕೆಲಸಕ್ಕಾಗಿ ವೆಬ್ ಹುಡುಕಾಟವನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ನಿಷ್ಕ್ರಿಯಗೊಳಿಸಬಹುದು.
ವೆಬ್ ಸಂಶೋಧನೆ
ಸ್ವತಂತ್ರ ಮೌಲ್ಯಮಾಪನಗಳಲ್ಲಿ ಉನ್ನತ ಸ್ಥಾನಗಳನ್ನು ಸಾಧಿಸಿರುವ Perplexity ನ ಹುಡುಕಾಟ ಎಂಜಿನ್ನೊಂದಿಗೆ ನಾವು ನಮ್ಮ ಸ್ಥಳೀಯ ಹಾರ್ನೆಸ್ ಅನ್ನು ನಿರ್ಮಿಸುತ್ತೇವೆ. ಹಾರ್ನೆಸ್ Search as Code ಇಂಟರ್ಫೇಸ್ ಮೂಲಕ ಅದನ್ನು ಪ್ರವೇಶಿಸುತ್ತದೆ.
ನಾವು 1,266 BrowseComp ಕಾರ್ಯಗಳಲ್ಲಿ ಸಂಶೋಧನಾ ಗುಣಮಟ್ಟವನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತೇವೆ. Computer ನಮ್ಮ ಸ್ಥಳೀಯ ಹಾರ್ನೆಸ್ನೊಂದಿಗೆ Perplexity ನ ಹುಡುಕಾಟ ಮೂಲಸೌಕರ್ಯವನ್ನು ಬಳಸುತ್ತದೆ, ಆದರೆ Pi ಮತ್ತು Hermes ತಮ್ಮ ಶಿಫಾರಸು ಮಾಡಿದ ಹುಡುಕಾಟ ಒದಗಿಸುವವರಾದ Brave ಅನ್ನು ಅವಲಂಬಿಸಿವೆ. Pi ಗ 50.2% ಮತ್ತು Hermes ಗ 43.9% ಗೆ ಹೋಲಿಸಿದರೆ Computer 66.7% ನಿಖರತೆಯನ್ನು ತಲುಪುತ್ತದೆ.
Computer ಅತ್ಯಂತ ಕಡಿಮೆ ಸರಾಸರಿ ದಾಖಲಾದ ವಾಲ್ ಸಮಯ ಮತ್ತು ಟೋಕನ್ ಬಳಕೆಯನ್ನು ಹೊಂದಿದೆ: ಪ್ರತಿ ಕಾರ್ಯಕ್ಕೆ 402.1 ಸೆಕೆಂಡುಗಳು ಮತ್ತು 852k ಟೋಕನ್ಗಳು, Hermes ಗ 1,020.9 ಸೆಕೆಂಡುಗಳು ಮತ್ತು 1.01 ಮಿಲಿಯನ್ ಟೋಕನ್ಗಳು ಮತ್ತು Pi ಗ 826.0 ಸೆಕೆಂಡುಗಳು ಮತ್ತು 2.82 ಮಿಲಿಯನ್ ಟೋಕನ್ಗಳಿಗೆ ಹೋಲಿಸಿದರೆ. ಆದ್ದರಿಂದ Computer ಯು Hermes ಗಿಂತ 61% ಕಡಿಮೆ ವಾಲ್ ಸಮಯ ಮತ್ತು 16% ಕಡಿಮೆ ಟೋಕನ್ಗಳನ್ನು ಬಳಸುತ್ತದೆ, ಮತ್ತು Pi ಗಿಂತ 51% ಕಡಿಮೆ ವಾಲ್ ಸಮಯ ಮತ್ತು 70% ಕಡಿಮೆ ಟೋಕನ್ಗಳನ್ನು ಬಳಸುತ್ತದೆ.
ಆನ್-ಡೀವ್ಸ್ ಮಲ್ಟಿಮೋಡಲ್ ಡಾಕ್ಯುಮೆಂಟ್ ತಿಳುವಳಿಕೆ
ಅನೇಕ ಡಾಕ್ಯುಮೆಂಟ್ಗಳು ದೃಷ್ಟಿಗೋಚರವಾಗಿ ಮಾಹಿತಿಯನ್ನು ಸಾಗಿಸುತ್ತವೆ ಮತ್ತು ಸಾದಾ ಪಠ್ಯವಾಗಿ পার্স ಮಾಡಲು ಕಷ್ಟವಾಗುತ್ತವೆ: PDF ಗಳು, ಸ್ಕ್ಯಾನ್ ಮಾಡಿದ ಪುಟಗಳು, ಸ್ಕ್ರೀನ್ಶಾಟ್ಗಳು, ಚಾರ್ಟ್ಗಳು ಮತ್ತು ಪ್ರೆಸೆಂಟೇಷನ್ಗಳು. ಈ ಕಾರ್ಯಪ್ರವಾಹಗಳು OCR ಮತ್ತು ಇಮೇಜ್ ತಿಳುವಳಿಕೆಯನ್ನು ಅವಲಂಬಿಸಿವೆ ಮತ್ತು ಸ್ಥಳೀಯವಾಗಿ ಮಲ್ಟಿಮೋಡಲ್ ಮಾದರಿಯಿಂದ ಹೆಚ್ಚು ಪ್ರಯೋಜನ ಪಡೆಯುತ್ತವೆ.
ಹಾರ್ನೆಸ್ ಡಾಕ್ಯುಮೆಂಟ್ ಪುಟಗಳು ಮತ್ತು ಚಿತ್ರಗಳನ್ನು ನೇರವಾಗಿ ಮಾದರಿಗೆ ರವಾನಿಸುತ್ತದೆ, ಇದು ಅವುಗಳನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುತ್ತದೆ ಮತ್ತು ಹೊರತೆಗೆಯಲಾದ ಪಠ್ಯದೊಂದಿಗೆ ದೃಶ್ಯ ಸಾಕ್ಷ್ಯವನ್ನು ಸಂಯೋಜಿಸುತ್ತದೆ. ಈ ಫೈಲ್ಗಳನ್ನು ಸಾಧನದಲ್ಲಿ ಪ್ರಕ್ರಿಯೆಗೊಳಿಸುವುದು ಸೂಕ್ಷ್ಮ ಡಾಕ್ಯುಮೆಂಟ್ಗಳು ಮತ್ತು ಅವುಗಳ ಹೊರತೆಗೆಯಲಾದ ವಿಷಯವನ್ನು ಖಾಸgiyಾಗಿ ಇರಿಸುತ್ತದೆ.
ಚಾರ್ಟ್ಗಳು, ಲೇಔಟ್, ಟೇಬಲ್ಗಳು, ಪಠ್ಯ ವಿಷಯ ಮತ್ತು ಫಾರ್ಮ್ಯಾಟಿಂಗ್ಗಾಗಿ ತಲಾ 20 ಕಾರ್ಯಗಳೊಂದಿಗೆ, ParseBench ಬೆಂಚ್ಮಾರ್ಕ್ನ 100-ಕಾರ್ಯ ಉಪವಿಭಾಗವಾದ ParseBench-100 ನಲ್ಲಿ ನಾವು ಮಲ್ಟಿಮೋಡಲ್ ಡಾಕ್ಯುಮೆಂಟ್ ತಿಳುವಳಿಕೆಯನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತೇವೆ.
Hermes ಗ 34.6% ಮತ್ತು Pi ಗ 13.9% ಗೆ ಹೋಲಿಸಿದರೆ Computer 65.1% ನ ಸರಾಸರಿ ಸ್ಕೋರ್ ಅನ್ನು ತಲುಪುತ್ತದೆ. ಇದು ಕಡಿಮೆ ಸಮಯ ಮತ್ತು ಕಡಿಮೆ ಟೋಕನ್ಗಳೊಂದಿಗೆ ಕಾರ್ಯಗಳನ್ನು ಪೂರ್ಣಗೊಳಿಸುತ್ತದೆ: ಪ್ರತಿ ಕಾರ್ಯಕ್ಕೆ ಸರಾಸರಿ 60.6 ಸೆಕೆಂಡುಗಳು ಮತ್ತು 20.1k ಟೋಕನ್ಗಳು, Hermes ಗ 108.3 ಸೆಕೆಂಡುಗಳು ಮತ್ತು 32.1k ಟೋಕನ್ಗಳು ಮತ್ತು Pi ಗ 410.5 ಸೆಕೆಂಡುಗಳು ಮತ್ತು 829.1k ಟೋಕನ್ಗಳಿಗೆ ಹೋಲಿಸಿದರೆ. Computer ಎಲ್ಲಾ ಐದು ಡಾಕ್ಯುಮೆಂಟ್ ವರ್ಗಗಳಲ್ಲಿ ಮುಂಚೂಡಿಯಲ್ಲಿದೆ, ಚಾರ್ಟ್ಗಳಲ್ಲಿ ಇದರ ಅತಿ ದೊಡ್ಡ ಅನುಕೂಲವಿದೆ. ಎಲ್ಲಾ ಮೂರು ಹಾರ್ನೆಸ್ಗಳಿಗೆ ಲೇಔಟ್ ಕಷ್ಟಕರವಾಗಿದೆ.
ಕೋಷ್ಟಕ 1. ಆನ್-ಡೀವ್ಸ್ Qwen 3.8 27B ಮಾದರಿಯೊಂದಿಗೆ Computer, Hermes ಮತ್ತು Pi ಹಾರ್ನೆಸ್ಗಳಿಗಾಗಿ ಡಾಕ್ಯುಮೆಂಟ್ ವರ್ಗದ ಮೂಲಕ ParseBench-100 ಸರಾಸರಿ ಸ್ಕೋರ್. Computer ಎಲ್ಲಾ ಐದು ವರ್ಗಗಳಲ್ಲಿ ಮುಂಚೂಡಿಯಲ್ಲಿದೆ.
ಹಾರ್ನೆಸ್ | ಚಾರ್ಟ್ | ಲೇಔಟ್ | ಕೋಷ್ಟಕ | ಪಠ್ಯ ವಿಷಯ | ಫಾರ್ಮ್ಯಾಟಿಂಗ್ |
Computer | 76.5% | 16.2% | 72.7% | 87.9% | 72.4% |
Hermes | 29.3% | 2.9% | 44.1% | 61.5% | 35.2% |
Pi | 2.5% | 0.1% | 11.0% | 29.7% | 26.1% |
ಸಲಹೆಗಾರ ಉನ್ನತೀಕರಣದೊಂದಿಗೆ ಫ್ರಾಂಟಿಯರ್ ಅಂತರವನ್ನು ಕಡಿಮೆ ಮಾಡುವುದು
ಎಚ್ಚರಿಕೆಯಿಂದ ವಿನ್ಯಾಸಗೊಳಿಸಿದ ಹಾರ್ನೆಸ್ನೊಂದಿಗೆ ಸಹ, ಕಷ್ಟಕರವಾದ ಕಾರ್ಯಗಳು ಇನ್ನೂ ಕಾಂಪ್ಯಾಕ್ಟ್ ಆನ್-ಡೀವ್ಸ್ ಮಾದರಿಯ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಮೀರಿವೆ. ಅಂತಹ ಕಾರ್ಯಗಳಿಗಾಗಿ, ಹಾರ್ನೆಸ್ ಸಲಹೆಗಾರ ಸಾಧನವನ್ನು ಬಹಿರಂಗಪಡಿಸುತ್ತದೆ: ಸ್ಥಳೀಯ ಮಾದರಿಯು ಯೋಜನೆ, ಅಸ್ಪಷ್ಟತೆಯನ್ನು ಪರಿಹರಿಸುವುದು, ಪುನರಾವರ್ತಿತ ವೈಫಲ್ಯಗಳಿಂದ ಚೇತರಿಸಿಕೊಳ್ಳುವುದು ಅಥವಾ ಅಂತಿಮ ಫಲಿತಾಂಶವನ್ನು ಪರಿಶೀಲಿಸುವಲ್ಲಿ ಸಹಾಯ ಬೇಕಾದಾಗ ಬಲವಾದ ಫ್ರಾಂಟಿಯರ್ ಮಾದರಿಯನ್ನು ಸಂಪರ್ಕಿಸಬಹುದು.
ಸ್ಥಳೀಯ ಮಾದರಿಯು ಸಲಹೆಯನ್ನು ಯಾವಾಗ ವಿನಂತಿಸಬೇಕು ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸುತ್ತದೆ, ಆದರೆ ಹಾರ್ನೆಸ್ ಆರ್ಕೆಸ್ಟ್ರೇಟರ್ ಸಾಧನ ಅಧಿಕಾರವನ್ನು ಉಳಿಸಿಕೊಳ್ಳುತ್ತದೆ ಮತ್ತು ಯಾವ ಸಂದರ್ಭವನ್ನು ಕಳುಹಿಸಲಾಗಿದೆ ಎಂಬುದನ್ನು ನಿಯಂತ್ರಿಸುತ್ತದೆ. ಉನ್ನತೀಕರಣವು ಐಚ್ಛಿಕವಾಗಿರುತ್ತದೆ. ಅದನ್ನು ಸಕ್ರಿಯಗೊಳಿಸಬೇಕೆ ಮತ್ತು ಪ್ರತಿ ಸಲಹೆಗಾರ ಕಲ್ ಅನ್ನು ಕೈಯಾರೆ ಅಥವಾ ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಅನುಮೋದಿಸಬೇಕೆ ಎಂಬುದನ್ನು ಬಳಕೆದಾರರು ನಿರ್ಧರಿಸುತ್ತಾರೆ.
ಸಲಹೆಗಾರ ಕಲ್ಗೆ ಮೊದಲು, ಹಾರ್ನೆಸ್ ಸಂಬಂಧಿತ ಸಂದರ್ಭವನ್ನು ಆಯ್ಕೆ ಮಾಡುತ್ತದೆ, ಸೂಕ್ಷ್ಮ ಮಾಹಿತಿಯನ್ನು ಫ್ಲ್ಯಾಗ್ ಮಾಡಲು PII ವರ್ಗೀಕರಣಕಾರರನ್ನು ಅನ್ವಯಿಸುತ್ತದೆ ಮತ್ತು ಸಾಧನವನ್ನು ಯಾವುದು ಬಿಡುತ್ತದೆ ಎಂಬುದನ್ನು ಬಳಕೆದಾರರಿಗೆ ತೋರಿಸುತ್ತದೆ. ಸಲಹೆಗಾರನು ಅನುಮೋದಿತ ಸಂದರ್ಭವನ್ನು ಮಾತ್ರ ಸ್ವೀಕರಿಸುತ್ತಾನೆ ಮತ್ತು ಪಠ್ಯ ಮಾರ್ಗದರ್ಶನವನ್ನು ಹಿಂದಿರುಗಿಸುತ್ತಾನೆ; ಇದು ಸಾಧನದ ಫೈಲ್ಗಳು, ಪರಿಕರಗಳು ಅಥವಾ ಸಂಭಾಷಣೆಗಳಿಗೆ ನೇರ ಪ್ರವೇಶವನ್ನು ಹೊಂದಿಲ್ಲ. ಇದು ವೆಚ್ಚ ಮತ್ತು ಗೌಪ್ಯತೆ ಎರಡನ್ನೂ ಸುಧಾರಿಸುತ್ತದೆ, ಮತ್ತು ಭವಿಷ್ಯದ ಕೆಲಸದಲ್ಲಿ ಈ ದಿಕ್ಕನ್ನು ಮತ್ತಷ್ಟು ಅನ್ವೇಷಿಸಲು ನಾವು ಯೋಜಿಸುತ್ತೇವೆ.
ನಾವು ಈ ವಿಧಾನವನ್ನು ಸವಾಲಿನ ಸಾಫ್ಟ್ವೇರ್ ಎಂಜಿನಿಯರಿಂಗ್ ಕಾರ್ಯಗಳ ಮೇಲೆ ಪರೀಕ್ಷಿಸುತ್ತೇವೆ, ಇವುಗಳಿಗೆ ಬಲವಾದ ತಾರ್ಕಿಕತೆ ಅಗತ್ಯವಿರುತ್ತದೆ ಮತ್ತು ಸ್ಥಳೀಯ ಮಾದರಿಯು ಹೆಚ್ಚಾಗಿ ಕಡಿಮೆ ಬೀಳುವ ಸ್ಥಳವಾಗಿದೆ. ಇದಕ್ಕಾಗಿ ನಾವು ಕೋಡಿಂಗ್ ಏಜೆಂಟ್ಗಳಿಗಾಗಿ ಜನಪ್ರಿಯ 89-ಕಾರ್ಯ ಬೆಂಚ್ಮಾರ್ಕ್ ಆಗಿರುವ Terminal Bench 2.1 ಅನ್ನು ಬಳಸುತ್ತೇವೆ.
ನಾವು ಎರಡು ಪ್ರಶ್ನೆಗಳಿಗೆ ಉತ್ತರಿಸಲು ಬಯಸುತ್ತೇವೆ: ಫ್ರಾಂಟಿಯರ್ ಮಾದರಿಗೆ ಇರುವ ಅಂತರವನ್ನು ಸಲಹೆಗಾರ ಉನ್ನತೀಕರಣವು ಎಷ್ಟು ಮುಚ್ಚಬಹುದು ಮತ್ತು ಯಾವ ವೆಚ್ಚದಲ್ಲಿ. ಸಂಪೂರ್ಣ ಸ್ಥಳೀಯ ಮಾದರಿಗಳು ರನ್ ಮಾಡಲು ವಾಸ್ತವಿಕವಾಗಿ ಯಾವುದೇ ವೆಚ್ಚವಾಗುವುದಿಲ್ಲ, ಏಕೆಂದರೆ ಅನುಮಾನವು ಬಳಕೆದಾರರ ಹಾರ್ಡ್ವೇರ್ನಲ್ಲಿ ಸಂಭವಿಸುತ್ತದೆ. ಆದಾಗ್ಯೂ, ಮಾದರಿಯು ಸಲಹೆಗಾರರನ್ನು ಕರೆಯಲು ಪ್ರಾರಂಭಿಸಿದ ನಂತರ, ಇದು API ವೆಚ್ಚಗಳನ್ನು incurs ಮಾಡಲು ಪ್ರಾರಂಭಿಸುತ್ತದೆ.
ಫ್ರಾಂಟಿಯರ್ ಕಾರ್ಯಕ್ಷಮತೆಗೆ ಆಧಾರವಾಗಿ, ನಾವು ಸ್ಥಳೀಯ ಹಾರ್ನೆಸ್ನಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸುವ Claude Opus 5 ಅನ್ನು ಬಳಸುತ್ತೇವೆ; ಸ್ಥಳೀಯ ಮಾದರಿ Qwen 3.8 27B ಆಗಿದೆ. ಅಂತಿಮವಾಗಿ, ನಾವು ಎರಡನ್ನು ಜೋಡಿಸುತ್ತೇವೆ: Qwen 3.8 27B ಕಾರ್ಯವನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸುತ್ತದೆ ಮತ್ತು ಸಹಾಯ ಬೇಕಾದಾಗ Claude Opus 5 ಸಲಹೆಗಾರನಿಗೆ ಉನ್ನತೀಕರಿಸುತ್ತದೆ. ನಾವು Pi ಅಥವಾ Hermes ನೊಂದಿಗೆ ಸಲಹೆಗಾರ ಉನ್ನತೀಕರಣವನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುವುದಿಲ್ಲ ಏಕೆಂದರೆ ಯಾರೂ ಸಮಾನವಾದ ಸಲಹೆಗಾರ ಸಾಧನವನ್ನು ಒದಗಿಸುವುದಿಲ್ಲ; ಒಂದನ್ನು ಸೇರಿಸಲು ಅದರ ಸಾಧನ ಮೇಲ್ಮೈ ಮತ್ತು ಆರ್ಕೆಸ್ಟ್ರೇಷನ್ ತರ್ಕವನ್ನು ಮಾರ್ಪಡಿಸುವ ಅಗತ್ಯವಿರುತ್ತದೆ, ಆದ್ದರಿಂದ ಫಲಿತಾಂಶವು ಇನ್ನು ಮುಂದೆ ಆಫ್-ದಿ-ಶೆಲ್ಫ್ ಹಾರ್ನೆಸ್ ಅನ್ನು ಪ್ರತಿನಿಧಿಸುವುದಿಲ್ಲ.
ಸಲಹೆಗಾರ ಉನ್ನತೀಕರಣವು Computer ನ ಸ್ಕೋರ್ ಅನ್ನು 59.6% ರಿಂದ 73.0% ಕ್ಕೆ ಹೆಚ್ಚಿಸುತ್ತದೆ, ಪ್ರತಿ ರೌಲ್ಔಟ್ಗೆ ಅಂದಾಸು API ವೆಚ್ಚ $0.415 ನಲ್ಲಿ 13.5 ಶೇಕಡಾವಾರು ಅಂಕಗಳ ಲಾಭವಾಗಿದೆ. Claude Opus 5 ಅನ್ನು ಮಾತ್ರ ರನ್ ಮಾಡುವುದರಿಂದ ಪ್ರತಿ ರೌಲ್ಔಟ್ಗೆ $0.65 ರಲ್ಲಿ 82.4% ತಲುಪುತ್ತದೆ. ಹೀಗಾಗಿ ಉನ್ನತೀಕರಣವು ಫ್ರಾಂಟಿಯರ್ ವೆಚ್ಚದ ಸುಮಾರು ಮೂರನೇ ಎರಡರಷ್ಟು ಭಾಗದಲ್ಲಿ ಫ್ರಾಂಟಿಯರ್ನ ಅಂತರದ ಸರಿಸುಮಾರು ಐದನೇ ಮೂರರಷ್ಟು ಭಾಗವನ್ನು ಮರಳಿ ಪಡೆಯುತ್ತದೆ, ಮತ್ತು ಆ ವ್ಯಾಪಾರವು ಮಾಡಲು ಯೋಗ್ಯವಾಗಿದೆಯೇ ಎಂದು ಬಳಕೆದಾರರು ನಿರ್ಧರಿಸುತ್ತಾರೆ.
ಹಾರ್ನೆಸ್ ಮತ್ತು ಜ್ಞಾನ ಕೆಲಸಕ್ಕಾಗಿ ಪೋಸ್ಟ್-ರೈನಿಂಗ್
ಇಲ್ಲಿಯವರೆಗೆ, ಹಾರ್ನೆಸ್ ಕೊಡುಗೆ ನೀಡುವುದನ್ನು ಪ್ರತ್ಯೇಕಿಸಲು ನಾವು ಸ್ಥಳೀಯ ಮಾದರಿಯನ್ನು ಬದಲಾಯಿಸದೆ ಇರಿಸಿದ್ದೇವೆ. ಹಾರ್ನೆಸ್ ವಿನ್ಯಾಸವು ಸ್ಥಳದಲ್ಲಿದ್ದಾಗ, ಉಳಿದಿರುವ ದೊಡ್ಡ ಲಾಭಗಳು ಮಾದರಿಯನ್ನೇ ಅಳವಡಿಸಿಕೊಳ್ಳುವುದರಿಂದ ಬರುತ್ತವೆ. Perplexity Computer ಬಳಕೆಯ ಡೇಟಾವು ಜನರು ಜ್ಞಾನದ ಕೆಲಸಕ್ಕಾಗಿ ವಾಸ್ತವವಾಗಿ ಏನು ಮಾಡುತ್ತಾರೆ ಎಂಬುದನ್ನು ನಮಗೆ ತೋರಿಸುತ್ತದೆ, ಇದನ್ನು ನಾವು ತರಬೇತಿ ಡೇಟಾವನ್ನು ಸಂಶ್ಲೇಷಿಸಲು ಬಳಸುತ್ತೇವೆ. ಬಳಕೆದಾರರು ನಿರ್ವಹಿಸುವ ಕಾರ್ಯಗಳ ನೈಜ ವಿತರಣೆಯಿಂದ ಮಾರ್ಗದರ್ಶಿಸಲ್ಪಟ್ಟು, ನಾವು Computer ಹಾರ್ನೆಸ್ ಒಳಗೆ ಸ್ಥಳೀಯ ಮಾದರಿಯನ್ನು ಪೋಸ್ಟ್-ರೈಟ್ ಮಾಡುತ್ತೇವೆ.
ನಿರ್ದಿಷ್ಟವಾಗಿ ಹೇಳುವುದಾದರೆ, ವಿವಿಧ ಮಾದರಿ ಸಾಮರ್ಥ್ಯಗಳು, ಪರಿಕರಗಳು ಮತ್ತು ಕನೆಕ್ಟರ್ಗಳನ್ನು ವ್ಯಾಯಾಮ ಮಾಡುವ ವೈವಿಧ್ಯಮಯ ಬಳಕೆಯ ಪ್ರಕರಣಗಳನ್ನು ನಾವು ಗುರುತಿಸುತ್ತೇವೆ. ಈ ಬಳಕೆಯ ಪ್ರಕರಣಗಳಿಂದ ನಾವು ವಾಸ್ತವಿಕ ಬಲವರ್ಧನೆಯ ಕಲಿಕೆಯ ಪರಿಸರಗಳನ್ನು ಸಂಶ್ಲೇಷಿಸುತ್ತೇವೆ ಮತ್ತು ಸವಾಲಿನ ಆದರೆ ಪರಿಶೀಲಿಸಬಹುದಾದ ಕಾರ್ಯಗಳನ್ನು ವ್ಯಾಖ್ಯಾನಿಸುತ್ತೇವೆ: ಪ್ರತಿ ಕಾರ್ಯವು ಸೂಚನೆ, ಪರಿಸರ ಮತ್ತು ಅಂತಿಮ ಫಲಿತಾಂಶವನ್ನು ಸ್ಕೋರ್ ಮಾಡುವ ಪರಿಶೀಲಕವನ್ನು ಒಳಗೊಂಡಿರುತ್ತದೆ, ಇಲ್ಲಿ ಪರಿಸರವು ಹಾರ್ನೆಸ್ ಕಾರ್ಯನಿರ್ವಹಿಸುವ Docker ಕಂಟೈನರ್ ಆಗಿದೆ. ಮುಖ್ಯವಾಗಿ, ಕಾರ್ಯಗಳು ಸಿಂಥೆಟಿಕ್ ಆಗಿರುವುದರಿಂದ, ಅವು ಯಾವುದೇ ನೈಜ ಡಾಕ್ಯುಮೆಂಟ್ಗಳು ಅಥವಾ ಬಳಕೆದಾರರ ಮಾಹಿತಿಯನ್ನು ಹೊಂದಿರುವುದಿಲ್ಲ.
ಎರಡು ಹಂತದ ತರಬೇತಿಗಾಗಿ ನಾವು ಈ ಪರಿಸರಗಳನ್ನು ಬಳಸುತ್ತೇವೆ: ತಿರಸ್ಕಾರ ಸೂಕ್ಷ್ಮ-ಟ್ಯೂನಿಂಗ್ ನಂತರ ಬಲವರ್ಧನೆಯ ಕಲಿಕೆ. ಮೊದಲ ಹಂತದಲ್ಲಿ, ನಾವು ಪ್ರತಿ ಕಾರ್ಯದ ವಿರುದ್ಧ ಮಾದರಿಯನ್ನು ಅನೇಕ ಬಾರಿ ರೋಲ್ಔಟ್ ಮಾಡುತ್ತೇವೆ, ಪರಿಶೀಲಕ ಸ್ಕೋರ್ ಮೂಲಕ ಉತ್ತಮ ಪಥಗಳನ್ನು ಆಯ್ಕೆ ಮಾಡುತ್ತೇವೆ ಮತ್ತು ಮೇಲ್ವಿಚಾರಣೆಯ ಕಲಿಕೆಯೊಂದಿಗೆ ಅವುಗಳ ಮೇಲೆ ತರಬೇತಿ ನೀಡುತ್ತೇವೆ. ಈ ಹಂತವು ನಿರ್ದಿಷ್ಟ ಹಾರ್ನೆಸ್ ಮತ್ತು ಕಾರ್ಯ ವಿತರಣೆಗಾಗಿ ಮಾದರಿಯನ್ನು ಪ್ರಾರಂಭಿಸುತ್ತದೆ. ಎರಡನೇ ಹಂತದಲ್ಲಿ, ಬಲವರ್ಧನೆಯ ಕಲಿಕೆಯು ಮಾದರಿಯನ್ನು ಮತ್ತಷ್ಟು ಉತ್ತಮ-ಟ್ಯೂನ್ ಮಾಡುತ್ತದೆ, ಅದನ್ನು ಹೆಚ್ಚು ದೃಢವಾಗಿಸುತ್ತದೆ.
ಕಾರ್ಯಗಳ ಉಪವಿಭಾಗವನ್ನು ತರಬೇತಿಯಿಂದ ತಡೆಹಿಡಿಯಲಾಗುತ್ತದೆ ಮತ್ತು ಅಂತಿಮ ಮೌಲ್ಯಮಾಪನಕ್ಕಾಗಿ ಬಳಸಲಾಗುತ್ತದೆ; ನಾವು ಈ ತಡೆಹಿಡಿಯಲಾದ ಸೆಟ್ ಅನ್ನು ಸ್ಥಳೀಯ ಜ್ಞಾನ ಕೆಲಸದ ಬೆಂಚ್ ಎಂದು ಕರೆಯುತ್ತೇವೆ: ಆಳವಾದ ಸಂಶೋಧನೆಯಿಂದ ಡಾಕ್ಯುಮೆಂಟ್ ರಚನೆಯವರೆಗೆ ದೈನಂದಿನ ಜ್ಞಾನದ ಕೆಲಸದ ಏಳು ವರ್ಗಗಳನ್ನು ವ್ಯಾಪಿಸಿರುವ 53 ಕಾರ್ಯಗಳು. ಮಾದರಿ ತರಬೇತಿಯನ್ನು ವಿವರವಾಗಿ ವಿವರಿಸುವ ತಾಂತ್ರಿಕ ವರದಿಯನ್ನು ನಾವು ಶೀಘ್ರದಲ್ಲೇ ಪ್ರಕಟಿಸುತ್ತೇವೆ ಮತ್ತು ಈ ಮೌಲ್ಯಮಾಪನ ಬೆಂಚ್ಮಾರ್ಕ್ ಅನ್ನು ಮುಕ್ತ-ಮೂಲ ಮಾಡಲು ನಾವು ಯೋಜಿಸುತ್ತೇವೆ.
ಈ ವಿಧಾನದೊಂದಿಗೆ ನಾವು Qwen 3.8 27B ಅನ್ನು ಪೋಸ್ಟ್-ರೈಟ್ ಮಾಡಿದ್ದೇವೆ, PPLX 27B ಎಂದು ನಾವು ಕರೆಯುವ ಮಾದರಿಯನ್ನು ಉತ್ಪಾದಿಸುತ್ತೇವೆ ಮತ್ತು ಸ್ಥಳೀಯ ಜ್ಞಾನ ಕೆಲಸದ ಬೆಂಚ್ನಲ್ಲಿ ಅದನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಿದ್ದೇವೆ. ಬೇಸ್ Qwen 3.8 27B ಮಾದರಿಯೊಂದಿಗೆ, Computer ಅತ್ಯಧಿಕ ಸ್ಕೋರ್ ಅನ್ನು ಸಾಧಿಸುತ್ತದೆ (82.6%, Pi ಗ 77.6% ಮತ್ತು Hermes ಗ 74.0% ಗೆ ಹೋಲಿಸಿದರೆ) ಮತ್ತು ಕಡಿಮೆ ಟೋಕನ್ಗಳನ್ನು ಬಳಸುತ್ತದೆ (520k, Pi ಗ 681k ಮತ್ತು Hermes ಗ 634k ಗೆ ಹೋಲಿಸಿದರೆ). Pi ಪ್ರತಿ ಕಾರ್ಯಕ್ಕೆ 218 ಸೆಕೆಂಡುಗಳಿಗೆ Computer ಮತ್ತು Hermes ಗ 292 ಸೆಕೆಂಡುಗಳಿಗೆ ಹೋಲಿಸಿದರೆ ಪ್ರತಿ ಕಾರ್ಯಕ್ಕೆ 176 ಸೆಕೆಂಡುಗಳಲ್ಲಿ ಕಾರ್ಯಗಳನ್ನು ವೇಗವಾಗಿ ಪೂರ್ಣಗೊಳಿಸುತ್ತದೆ. PPLX 27B ಯು Computer ನ ಸ್ಕೋರ್ ಅನ್ನು 85.4% ಕ್ಕೆ ಹೆಚ್ಚಿಸುತ್ತದೆ, ಹೆಚ್ಚಿನ ಟೋಕನ್ಗಳ ವೆಚ್ಚದಲ್ಲಿ (520k ಗೆ ಹೋಲಿಸಿದರೆ 678k). ಇದರ ಅಂದಾಜು ವಾಲ್ ಸಮಯ 250 ಸೆಕೆಂಡುಗಳು.
ಕೋಷ್ಟಕ 2. ಸ್ಥಳೀಯ ಜ್ಞಾನ ಕೆಲಸದ ಬೆಂಚ್ ಕಾರ್ಯ ವರ್ಗಗಳು.
ವರ್ಗ | ಕಾರ್ಯಗಳು | ಪಾಲು | ವಿವರಣೆ |
ಆಳಗಿನ ಸಂಶೋಧನೆ | 20 | 37.7% | ಮಲ್ಟಿ-ಹಾಪ್ ವೆಬ್ ಸಂಶೋಧನೆ, ಸಾರ್ವಜನಿಕ ಡೇಟಾಸೆಟ್ಗಳು, ಅಂಕಿಅಂಶಗಳು ಮತ್ತು ಮೂಲ ಪರಿಶೀಲನೆ ಅಗತ್ಯವಿರುವ ಸಂಕೀರ್ಣ ಪ್ರಶ್ನೆಗಳಿಗೆ ಉತ್ತರಿಸಿ. |
ಡೇಟಾ, ಹಣಕಾಸು ಮತ್ತು ಸಂಗ್ರಹಣೆ | 9 | 17.0% | ಡೇಟಾಸೆಟ್ಗಳನ್ನು ಸ್ವಚ್ಛಗೊಳಿಸಿ, ದಾಖಲೆಗಳನ್ನು ಹೊಂದಿಸಿ, ವೆಚ್ಚಗಳನ್ನು ಲೆಕ್ಕಪರಿಶೋಧಿಸಿ, ಹೂಡಿಕೆಗಳನ್ನು ವಿಶ್ಲೇಷಿಸಿ, ಪೂರೈಕೆದಾರರನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಿ ಮತ್ತು ಹಣಕಾಸಿನ ಮೆಟ್ರಿಕ್ಗಳನ್ನು ಲೆಕ್ಕಹಾಕಿ. |
ಡಾಕ್ಯುಮೆಂಟ್ಗಳು, ಪ್ರೆಸೆಂಟೇಷನ್ಗಳು ಮತ್ತು ವಿನ್ಯಾಸ | 7 | 13.2% | ಪಾಲಿಶ್ ಮಾಡಿದ PDF ಗಳು, ಇನ್ವಾಯ್ಸ್ಗಳು, ಆನ್ಬೋರ್ಡಿಂಗ್ ಸಾಮಗ್ರಿಗಳು, ಈವೆಂಟ್ ಕೊಲಾಟರಲ್ ಮತ್ತು ವ್ಯಾಪಾರ ಪ್ರೆಸೆಂಟೇಷನ್ಗಳನ್ನು ಉತ್ಪಾದಿಸಿ. |
ಎಂಜಿನಿಯರಿಂಗ್, IT ಮತ್ತು ಘಟನೆಗಳು | 5 | 9.4% | ಘಟನೆಗಳನ್ನು ತನಿಖೆ ಮಾಡಿ, ಲಾಗ್ಗಳನ್ನು ವಿಶ್ಲೇಷಿಸಿ, ಚೇತರಿಕೆ ಯೋಜನೆಗಳನ್ನು ಬರೆಯಿರಿ, ಬಿಡುಗಡೆ ಸಿದ್ಧತೆಯನ್ನು ನಿರ್ಣಯಿಸಿ ಮತ್ತು ತಾಂತ್ರಿಕ ದಸ್ತಾವೇಜನ್ನು ಸಂಶ್ಲೇಷಿಸಿ. |
ಒಪ್ಪಂದಗಳು, ಸಾಕ್ಷ್ಯ ಮತ್ತು ಅನುಸರಣೆ | 5 | 9.4% | ಒಪ್ಪಂದಗಳನ್ನು ಪರಿಶೀಲಿಸಿ, ಸಾಕ್ಷ್ಯಗಳನ್ನು ಸ್ಕ್ರೀನ್ ಮಾಡಿ, ಮರುಪಡೆಯುವಿಕೆಗಳನ್ನು ತನಿಖೆ ಮಾಡಿ, ಸೂಕ್ಷ್ಮ ಡಾಕ್ಯುಮೆಂಟ್ಗಳನ್ನು ರೆಡ್ಯಾಕ್ಟ್ ಮಾಡಿ ಮತ್ತು ಅನುಸರಣೆ ಅವಶ್ಯಕತೆಗಳನ್ನು ಪರಿಶೀಲಿಸಿ. |
ಡ್ಯಾಶ್ಬೋರ್ಡ್ಗಳು, ಸಾಫ್ಟ್ವೇರ್ ಮತ್ತು ದೃಶ್ಯೀಕರಣ | 4 | 7.5% | ಸಂವಾದಾತ್ಮಕ ಡ್ಯಾಶ್ಬೋರ್ಡ್ಗಳು, ಶೈಕ್ಷಣಿಕ ಮೈಕ್ರೋಸೈಟ್ಗಳು, ಚಾರ್ಟ್ಗಳು ಮತ್ತು ಪ್ರಾಜೆಕ್ಟ್ ದೃಶ್ಯೀಕರಣಗಳನ್ನು ನಿರ್ಮಿಸಿ. |
ಜನರು, ಯೋಜನೆಗಳು ಮತ್ತು ಸಭೆಗಳು | 3 | 5.7% | ಪುನರಾರಂಭಗಳನ್ನು ಸ್ಕ್ರೀನ್ ಮಾಡಿ, ಸಭೆಯ ನಿರ್ಧಾರಗಳನ್ನು ಕ್ರೋಢೀಕರಿಸಿ ಮತ್ತು ಪ್ರಾಜೆಕ್ಟ್ ಆಕ್ಷನ್ ಟ್ರ್ಯಾಕರ್ಗಳನ್ನು ನಿರ್ವಹಿಸಿ. |
ಒಟ್ಟು | 53 | 100% |
ತೀರ್ಮಾನ
ಸೂಕ್ಷ್ಮ ಡೇಟಾವು ಸಾಧನವನ್ನು ತೊರೆಯುವ ಅಗತ್ಯವಿಲ್ಲದೆ ಸಮರ್ಥ ಸ್ಥಳೀಯ ಹಾರ್ಡ್ವೇರ್ ಮತ್ತು ಅವುಗಳಿಗಾಗಿ ನಿರ್ಮಿಸಲಾದ ಹಾರ್ನೆಸ್ನೊಂದಿಗೆ ಬಲವಾದ ಮುಕ್ತ-ಮೂಲ ಮಾದರಿಯು ನ aproape-zero ಅನುಮಾನ ವೆಚ್ಚದಲ್ಲಿ ನೈಜ ಜ್ಞಾನದ ಕೆಲಸವನ್ನು ನಿರ್ವಹಿಸಬಲ್ಲದು ಎಂದು ನಮ್ಮ ಸಂಶೋಧನೆ ತೋರಿಸುತ್ತದೆ.
ವಿವಿಧ ಬೆಂಚ್ಮಾರ್ಕ್ಗಳಲ್ಲಿ, NVIDIA DGX Spark ನಲ್ಲಿ Qwen 3.8 27B ಅನ್ನು ರನ್ ಮಾಡುವಾಗ Computer ನಿಖರತೆಯಲ್ಲಿ Hermes ಮತ್ತು Pi ಅನ್ನು ಹೋಲುತ್ತದೆ ಅಥವಾ ಮೀರಿದೆ. ಸುಪ್ತತೆ ಮತ್ತು ಟೋಕನ್ ಬಳಕೆಯನ್ನು ವರದಿ ಮಾಡುವ ಮೂರು ಬೆಂಚ್ಮಾರ್ಕ್ಗಳಲ್ಲಿ, Computer ಯು BrowseComp ಮತ್ತು ParseBench-100 ನಲ್ಲಿ ವೇಗವಾಗಿತ್ತು ಮತ್ತು ಮೂರರಲ್ಲೂ ಕಡಿಮೆ ಟೋಕನ್ಗಳನ್ನು ಬಳಸಿದೆ; ಸ್ಥಳೀಯ ಜ್ಞಾನ ಕೆಲಸದ ಬೆಂಚ್ನಲ್ಲಿ Pi ವೇಗವಾಗಿತ್ತು.
ಲಾಭಗಳು ನಾವು ಮಾಡಿದ ಆಯ್ಕೆಗಳಿಂದ ಬಂದಿವೆ. ಬೇಡಿಕೆಯ ಮೇರೆಗೆ ಲೋಡ್ ಆಗುವ ಕೌಶಲ್ಯಗಳೊಂದಿಗೆ ನಾವು ಸಂಕ್ಷಿಪ್ತ ಸ್ಥಳೀಯ ಹಾರ್ನೆಸ್ ಅನ್ನು ನಿರ್ಮಿಸಿದ್ದೇವೆ. ನಾವು ಕನೆಕ್ಟರ್ಗಳನ್ನು MCP ಸರ್ವರ್ಗಳ ಬದಲಿಗೆ ಕಾಂಪ್ಯಾಕ್ಟ್ CLI ಪರಿಕರಗಳಾಗಿ ಪರಿವರ್ತಿಸಿದ್ದೇವೆ. ಭದ್ರತೆಗಾಗಿ ಕಾರ್ಯಗತಗೊಳಿಸುವಿಕೆಯನ್ನು ಸ್ಯಾಂಡ್ಬಾಕ್ಸ್ ಮಾಡಲಾಗಿದೆ.
ಫಲಿತಾಂಶಗಳು ಕಾಂಪ್ಯಾಕ್ಟ್ ಮಾದರಿಗಳಿಗೆ ಸುಧಾರಣೆಗೆ ಎಲ್ಲಿ ಅವಕಾಶವಿದೆ ಎಂಬುದನ್ನು ತೋರಿಸುತ್ತವೆ. ಉದಾಹರಣೆಗೆ, Terminal Bench 2.1 ನ ಸವಾಲಿನ ಕೋಡಿಂಗ್ ಕಾರ್ಯಗಳಲ್ಲಿ, ಸ್ಥಳೀಯ ಮಾದರಿಯು ಎಲ್ಲಾ ಮೂರು ಹಾರ್ನೆಸ್ಗಳಲ್ಲಿ ಫ್ರಾಂಟಿಯರ್ ಮಾದರಿಯನ್ನು ಹಿಂಬಾಲಿಸುತ್ತದೆ. ಸಲಹೆಗಾರ ಉನ್ನತೀಕರಣವು ಅಂತರವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ ಆದರೆ ಸಂಪೂರ್ಣವಾಗಿ ಮುಚ್ಚುವುದಿಲ್ಲ; ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಮತ್ತಷ್ಟು ತಳ್ಳಲು ಮಾದರಿ ಸಾಮರ್ಥ್ಯಗಳು ಮತ್ತು ಸ್ಥಳೀಯ ಹಾರ್ಡ್ವೇರ್ನಲ್ಲಿ ನಿರಂತರ ಸುಧಾರಣೆಗಳು ಇನ್ನೂ ಅಗತ್ಯವಿದೆ.
ಸ್ಥಳೀಯ ನಿರ್ಬಂಧಗಳಿಗಾಗಿ ಹಾರ್ನೆಸ್ ಮತ್ತು ಮಾದರಿಯನ್ನು ನಿರ್ಮಿಸುವ ಉದ್ದೇಶವು ಬಳಕೆದಾರರ ಯಂತ್ರಗಳನ್ನು ಯಾವ ಮಾಹಿತಿ ಬಿಡುತ್ತದೆ ಎಂಬುದರ ಮೇಲೆ ಬಳಕೆದಾರರಿಗೆ ಸ್ಪಷ್ಟ ನಿಯಂತ್ರಣವನ್ನು ನೀಡುವುದಾಗಿದೆ. ಬಳಕೆದಾರರಿಗೆ ವೆಚ್ಚದ ಪ್ರಯೋಜನಗಳೂ ಇವೆ. ಹೆಚ್ಚುತ್ತಿರುವ ಸಮರ್ಥ ಏಜೆಂಟ್ಗಳು ರಿಮೋಟ್ ಮೂಲಸೌಕರ್ಯದಿಂದ ವೈಯಕ್ತಿಕ ಮತ್ತು ಸ್ಥಳೀಯ ಸಾಧನಗಳಿಗೆ ಚಲಿಸುವ ವ್ಯಾಪಕ ಬದಲಾವಣೆಯ ಭಾಗವಾಗಿ ನಾವು ಇವುಗಳನ್ನು ನೋಡುತ್ತೇವೆ. ಚಿಪ್ಸ್, ಮಾದರಿಗಳು ಮತ್ತು ಸಾಧನಗಳಲ್ಲಿನ ಪ್ರಗತಿಗಳು Portable Computer ಸ್ಥಳೀಯವಾಗಿ ನಿರ್ವಹಿಸುವ ಜ್ಞಾನದ ಕೆಲಸದ ಶ್ರೇಣಿ ಮತ್ತು ಗುಣಮಟ್ಟವನ್ನು ನಿರಂತರವಾಗಿ ವಿಸ್ತರಿಸುತ್ತವೆ ಎಂದು ನಾವು ನಿರೀಕ್ಷಿಸುತ್ತೇವೆ.