PPLX ಆನ್‌ಲೈನ್ LLMಗಳನ್ನು ಪರಿಚಯಿಸುತ್ತಿದ್ದೇವೆ

ಮೊediಯ-ಪ್ರಕಾರದ ಆನ್‌ಲೈನ್ LLM API.

ಎರಡು ಹೊಸ PPLX ಮಾದರಿಗಳನ್ನು ಹಂಚಿಕೊಳ್ಳಲು ನಾವು ಉತ್ಸುಕರಾಗಿದ್ದೇವೆ: pplx-7b-online ಮತ್ತು pplx-70b-online! ನಮ್ಮ ಆನ್‌ಲೈನ್ ಮಾದರಿಗಳು ಸಹಾಯಕವಾದ, ನವೀಕೃತ ಮತ್ತು ವಾಸ್ತವಿಕ ಪ್ರತಿಕ್ರಿಯೆಗಳನ್ನು ಒದಗಿಸುವುದರ ಮೇಲೆ ಕೇಂದ್ರೀಕೃತವಾಗಿವೆ ಮತ್ತು pplx-api ಮೂಲಕ ಸಾರ್ವಜನಿಕವಾಗಿ ಲಭ್ಯವಿವೆ, ಇದು ತನ್ನ ರೀತಿಯ ಮೊದಲ API ಆಗಿದೆ. pplx-7b-online ಮತ್ತು pplx-70b-online ನಮ್ಮ LLM ಪ್ಲೇಗ್ರೌಂಡ್ ಆದ Perplexity Labs ಮೂಲಕವೂ ಪ್ರವೇಶಿಸಬಹುದಾಗಿದೆ.

LLMಗಳು ನಾವು ಮಾಹಿತಿಯನ್ನು ಕಂಡುಕೊಳ್ಳುವ ವಿಧಾನವನ್ನು ಪರಿವರ್ತಿಸಿವೆ. ಆದಾಗ್ಯೂ, ಇಂದಿನ ಹೆಚ್ಚಿನ LLMಗಳೊಂದಿಗೆ ಎರಡು ಮಿತಿಗಳಿವೆ:

ಫ್ರೆಶ್ನೆಸ್: LLMಗಳು ಸಾಮಾನ್ಯವಾಗಿ ನವೀಕೃತ ಮಾಹಿತಿಯನ್ನು ಹಂಚಿಕೊಳ್ಳಲು ಹೆಣಗಾಡುತ್ತವೆ.

ಭ್ರಮೆಗಳು: LLMಗಳು ತಪ್ಪಾದ ಹೇಳಿಕೆಗಳನ್ನು ಸಹ ಹೊರಹಾಕಬಹುದು.

ನಮ್ಮ pplx-7b-online ಮತ್ತು pplx-70b-online ಮಾದರಿಗಳು ತಮ್ಮ ಪ್ರತಿಕ್ರಿಯೆಗಳಲ್ಲಿ ಸಹಾಯಕವಾದ, ವಾಸ್ತವಿಕ ಮತ್ತು ನವೀಕೃತ ಮಾಹಿತಿಯನ್ನು ಹೆಚ್ಚುವರಿಯಾಗಿ ಒದಗಿಸುವ ಮೂಲಕ ಪ್ರಸ್ತುತ ಮಿತಿಗಳನ್ನು ಪರಿಹರಿಸುತ್ತವೆ.

PPLX ಆನ್‌ಲೈನ್ LLMಗಳು

ನಮ್ಮ LLMಗಳು, pplx-7b-online ಮತ್ತು pplx-70b-online, ಆನ್‌ಲೈನ್ LLMಗಳು ಏಕೆಂದರೆ ಅವು ಇಂಟರ್ನೆಟ್‌ನಿಂದ ಜ್ಞಾನವನ್ನು ಬಳಸಬಹುದು, ಮತ್ತು ಹೀಗಾಗಿ ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ರೂಪಿಸುವಾಗ ಅತ್ಯಂತ ನವೀಕೃತ ಮಾಹಿತಿಯನ್ನು ಬಳಸಿಕೊಳ್ಳಬಹುದು. ವೆಬ್‌ನಿಂದ ನಮ್ಮ LLMಗಳಿಗೆ ಜ್ಞಾನವನ್ನು ಒದಗಿಸುವ ಮೂಲಕ, ನಮ್ಮ ಮಾದರಿಗಳು ಸಮಯ-ಸಂವೇದನಾಶೀಲ ಪ್ರಶ್ನೆಗಳಿಗೆ ನಿಖರವಾಗಿ ಪ್ರತಿಕ್ರಿಯಿಸುತ್ತವೆ, ಅದರ ತರಬೇತಿ ಕಾರ್ಪಸ್ ಮೀರಿದ ಜ್ಞಾನವನ್ನು ಅನ್‌ಲಾಕ್ ಮಾಡುತ್ತವೆ. ಇದರರ್ಥ Perplexity ಯ ಆನ್‌ಲೈನ್ LLMಗಳು ಆಫ್‌ಲೈನ್ ಮಾದರಿಗಳಿಗೆ ಸವಾಲಾಗಿರುವ “ಕಳೆದ ರಾತ್ರಿ ವಾರಿಯರ್ಸ್ ಆಟದ ಸ್ಕೋರ್ ಏನು?” ನಂತಹ ಪ್ರಶ್ನೆಗಳಿಗೆ ಉತ್ತರಿಸಬಹುದು. ಉನ್ನತ ಮಟ್ಟದಲ್ಲಿ, ನಮ್ಮ ಆನ್‌ಲೈನ್ LLM ಈ ರೀತಿ ಕೆಲಸ ಮಾಡುತ್ತದೆ:

1. ಓಪನ್ ಸೋರ್ಸ್ ಮಾದರಿಗಳನ್ನು ಬಳಸಿಕೊಳ್ಳಿ: ನಮ್ಮ PPLX ಮಾದರಿಗಳು mistral-7b ಮತ್ತು llama2-70b ಮೂಲ ಮಾದರಿಗಳ ಮೇಲೆ ನಿರ್ಮಿಸುತ್ತವೆ.
2. ಮನೆ-ಒಳಗಿನ ಹುಡುಕಾಟ ತಂತ್ರಜ್ಞಾನ: ನಮ್ಮ ಮನೆ-ಒಳಗಿನ ಹುಡುಕಾಟ, ಇಂಡೆಕ್ಸಿಂಗ್ ಮತ್ತು ಕ್ರೌಲಿಂಗ್ ಮೂಲಸೌಕರ್ಯವು ಅತ್ಯಂತ ಪ್ರಸ್ತುತವಾದ, ನವೀಕೃತ ಮತ್ತು ಮೌಲ್ಯಯುತವಾದ ಮಾಹಿತಿಯೊಂದಿಗೆ LLMಗಳನ್ನು ವಿಸ್ತರಿಸಲು ನಮಗೆ ಅನುಮತಿಸುತ್ತದೆ. ನಮ್ಮ ಹುಡುಕಾಟ ಸೂಚ್ಯಂಕವು ದೊಡ್ಡದಾಗಿದೆ, ನಿಯಮಿತ ಲಯದಲ್ಲಿ ನವೀಕರಿಸಲ್ಪಡುತ್ತದೆ ಮತ್ತು ಉತ್ತಮ ಗುಣಮಟ್ಟದ, SEO-ಅಲ್ಲದ ಸೈಟ್‌ಗಳಿಗೆ ಆದ್ಯತೆ ನೀಡಲಾಗಿದೆಯೆ ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಲು ಅತ್ಯಾಧುನಿಕ ಶ್ರೇಯಾಂಕ ಅಲ್ಗಾರಿದಮ್‌ಗಳನ್ನು ಬಳಸುತ್ತದೆ. ವೆಬ್‌ಸೈಟ್ ಉಲ್ಲೇಖಗಳು, ಇದನ್ನು ನಾವು “ಸ್ನಿಪ್ಪೆಟ್‌ಗಳು” ಎಂದು ಕರೆಯುತ್ತೇವೆ, ಅತ್ಯಂತ ನವೀಕೃತ ಮಾಹಿತಿಯೊಂದಿಗೆ ಪ್ರತಿಕ್ರಿಯೆಗಳನ್ನು ಸಕ್ರಿಯಗೊಳಿಸಲು ನಮ್ಮ pplx-online ಮಾದರಿಗಳಿಗೆ ಒದಗಿಸಲಾಗುತ್ತದೆ.
3. ಫೈನ್-ಟ್ಯೂನಿಂಗ್: ನಮ್ಮ PPLX ಮಾದರಿಗಳು ತಮ್ಮ ಪ್ರತಿಕ್ರಿಯೆಗಳನ್ನು ತಿಳಿಸಲು ಸ್ನಿಪ್ಪೆಟ್‌ಗಳನ್ನು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಬಳಸಲು ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡಲಾಗಿದೆ. ನಮ್ಮ ಮನೆ-ಒಳಗಿನ ಡೇಟಾ ಗುತ್ತಿಗೆದಾರರನ್ನು ಬಳಸಿಕೊಂಡು, ಸಹಾಯಕಾರಿತ್ವ, ಸತ್ಯತೆ ಮತ್ತು ತಾಜಾತನದಂತಹ ವಿವಿಧ ಅಕ್ಷಗಳಲ್ಲಿ ಹೆಚ್ಚಿನ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಸಾಧಿಸಲು ನಾವು ಉತ್ತಮ ಗುಣಮಟ್ಟದ, ವೈವಿಧ್ಯಮಯ ಮತ್ತು ದೊಡ್ಡ ತರಬೇತಿ ಸೆಟ್‌ಗಳನ್ನು ಎಚ್ಚರಿಕೆಯಿಂದ ಸಂಗ್ರಹಿಸುತ್ತೇವೆ. ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ನಿರಂತರವಾಗಿ ಸುಧಾರಿಸಲು ನಮ್ಮ ಮಾದರಿಗಳನ್ನು ನಿಯಮಿತವಾಗಿ ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡಲಾಗುತ್ತದೆ.

Perplexity ಯ ಆನ್‌ಲೈನ್ LLMಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುವುದು

ವಿಶ್ವದ ಅತ್ಯುತ್ತಮ ಉತ್ತರ ಎಂಜಿನ್ ಅನ್ನು ನಿರ್ಮಿಸುವುದು Perplexity ಯ ಮಿಷನ್ ಆಗಿದೆ - ಜನರು ತಮ್ಮ ಜ್ಞಾನವನ್ನು ಕಂಡುಹಿಡಿಯಲು ಮತ್ತು ವಿಸ್ತರಿಸಲು ನಂಬುವ ಒಂದು. ಇದನ್ನು ಸಾಧಿಸಲು, ನಾವು ಸಹಾಯಕವಾದ, ವಾಸ್ತವಿಕ ಮತ್ತು ನವೀಕೃತ ಮಾಹಿತಿಯನ್ನು ಒದಗಿಸುವುದರ ಮೇಲೆ ಆಳವಾಗಿ ಗಮನಹರಿಸುತ್ತೇವೆ. ಈ ಅಕ್ಷಗಳಲ್ಲಿ ನಮ್ಮ LLMಗಳ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಬೆಂಚ್‌ಮಾರ್ಕ್ ಮಾಡಲು, ಉತ್ತರ ಎಂಜಿನ್‌ಗಳಿಗಾಗಿ ಸವಾಲಿನ ಮತ್ತು ನೈಜವಾದ ಬಳಕೆಯ ಪ್ರಕರಣಗಳನ್ನು ಪ್ರತಿಬಿಂಬಿಸಲು ನಾವು ಮೌಲ್ಯಮಾಪನ ಡೇಟಾಸೆಟ್‌ಗಳನ್ನು ಸಂಗ್ರಹಿಸಿದ್ದೇವೆ. ಪ್ರತಿ ಮೌಲ್ಯಮಾಪನ ಸೆಟ್‌ನಲ್ಲಿರುವ ಪ್ರತಿಯೊಂದು ಪ್ರಶ್ನೆಗೆ, ಗುತ್ತಿಗೆದಾರರಿಗೆ ಎರಡು ಮಾದರಿ ಪ್ರತಿಕ್ರಿಯೆಗಳನ್ನು ನೀಡಲಾಯಿತು ಮತ್ತು ಕೆಳಗಿನ ಮಾನದಂಡಗಳಿಗೆ ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸಿದ ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ಆಯ್ಕೆ ಮಾಡಲು ಸೂಚಿಸಲಾಯಿತು:

• ಸಹಾಯಕಾರಿತ್ವ: ಯಾವ ಪ್ರತಿಕ್ರಿಯೆಯು ಪ್ರಶ್ನೆಗೆ ಉತ್ತರಿಸುತ್ತದೆ ಮತ್ತು ನಿರ್ದಿಷ್ಟಪಡಿಸಿದ ಸೂಚನೆಗಳನ್ನು ಉತ್ತಮವಾಗಿ ಅನುಸರಿಸುತ್ತದೆ?
• ಸತ್ಯತೆ: ಯಾವ ಪ್ರತಿಕ್ರಿಯೆಯು ಭ್ರಮೆಗಳಿಲ್ಲದೆ ಹೆಚ್ಚು ನಿಖರವಾದ ಉತ್ತರಗಳನ್ನು ಒದಗಿಸುತ್ತದೆ, ಅತ್ಯಂತ ನಿಖರವಾದ ಅಥವಾ ಗೂಡು ಜ್ಞಾನದ ಅಗತ್ಯವಿರುವ ಪ್ರಶ್ನೆಗಳಿಗೆ ಸಹ?
• ಫ್ರೆಶ್ನೆಸ್ ( FreshLLMs ನಿಂದ ಪ್ರೇರಿತವಾಗಿದೆ): ಯಾವ ಪ್ರತಿಕ್ರಿಯೆಯು ಹೆಚ್ಚು ನವೀಕೃತ ಮಾಹಿತಿಯನ್ನು ಹೊಂದಿದೆ? ಮಾದರಿಯು "ತಾಜಾ" ಮಾಹಿತಿಯೊಂದಿಗೆ ಪ್ರಶ್ನೆಗಳಿಗೆ ಉತ್ತರಿಸಲು ಸಾಧ್ಯವಾದರೆ ಈ ಮಾನದಂಡದಲ್ಲಿ ಉತ್ಕೃಷ್ಟವಾಗಿರುತ್ತದೆ.

ಮೇಲಿನ ಮೂರು ಮಾನದಂಡಗಳ ಜೊತೆಗೆ, ಮಾದರಿ ಪ್ರತಿಕ್ರಿಯೆಗಳನ್ನು ಸಮಗ್ರವಾಗಿ ಮೌಲ್ಯಮಾಪನ ಮಾಡಲಾಗಿದೆ. ಪ್ರತಿಕ್ರಿಯೆಗಳನ್ನು ಸಮಗ್ರವಾಗಿ ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು, ಪ್ರಶ್ನೆಗೆ ಸಹಾಯ ಮಾಡುತ್ತಿರುವ ಮಾನವ ಸಹಾಯಕರಿಂದ ಅವರು ಸ್ವೀಕರಿಸಲು ಬಯಸುವ ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ಆರಿಸಿಕೊಳ್ಳುವಂತೆ ಮೌಲ್ಯಮಾಪಕರನ್ನು ಕೇಳಲಾಯಿತು.

ಮೌಲ್ಯಮಾಪನ ಸೆಟ್ ಅನ್ನು ಸಂಗ್ರಹಿಸುವುದು

ಈ ಮೌಲ್ಯಮಾಪನಕ್ಕಾಗಿ, ಸಹಾಯಕಾರಿತ್ವ, ಸತ್ಯತೆ ಮತ್ತು ತಾಜಾತನವನ್ನು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಮೌಲ್ಯಮಾಪನ ಮಾಡುವ ಗುರಿಯೊಂದಿಗೆ ನಾವು ವಿವಿಧ ಪ್ರಾಂಪ್ಟ್‌ಗಳ ವೈವಿಧ್ಯಮಯ ಗುಂಪನ್ನು ಎಚ್ಚರಿಕೆಯಿಂದ ಸಂಗ್ರಹಿಸಿದ್ದೇವೆ. ಡೇಟಾದ ಗುಣಮಟ್ಟ ಮತ್ತು ಪ್ರಸ್ತುತತೆಯ ಮೇಲೆ ಹೆಚ್ಚಿನ ಮಟ್ಟದ ನಿಯಂತ್ರಣವನ್ನು ಖಪಡಿಸಿಕೊಳ್ಳುತ್ತಾ, ಪ್ರತಿ ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ಹಸ್ತಚಾಲಿತವಾಗಿ ಆಯ್ಕೆ ಮಾಡಲಾಗಿದೆ. ಡೇಟಾಸೆಟ್ ಉತ್ತರ ಎಂಜಿನ್ ಪ್ರಾಂಪ್ಟ್‌ಗಳ ವ್ಯಾಪಕ ಶ್ರೇಣಿಯನ್ನು ವ್ಯಾಪಿಸಿದೆ ಮತ್ತು Perplexity ಉತ್ಕೃಷ್ಟವಾಗಬೇಕೆಂದು ನಾವು ಬಯಸುವ ಸಮಗ್ರ ಅವಲೋಕನವನ್ನು ಸುತ್ತಲೂ ಹೊಂದಿದೆ. ನಮ್ಮ ಮಾದರಿ ಕಾರ್ಯಕ್ಷಮತೆ ಮೌಲ್ಯಮಾಪನಗಳು ಹೆಚ್ಚಿನ ಸಿಗ್ನಲ್ ಅನ್ನು ಹೊಂದಲು ಇದು ನಿರ್ಣಾಯಕವಾಗಿದೆ.

ಮೂರು ಮೌಲ್ಯಮಾಪನ ಸೆಟ್‌ಗಳಲ್ಲಿ ಪ್ರತಿಯೊಂದೂ 50 ಪ್ರಾಂಪ್ಟ್‌ಗಳನ್ನು ಹೊಂದಿದೆ. ಈ ಸೆಟ್‌ಗಳ ಕೆಲವು ಉದಾಹರಣೆಗಳು ಸೇರಿವೆ:

• ಸಹಾಯಕಾರಿತ್ವ: ವಿಶ್ವಕಪ್ ಫೈನಲ್‌ನಲ್ಲಿ ಆಡಿದ ಎಲ್ಲಾ USA ಸಾಕರ್ ಆಟಗಾರರ ಕೋಷ್ಟಕವನ್ನು ರಚಿಸಿ ಮತ್ತು ಗೋಲುಗಳು, ಅಸಿಸ್ಟ್‌ಗಳು ಮುಂತಾದ ಅವರ ಅಂಕಿಅಂಶಗಳಿಗಾಗಿ ಕಾಲಮ್‌ಗಳನ್ನು ಮಾಡಿ.
• ಸತ್ಯತೆ: AISI 1015 ಮತ್ತು AISI 1040 ಸ್ಟೀಲ್‌ಗಳ ಕಠಿಣತೆಯನ್ನು ವಿವರಿಸಿ.
• ನವೀಕೃತತೆ: 2023 ರಲ್ಲಿ ಸ್ಯಾನ್ ಫ್ರಾನ್ಸಿಸ್ಕೋದಿಂದ ಯಾವ ಸ್ವಾಯತ್ತ ಕಾರು ಕಂಪನಿಯನ್ನು ನಿಷೇಧಿಸಲಾಯಿತು?

ಮಾದರಿ ಪ್ರತಿಕ್ರಿಯೆಗಳನ್ನು ರಚಿಸುವುದು

ನಾವು ನಾಲ್ಕು ಮಾದರಿಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಿದ್ದೇವೆ:

pplx-7b-online: Perplexity ಯ ಮಾದರಿ, ಇದು ಇಂಟರ್ನೆಟ್‌ನಿಂದ ಮಾಹಿತಿಗೆ ಪ್ರವೇಶವನ್ನು ಒಳಗೊಂಡಿದೆ. ಈ ಮಾದರಿಯನ್ನು mistral-7b ಬಳಸಿ ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡಲಾಗಿದೆ.

pplx-70b-online: Perplexity ಯ ಮಾದರಿ, ಇದು ಇಂಟರ್ನೆಟ್‌ನಿಂದ ಮಾಹಿತಿಗೆ ಪ್ರವೇಶವನ್ನು ಒಳಗೊಂಡಿದೆ. ಈ ಮಾದರಿಯನ್ನು llama2-70b ಬಳಸಿ ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡಲಾಗಿದೆ.

gpt-3.5-turbo-1106: OpenAI ಯ ಮಾದರಿ, API ಮೂಲಕ ಪ್ರವೇಶಿಸಲಾಗಿದೆ ಮತ್ತು ಹೆಚ್ಚುವರಿ ವರ್ಧನೆಗಳಿಲ್ಲದೆ. ಇತ್ತೀಚಿನ gpt-3.5 ಮಾದರಿಯನ್ನು ಬಳಸಿ ನಾವು ಈ ಮೌಲ್ಯಮಾಪನವನ್ನು ನಡೆಸಿದ್ದೇವೆ ಎಂಬುದನ್ನು ಗಮನಿಸಿ.

llama2-70b-chat: Meta AI ಯ ಮಾದರಿ, ನಮ್ಮ pplx-api ಮೂಲಕ ಪ್ರವೇಶಿಸಲಾಗಿದೆ ಮತ್ತು ಹೆಚ್ಚುವರಿ ವರ್ಧನೆಗಳಿಲ್ಲದೆ.

ಪ್ರತಿ ಪ್ರಾಂಪ್ಟ್‌ಗಾಗಿ, ಒಂದೇ ಹುಡುಕಾಟ ಫಲಿತಾಂಶಗಳು ಮತ್ತು ಸ್ನಿಪ್ಪೆಟ್‌ಗಳನ್ನು pplx-7b-online ಮತ್ತು pplx-70b-online ಮಾದರಿಗಳಿಗೆ ಒದಗಿಸಲಾಗಿದೆ. ಎಲ್ಲಾ ಪ್ರತಿಕ್ರಿಯೆಗಳನ್ನು ಅದೇ ಹೈಪರ್‌ಪ್ಯಾರಾಮೀಟರ್‌ಗಳು ಮತ್ತು ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್ ಬಳಸಿ ರಚಿಸಲಾಗಿದೆ.

ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್

ಮಾನವ ಮೌಲ್ಯಮಾಪನದೊಂದಿಗೆ ಮಾದರಿ ಪ್ರತಿಕ್ರಿಯೆಗಳನ್ನು ಶ್ರೇಣೀಕರಿಸುವುದು

ಪ್ರತಿ ಜೋಡಿಯ ಹೋಲಿಕೆಗಾಗಿ, ನಮ್ಮ ಮನೆ-ಒಳಗಿನ ಗುತ್ತಿಗೆದಾರರಿಗೆ ಪ್ರಾಂಪ್ಟ್ ಸ್ವತಃ, ಮೌಲ್ಯಮಾಪನ ಮಾನದಂಡ (ಅಂದರೆ, ಸಹಾಯಕಾರಿತ್ವ, ಸತ್ಯತೆ ಅಥವಾ ತಾಜಾತನ), ಮತ್ತು ಪಕ್ಕ-ಪಕ್ಕದಲ್ಲಿ ಪ್ರದರ್ಶಿಸಲಾದ ಮಾದರಿ ಪ್ರತಿಕ್ರಿಯೆಗಳನ್ನು ಒದಗಿಸಲಾಗಿದೆ. ಪ್ರತಿ ತಿರುವಿನಲ್ಲಿ ಪ್ರತಿಕ್ರಿಯೆಗಳ ಕ್ರಮವನ್ನು ಯಾದೃಚ್ಛಿಕಗೊಳಿಸಲಾಗಿದೆ, ಮತ್ತು ಮೂಲ ಮಾದರಿಗಳನ್ನು ಮೌಲ್ಯಮಾಪಕರಿಗೆ ಬಹಿರಂಗಪಡಿಸಲಾಗಿಲ್ಲ. ಮೌಲ್ಯಮಾಪಕರು ತಾವು ಸಮಗ್ರವಾಗಿ ಬಯಸುವ ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ಆಯ್ಕೆ ಮಾಡಲು ಸೂಚಿಸಲಾಗಿದೆ, ಹಾಗೆಯೇ ನಿರ್ದಿಷ್ಟ ಮೌಲ್ಯಮಾಪನ ಮಾನದಂಡದಲ್ಲಿ ಯಾವುದು ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ ಎಂಬುದನ್ನು ಆಯ್ಕೆ ಮಾಡಲು ಸೂಚಿಸಲಾಗಿದೆ, ಎರಡಕ್ಕೂ ಟೈಗಳನ್ನು ಅನುಮತಿಸಲಾಗಿದೆ. ಅಂತಿಮವಾಗಿ, ಪ್ರತಿಕ್ರಿಯೆಗಳ ನಿಖರತೆಯನ್ನು ಪರಿಶೀಲಿಸಲು ಇಂಟರ್ನೆಟ್ ಹುಡುಕಾಟವನ್ನು ಬಳಸಲು ಮೌಲ್ಯಮಾಪಕರಿಗೆ ಅನುಮತಿಸಲಾಗಿದೆ. ಈ ಮೌಲ್ಯಮಾಪನವನ್ನು ನಡೆಸಲು ನಾವು ನಮ್ಮ ಸ್ವಂತ ಮನೆ-ಒಳಗಿನ ಆದ್ಯತೆಯ ಶ್ರೇಣೀಕರಣ ಉಪಕರಣವನ್ನು ನಿರ್ಮಿಸಿದ್ದೇವೆ.

ಮೌಲ್ಯಮಾಪನ ಫಲಿತಾಂಶಗಳು

ಪ್ರತಿ ಮಾದರಿಗೆ ಪ್ರತಿ-ಕಾರ್ಯ Elo ಸ್ಕೋರ್‌ಗಳನ್ನು ಲೆಕ್ಕಹಾಕಲು ನಾವು ಮಾನವ ಮೌಲ್ಯಮಾಪನದಿಂದ ಸಂಗ್ರಹಿಸಲಾದ ಜೋಡಿಯ ಆದ್ಯತೆಯ ಶ್ರೇಣೀಕರಣಗಳನ್ನು ಬಳಸುತ್ತೇವೆ. ಆಟಗಾರರ ಸಾಪೇಕ್ಷ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಅಳೆಯಲು ಪಂದ್ಯಾವಳಿ ಶೈಲಿಯ ಸ್ಪರ್ಧೆಗಳಲ್ಲಿ ಆಟಗಾರರ ಜನಸಂಖ್ಯೆಯನ್ನು ಶ್ರೇಣೀಕರಿಸಲು Elo ಸ್ಕೋರ್‌ಗಳನ್ನು ಸಾಮಾನ್ಯವಾಗಿ ಬಳಸಲಾಗುತ್ತದೆ. ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳಿಗೆ ಅನ್ವಯಿಸಿದಾಗ, ಈ ಸ್ಕೋರ್‌ಗಳು ಮಾನವ ಮೌಲ್ಯಮಾಪಕನು ಒಂದು ಮಾದರಿಯ ಔಟ್‌ಪುಟ್ ಅನ್ನು ಇನ್ನೊಂದಕ್ಕಿಂತ ಹೇಗೆ ಇಷ್ಟಪಡಬಹುದು ಎಂಬುದರ ಮುನ್ಸೂಚನೆಯನ್ನು ಒದಗಿಸುತ್ತವೆ.

ಆಟಗಾರರ ಸಾಮರ್ಥ್ಯಗಳಲ್ಲಿನ ಬದಲಾವಣೆಗಳನ್ನು ಗಣನೆಗೆ ತೆಗೆದುಕೊಳ್ಳಲು ಹೋಲಿಕೆಗಳ ಅನುಕ್ರಮಕ್ಕಾಗಿ Elo ಸ್ಕೋರ್‌ಗಳನ್ನು ಸಾಮಾನ್ಯವಾಗಿ ಲೆಕ್ಕಹಾಕಲಾಗುತ್ತದೆ, ಆದರೆ ಸಾಮರ್ಥ್ಯಗಳು ಬದಲಾಗಲು ಸಾಧ್ಯವಿಲ್ಲದ ಮಾದರಿಗಳ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಪ್ರಮಾಣೀಕರಿಸುವ ಗುರಿಯನ್ನು ನಾವು ಹೊಂದಿದ್ದೇವೆ. ಅದರಂತೆ, Duan et al ವಿವರಿಸಿದ ಮತ್ತು lmsys ತಮ್ಮ Chatbot Arena ಗಾಗಿ ಬಳಸಿದ Bootstrap Elo ವಿಧಾನವನ್ನು ನಾವು ಅಳವಡಿಸಿಕೊಳ್ಳುತ್ತೇವೆ, ಇದು ಹೋಲಿಕೆಗಳ ಅನೇಕ ಯಾದೃಚ್ಛಿಕ ಕ್ರಮಪಲ್ಲವನೆಗಳಿಗೆ Elo ಸ್ಕೋರ್‌ಗಳನ್ನು ಲೆಕ್ಕಹಾಕುವುದನ್ನು ಒಳಗೊಂಡಿರುತ್ತದೆ. ನಮ್ಮ ಲೆಕ್ಕಾಚಾರಗಳಿಗಾಗಿ, ನಾವು 5000 ಕ್ರಮಪಲ್ಲವನೆಗಳ ಮೇಲೆ Elo ಸ್ಕೋರ್‌ಗಳನ್ನು ಲೆಕ್ಕಹಾಕಿದ್ದೇವೆ ಮತ್ತು 95% ವಿಶ್ವಾಸಾರ್ಹ ಮಧ್ಯಂತರಗಳನ್ನು ಲೆಕ್ಕಹಾಕಲು ಈ Elo ಸ್ಕೋರ್‌ಗಳ ವಿತರಣೆಗಳನ್ನು ಬಳಸಿದ್ದೇವೆ.

ಚಿತ್ರ 1 ರಲ್ಲಿ ತೋರಿಸಿರುವ ಫಲಿತಾಂಶಗಳು, ನಮ್ಮ PPLX ಮಾದರಿಗಳು Perplexity-ಸಂಬಂಧಿತ ಬಳಕೆಯ ಪ್ರಕರಣಗಳಲ್ಲಿ gpt-3.5 ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಹೊಂದಾಣಿಕೆ ಮಾಡಬಹುದು ಮತ್ತು ಮೀರಿಸಬಹುದು ಎಂಬುದನ್ನು ಪ್ರದರ್ಶಿಸುತ್ತವೆ. ನಿರ್ದಿಷ್ಟವಾಗಿ ಹೇಳುವುದಾದರೆ, ನಿಖರವಾದ ಮತ್ತು ನವೀಕೃತ ಉತ್ತರಗಳಿಗಾಗಿ ಮಾನವ ಮೌಲ್ಯಮಾಪಕರು gpt-3.5 ಮತ್ತು llama2-70b ಮಾದರಿ ಪ್ರತಿಕ್ರಿಯೆಗಳಿಗಿಂತ pplx-7b-online ಮತ್ತು pplx-70b-online ಮಾದರಿ ಪ್ರತಿಕ್ರಿಯೆಗಳಿಗೆ ಆದ್ಯತೆ ನೀಡುತ್ತಾರೆ.

pplx-7b-online ಮತ್ತು pplx-70b-online ಫ್ರೆಶ್ನೆಸ್, ಸತ್ಯತೆ, ಮತ್ತು ಸಮಗ್ರ ಮಾನದಂಡಗಳಲ್ಲಿ gpt-3.5 ಮತ್ತು llama2-70b ಗಿಂತ ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ.

ನಾವು ಮೌಲ್ಯಮಾಪನದಿಂದ ಜೋಡಿಯ ಗೆಲುವಿನ ದರಗಳನ್ನು ಸಹ ಲೆಕ್ಕಹಾಕಿದ್ದೇವೆ. ಚಿತ್ರ 2 ರಲ್ಲಿ ತೋರಿಸಿರುವ ಫಲಿತಾಂಶಗಳು, ಬಹುಶಃ ಆಶ್ಚರ್ಯಕರವಲ್ಲದಂತೆ, ಫ್ರೆಶ್ನೆಸ್ ಮತ್ತು ಸತ್ಯತೆ ಮೇಲೆ pplx ಆನ್‌ಲೈನ್ ಮಾದರಿ ಪ್ರತಿಕ್ರಿಯೆಗಳಿಗೆ ಇತರರಿಗಿಂತ ಆದ್ಯತೆ ನೀಡಲಾಗುತ್ತದೆ ಎಂಬುದನ್ನು ವಿವರಿಸುತ್ತದೆ.

ನಮ್ಮ ತಾಜಾತನ ಮೌಲ್ಯಮಾಪನ ಡೇಟಾಸೆಟ್‌ನಿಂದ ಇಲ್ಲೊಂದು ಉದಾಹರಣೆ ಇದೆ.

ಪ್ರಾಂಪ್ಟ್: USA ನಲ್ಲಿ ಎಷ್ಟು ಜನರಿಗೆ ಚಾಲನಾ ಪರವಾನಗಿ ಇದೆ?

pplx-7b-online

2023 ರಲ್ಲಿ, ಯುುನೈಟೆಡ್ ಸ್ಟೇಟ್ಸ್‌ನಲ್ಲಿ ಅಂದಾಜು 243.4 ಮಿಲಿಯನ್ ಪರವಾನಗಿ ಪಡೆದ ಚಾಲಕರಿದ್ದಾರೆ, ಇದು US ವಯಸ್ಕರಲ್ಲಿ 89% ಅನ್ನು ಒಳಗೊಂಡಿದೆ. ಈ ಸಂಖ್ಯೆಯು 2022 ರಲ್ಲಿ 238.6 ಮಿಲಿಯನ್‌ನಿಂದ ಹೆಚ್ಚಾಗಿದೆ. ಪರವಾನಗಿ ಪಡೆದ ಚಾಲಕರ ಶೇಕಡಾವಾರು ವಿವಿಧ ವಯೋಮಾನದವರು ಮತ್ತು ರಾಜ್ಯಗಳಲ್ಲಿ ಬದಲಾಗುತ್ತದೆ. ಉದಾಹರಣೆಗೆ, 2019 ರಲ್ಲಿ, US ಜನಸಂಖ್ಯೆಯ 84.1% ರಷ್ಟು ಚಾಲನಾ ಪರವಾನಗಿಯನ್ನು ಹೊಂದಿದ್ದರು. ಪರವಾನಗಿ ಪಡೆದ ಚಾಲಕರ ಅತಿ ಹೆಚ್ಚು ಶೇಕಡಾವಾರು 25 ರಿಂದ 49 ವರ್ಷ ವಯಸ್ಸಿನವರಲ್ಲಿದೆ, 90.1% ಜನಸಂಖ್ಯೆಯು ಚಾಲನಾ ಪರವಾನಗಿಯನ್ನು ಹೊಂದಿದೆ. ಕ್ಯಾಲಿಫೋರ್ನಿಯಾದಲ್ಲಿ, 27 ಮಿಲಿಯನ್ ಪರವಾನಗಿ ಪಡೆದ ಚಾಲಕರಿದ್ದರು, ಇದು ಅತ್ಯಧಿಕ ಸಂಖ್ಯೆಯ ಪರವಾನಗಿ ಪಡೆದ ಚಾಲಕರನ್ನು ಹೊಂದಿರುವ ರಾಜ್ಯವಾಗಿದೆ.

pplx-70b-online

2021 ರಲ್ಲಿ, ಯುನೈಟೆಡ್ ಸ್ಟೇಟ್ಸ್‌ನಲ್ಲಿ ಸುಮಾರು 233 ಮಿಲಿಯನ್ ಜನರು ಮಾನ್ಯವಾದ ಚಾಲನಾ ಪರವಾನಗಿಗಳನ್ನು ಹೊಂದಿದ್ದರು. 2023 ರ ವೇಳೆಗೆ, US ನಲ್ಲಿ ಪರವಾನಗಿ ಪಡೆದ ಚಾಲಕರ ಸಂಖ್ಯೆಯು 243.4 ಮಿಲಿಯನ್ ತಲುಪುವ ನಿರೀಕ್ಷೆಯಿದೆ, ಇದು US ವಯಸ್ಕರಲ್ಲಿ 89% ಅನ್ನು ಒಳಗೊಂಡಿದೆ. ಇದು 2022 ರಲ್ಲಿ 238.6 ಮಿಲಿಯನ್‌ನಿಂದ ಹೆಚ್ಚಳವನ್ನು ಪ್ರತಿನಿಧಿಸುತ್ತದೆ.

gpt-3.5

AI ಭಾಷಾ ಮಾದರಿಯಾಗಿ, ನನಗೆ ನೈಜ-ಸಮಯದ ಡೇಟಾಗೆ ಪ್ರವೇಶವಿಲ್ಲ. ಆದಾಗ್ಯೂ, 2021 ರಂತೆ, ಯುನೈಟೆಡ್ ಸ್ಟೇಟ್ಸ್‌ನಲ್ಲಿ ಸುಮಾರು 227 ಮಿಲಿಯನ್ ಜನರು ಮಾನ್ಯವಾದ ಚಾಲನಾ ಪರವಾನಗಿಯನ್ನು ಹೊಂದಿದ್ದಾರೆಂದು ಅಂದೇಜಿಸಲಾಗಿದೆ. ಅಂದಿನಿಂದ ಈ ಸಂಖ್ಯೆಯು ಬದಲಾಗಿರಬಹುದು ಎಂಬುದನ್ನು ಗಮನಿಸಿ, ಆದ್ದರಿಂದ ಅತ್ಯಂತ ನಿಖರವಾದ ಮಾಹಿತಿಗಾಗಿ ಇತ್ತೀಚಿನ ಅಧಿಕೃತ ಅಂಕಿಅಂಶಗಳನ್ನು ಉಲ್ಲೇಖಿಸುವುದು ಯಾವಾಗಲೂ ಉತ್ತಮ.

llama2-70b

ನನಗೆ ನೈಜ-ಸಮಯದ ಡೇಟಾಗೆ ಪ್ರವೇಶವಿಲ್ಲ, ಆದರೆ ಯುನೈಟೆಡ್ ಸ್ಟೇಟ್ಸ್‌ನಲ್ಲಿ ಚಾಲನಾ ಪರವಾನಗಿ ಹೊಂದಿರುವ ಜನರ ಅಂದಾಜು ಸಂಖ್ಯೆಯ ಕುರಿತು ನಾನು ಕೆಲವು ಮಾಹಿತಿಯನ್ನು ಒದಗಿಸಬಹುದು. ಫೆಡರಲ್ ಹೈವೇ ಅಡ್ಮಿನಿಸ್ಟ್ರೇಷನ್ ಪ್ರಕಾರ, 2020 ರಂತೆ ಯುನೈಟೆಡ್ ಸ್ಟೇಟ್ಸ್‌ನಲ್ಲಿ ಅಂದಾಜು 227.8 ಮಿಲಿಯನ್ ಪರವಾನಗಿ ಪಡೆದ ಚಾಲಕರಿದ್ದರು. ಈ ಸಂಖ್ಯೆಯು ವಾಣಿಜ್ಯ ಮತ್ತು ವಾಣಿಜ್ಯೇತರ ಚಾಲಕರು ಇಬ್ಬರನ್ನೂ ಒಳಗೊಂಡಿದೆ. ಚಾಲನಾ ಪರವಾನಗಿ ಹೊಂದಿರಬಹುದಾದ ಆದರೆ ನಿಯಮಿತವಾಗಿ ಅಥವಾ ಎಲ್ಲೂ ಚಾಲನೆ ಮಾಡದ ವ್ಯಕ್ತಿಗಳನ್ನು ಇದು ಗಣನೆಗೆ ತೆಗೆದುಕೊಳ್ಳುವುದಿಲ್ಲವಾದ್ದರಿಂದ ಈ ಸಂಖ್ಯೆಯು ಬಹುಶಃ ಕಡಿಮೆ ಅಂದಾಜು ಆಗಿದೆ ಎಂಬುದು ಗಮನಿಸಬೇಕಾದ ಸಂಗತಿ. ಹೆಚ್ಚುವರಿಯಾಗಿ, ಈ ಸಂಖ್ಯೆಯು 16 ವರ್ಷಕ್ಕಿಂತ ಕಡಿಮೆ ವಯಸ್ಸಿನವರು ಅಥವಾ ಕೆಲವು ಅಂಗವೈಕಲ್ಯಗಳನ್ನು ಹೊಂದಿರುವವರಂತಹ ಚಾಲನಾ ಪರವಾನಗಿ ಪಡೆಯಲು ಅರ್ಹರಲ್ಲದ ವ್ಯಕ್ತಿಗಳನ್ನು ಒಳಗೊಂಡಿಲ್ಲ. ಪರವಾನಗಿ ಪಡೆದ ಚಾಲಕರ ಸಂಖ್ಯೆಯು ರಾಜ್ಯದಿಂದ ರಾಜ್ಯಕ್ಕೆ ಬದಲಾಗಬಹುದು ಎಂಬುದನ್ನು ಗಮನಿಸುವುದು ಸಹ ಮುಖ್ಯವಾಗಿದೆ, ಕೆಲವು ರಾಜ್ಯಗಳು ಇತರರಿಗಿಂತ ಹೆಚ್ಚಿನ ಶೇಕಡಾವಾರು ಪರವಾನಗಿ ಪಡೆದ ಚಾಲಕರನ್ನು ಹೊಂದಿವೆ.

ಒಟ್ಟಾರೆಯಾಗಿ, Perplexity-ಸಂಬಂಧಿತ ಬಳಕೆಯ ಪ್ರಕರಣಗಳಲ್ಲಿ ನಮ್ಮ PPLX ಮಾದರಿಗಳು gpt-3.5 ಮತ್ತು llama2-70b ಅನ್ನು ಹೊಂದಾಣಿಕೆ ಮಾಡಬಹುದು ಮತ್ತು ಮೀರಿಸಬಹುದು ಎಂಬುದನ್ನು ಮೌಲ್ಯಮಾಪನ ಫಲಿತಾಂಶಗಳು ಪ್ರದರ್ಶಿಸುತ್ತವೆ, ನಿರ್ದಿಷ್ಟವಾಗಿ ನಿಖರವಾದ ಮತ್ತು ನವೀಕೃತ ಪ್ರತಿಕ್ರಿಯೆಗಳನ್ನು ಒದಗಿಸಲು.

Perplexity ಯ ಆನ್‌ಲೈನ್ ಮಾದರಿಗಳನ್ನು ಪ್ರವೇಶಿಸುವುದು

pplx-api ಬೀಟಾದಿಂದ ಸಾಮಾನ್ಯ ಸಾರ್ವಜನಿಕ ಬಿಡುಗಡೆಗೆ ಹಂತ ಹಂತವಾಗಿ ಹೊರಬರುತ್ತಿದೆ ಎಂದು ಘೋಷಿಸಲು ನಮಗೆ ರೋಮಾಂಚನವಾಗಿದೆ! ನಮ್ಮ pplx-7b-online ಮತ್ತು pplx-70b-online ಮಾದರಿಗಳು pplx-api ಮೂಲಕ ಪ್ರವೇಶಿಸಬಹುದಾಗಿರುವುದು ಇದುವೇ ಮೊದಲ بار. ಹೆಚ್ಚುವರಿಯಾಗಿ, ನಮ್ಮ pplx-7b-chat ಮತ್ತು pplx-70b-chat ಮಾದರಿಗಳು ಆಲ್ಫಾದಿಂದ ಹೊರಬಂದಿವೆ, ಮತ್ತು ಈಗ ನಮ್ಮ ಸಾಮಾನ್ಯ ಬಿಡುಗಡೆಯೊಂದಿಗೆ ಪ್ರವೇಶಿಸಬಹುದಾಗಿದೆ.

ಇದರೊಂದಿಗೆ, ನಾವು ಹೊಸ ಬಳಕೆಯ ಆಧಾರಿತ ಬೆಲೆ ರಚನೆಯನ್ನು ಪರಿಚಯಿಸುತ್ತಿದ್ದೇವೆ. ಉರಿಯುತ್ತಿರುವ ವೇಗದ ಅನುಮಾನವನ್ನು ಒದಗಿಸಲು NVIDIA H100s ಅನ್ನು ಬಳಸುವ ನಮ್ಮ ಅತ್ಯಾಧುನಿಕ ಮೂಲಸೌಕರ್ಯವನ್ನು ನಮ್ಮ ಬಳಕೆದಾರರು ಬಳಸಿಕೊಳ್ಳಲು ನಾವು ಉತ್ಸುಕರಾಗಿದ್ದೇವೆ. ಪ್ರೊ ಬಳಕೆದಾರರು ಮರುಕಳಿಸುವ $5 ಮಾಸಿಕ pplx-api ಕ್ರೆಡಿಟ್‌ಗಳನ್ನು ಸ್ವೀಕರಿಸುತ್ತಾರೆ. ಇತರ ಎಲ್ಲಾ ಬಳಕೆದಾರರಿಗೆ, ಬಳಕೆಯ ಆಧಾರದ ಮೇಲೆ ಬೆಲೆಯನ್ನು ನಿರ್ಧರಿಸಲಾಗುತ್ತದೆ. ಪ್ರೊ ಬಳಕೆದಾರರಾಗಿ ಸೈನ್ ಅಪ್ ಮಾಡಲು, ಇಲ್ಲಿ ಕ್ಲಿಕ್ ಮಾಡಿ. ವಾಣಿಜ್ಯ ವಿಚಾರಣೆಗಳಿಗಾಗಿ api@perplexity.ai ಅನ್ನು ಸಂಪರ್ಕಿಸಿ.

ಹೆಚ್ಚುವರಿ ಸಂಪನ್ಮೂಲಗಳು:

• pplx-api ಜೊತೆ ಪ್ರಾರಂಭಿಸಿ ಇಲ್ಲಿ.
• Perplexity Labs ನೊಂದಿಗೆ ನಮ್ಮ ಆನ್‌ಲೈನ್ ಮಾದರಿಗಳನ್ನು ಉಚಿತವಾಗಿ ಪ್ರಯತ್ನಿಸಿ.
• pplx-api ದಸ್ತಾವೇಜನ್ನು ಮೂಲಕ ನಮ್ಮ API ಕುರಿತು ಇನ್ನಷ್ಟು ತಿಳಿಯಿರಿ.
• ಉತ್ತಮ ಉತ್ತರ ಎಂಜಿನ್ ಅನ್ನು ನಿರ್ಮಿಸುವ ಉನ್ನತ-ಪ್ರಭಾವದ, ಉನ್ನತ-ವೇಗದ ತಂಡದಲ್ಲಿ ಕೆಲಸ ಮಾಡಲು ಆಸಕ್ತಿ ಇದೆಯೇ? ನಮ್ಮೊಂದಿಗೆ ಸೇರಿಕೊಳ್ಳಿ!
• ನಮ್ಮ ಬೆಳೆಯುತ್ತಿರುವ Discord ಸಮುದಾಯಕ್ಕೆ ಸೇರಿಕೊಳ್ಳಿ!

ಕೊಡುಗೆದಾರರು:

Lauren Yang, Kevin Hu, Aarash Heydari, Gradey Wang, Dmitry Pervukhin, Nikhil Thota, Alexandr Yarats, Max Morozov, Denis Yarats