pplx-embed: ವೆಬ್-ಪ್ರಮಾಣದ ಮರುಪಡೆಯುವಿಕೆಗಾಗಿ ಅತ್ಯಾಧುನಿಕ ಎಂಬೆಡಿಂಗ್ ಮಾದರಿಗಳು

ಇಂದು ನಾವು pplx-embed-v1 ಮತ್ತು pplx-embed-context-v1 ಅನ್ನು ಬಿಡುಗಡೆ ಮಾಡುತ್ತಿದ್ದೇವೆ, ಇದು ನೈಜ-ಪ್ರಪಂಚದ, ವೆಬ್-ಪ್ರಮಾಣದ ಮರುಪಡೆಯುವಿಕೆಗಾಗಿ ನಿರ್ಮಿಸಲಾದ ಎರಡು ಅತ್ಯಾಧುನಿಕ ಪಠ್ಯ ಎಂಬೆಡಿಂಗ್ ಮಾದರಿಗಳಾಗಿವೆ. pplx-embed-v1 ಪ್ರಮಾಣಿತ ದಟ್ಟ ಪಠ್ಯ ಮರುಪಡೆಯುವಿಕೆಗಾಗಿ ಆಪ್ಟಿಮೈಸ್ ಮಾಡಲಾಗಿದೆ, ಆದರೆ pplx-embed-context-v1 ಸುತ್ತಮುತ್ತಲಿನ ಡಾಕ್ಯುಮೆಂಟ್-ಹಂತದ ಸಂದರ್ಭಕ್ಕೆ ಸಂಬಂಧಿಸಿದಂತೆ ಪ್ಯಾಸೇಜ್‌ಗಳನ್ನು ಎಂಬೆಡ್ ಮಾಡುತ್ತದೆ.

ಎರಡೂ pplx-embed-v1 ಮತ್ತು pplx-embed-context-v1 0.6B ಮತ್ತು 4B ಪ್ಯಾರಾಮೀಟರ್ ಸ್ಕೇಲ್‌ಗಳಲ್ಲಿ ಲಭ್ಯವಿವೆ. 0.6B ಮಾದರಿಗಳು ಹಗುರವಾದ, ಕಡಿಮೆ-ಲೇಟೆನ್ಸಿ ಎಂಬೆಡಿಂಗ್ ಉತ್ಪಾದನೆಯನ್ನು ಗುರಿಯಾಗಿಸಿಕೊಂಡಿವೆ, ಆದರೆ 4B ಮಾದರಿಗಳು ಮರುಪಡೆಯುವಿಕೆ ಗುಣಮಟ್ಟವನ್ನು ಗರಿಷ್ಠಗೊಳಿಸುತ್ತವೆ. ನಮ್ಮ ಮೌಲ್ಯಮಾಪನಗಳಲ್ಲಿ, pplx-embed ಕುಟುಂಬವು MTEB(Multilingual, v2), BERGEN, ToolRet, ಮತ್ತು ConTEB ಸೇರಿದಂತೆ ಸಾರ್ವಜನಿಕ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳ ಶ್ರೇಣಿಯನ್ನು ಮುನ್ನಡೆಸುತ್ತದೆ. ಮೇಲಾಗಿ, pplx-embed-v1 ನಮ್ಮ ಆಂತರಿಕ ವೆಬ್-ಪ್ರಮಾಣದ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳಲ್ಲಿ ಅತ್ಯುತ್ತಮ ಫಲಿತಾಂಶಗಳನ್ನು ನೀಡುತ್ತದೆ: PPLXQuery2Query, PPLXQuery2Doc.

ಮಾದರಿಗಳು INT8 ಮತ್ತು ಬೈನರಿ ಎಂಬೆಡಿಂಗ್‌ಗಳನ್ನು ಉತ್ಪಾದಿಸುತ್ತವೆ, ಇದು FP32 ಗೆ ಹೋಲಿಸಿದರೆ ಶೇಖರಣಾ ಅವಶ್ಯಕತೆಗಳನ್ನು ಕ್ರಮವಾಗಿ 4x ಮತ್ತು 32x ರಷ್ಟು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ. ಈ ಕಾಂಪ್ಯಾಕ್ಟ್‌ನೆಸ್ ವೆಬ್-ಪ್ರಮಾಣದ ಎಂಬೆಡಿಂಗ್ ಶೇಖರಣೆ ಮತ್ತು ಮರುಪಡೆಯುವಿಕೆಯನ್ನು ಗಮನಾರ್ಹವಾಗಿ ಹೆಚ್ಚು ಪ್ರಾಯೋಗಿಕವಾಗಿಸುತ್ತದೆ.

ಮಾದರಿ	ಆಯಾಮಗಳು	ಸಂದರ್ಭ	MRL	ಕ್ವಾಂಟೈಸೇಶನ್	ಸೂಚನೆ	ಪೂಲಿಂಗ್
pplx-embed-v1-0.6B	1024	32K	ಹೌದು	INT8/BINARY	ಇಲ್ಲ	ಸರಾಸರಿ
pplx-embed-v1-4B	2560	32K	ಹೌದು	INT8/BINARY	ಇಲ್ಲ	ಸರಾಸರಿ
pplx-embed-context-v1-0.6B	1024	32K	ಹೌದು	INT8/BINARY	ಇಲ್ಲ	ಸರಾಸರಿ
pplx-embed-context-v1-4B	2560	32K	ಹೌದು	INT8/BINARY	ಇಲ್ಲ	ಸರಾಸರಿ

pplx-embed ಮಾದರಿಯ ಆಯಾಮಗಳು, ಸಂದರ್ಭ ಉದ್ದ, ಕ್ವಾಂಟೀಕರಣ, ಮತ್ತು ಪೂಲಿಂಗ್ ಸಂರಚನೆ.

ನಮ್ಮ ತಾಂತ್ರಿಕ ವರದಿ, Hugging Face ಮಾದರಿಗಳು, ಮತ್ತು API ದಾಖಲೆಗಳನ್ನು ಪರಿಶೀಲಿಸಿ.

ದಟ್ಟ ಪಠ್ಯ ಎಂಬೆಡಿಂಗ್‌ಗಳು ಪ್ರಶ್ನೆಗಳು ಮತ್ತು ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳನ್ನು ಹಂಚಿದ ಶ್ರುತಿ ಸ್ಪೇಸ್ ಗೆ ಮ್ಯಾಪ್ ಮಾಡುತ್ತವೆ, ಅಲ್ಲಿ ಮರುಪಡೆಯುವಿಕೆಯು ಹತ್ತಿರದ ಹತ್ತಿರದ ನೆರೆಹೊರೆಯ ಹುಡುಕಾಡಿಗೆ ಇಳಿಯುತ್ತದೆ. Perplexity ನ ಪ್ರಮಾಣದಲ್ಲಿ, ಎಂಬೆಡಿಂಗ್‌ಗಳು ನಮ್ಮ ಮರುಪಡೆಯುವಿಕೆ ಪೈಪ್‌ಲೈನ್‌ನ ಮೊದಲ ಹಂತವಾಗಿದೆ, ಇದು ಬಿಲಿಯನ್‌ಗಟ್ಟಲೆ ವೆಬ್ ಪುಟಗಳಿಂದ ಯಾವ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳನ್ನು ಡೌನ್‌ಸ್ಟ್ರೀಮ್ ರ‍್ಯಾಂಕರ್‌ಗಳು ಮತ್ತು ಭಾಷಾ ಮಾದರಿಗಳು ಪರಿಗಣಿಸಬೇಕು ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸುತ್ತದೆ.

ಇಂದಿನ ಹೆಚ್ಚಿನ ಪ್ರಮುಖ ಎಂಬೆಡಿಂಗ್ ಮಾದರಿಗಳು ಕಾರಣಿಕ ಗಮನ ಮುಖವಾಡದೊಂದಿಗೆ (causal attention masking) ಡಿಕೋಡರ್-ಮಾತ್ರದ LLM ಗಳಲ್ಲಿ ನಿರ್ಮಿಸಲ್ಪಟ್ಟಿವೆ, ಇಲ್ಲಿ ಪ್ರತಿಯೊಂದು ಟೋಕನ್ ಮುಂಚಿನ ಟೋಕನ್‌ಗಳಿಗೆ ಮಾತ್ರ ಹಾಜರಾಗಬಹುದು. ಮರುಪಡೆಯುವಿಕೆಗಾಗಿ, ಇದು ಮೂಲಭೂತ ಮಿತಿಯಾಗಿದೆ: ಒಂದು ಪ್ಯಾಸೇಜ್ ಅನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು ಸಾಮಾನ್ಯವಾಗಿ ದ್ವಿಮುಖ ಸಂದರ್ಭದ ಅಗತ್ಯವಿರುತ್ತದೆ. ನಾವು ಇದನ್ನು ಡಿಫ್ಯೂಷನ್ ಆಧಾರಿತ ಮುಂದುವರಿದ ಪ್ರಿಟ್ರೈನಿಂಗ್ ಮೂಲಕ ಪರಿಹರಿಸುತ್ತೇವೆ, ಇದು ಕಾರಣಿಕ LLM ಅನ್ನು ದ್ವಿಮುಖ ಎಕೋಡರ್ ಆಗಿ ಪರಿವರ್ತಿಸುತ್ತದೆ. ಪೂರ್ಣ ದ್ವಿಮುಖ ಗಮನವು ಎಲ್ಲಾ ಟೋಕನ್ ಪ್ರತಿನಿಧಿಗಳ ಮೇಲೆ ಸರಾಸರಿ ಪೂಲಿಂಗ್ ಅನ್ನು ಸಕ್ರಿಯಗೊಳಿಸುತ್ತದೆ ಮತ್ತು ಪ್ರಾಸಂಗಿಕ ಎಂಬೆಡಿಂಗ್‌ಗಳಿಗಾಗಿ ಲೇಟ್ ಚಂಕಿಂಗ್ ಅನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ, ಇಲ್ಲಿ ಪ್ರತಿಯೊಂದು ಚಂಕ್‌ನ ಎಂಬೆಡಿಂಗ್ ಅದು ಕಾಣಿಸಿಕೊಳ್ಳುವ ಪೂರ್ಣ ಡಾಕ್ಯುಮೆಂಟ್‌ನಿಂದ ತಿಳಿಸಲ್ಪಡುತ್ತದೆ.

ವೆಬ್ ಪ್ರಮಾಣದಲ್ಲಿ, FP32 ನಲ್ಲಿ ಎಂಬೆಡಿಂಗ್‌ಗಳನ್ನು ಸಂಗ್ರಹಿಸುವುದು ಅತಿಯಾದ ವೆಚ್ಚದ್ದಾಗಿದೆ. ಪೋಸ್ಟ್-ಹಾಕ್ ಕಂಪ್ರೆಷನ್ ಹಂತವಾಗಿ ಕ್ವಾಂಟೈಸೇಶನ್ ಅನ್ನು ಅನ್ವಯಿಸುವ ಬದಲು, ನಮ್ಮ ಮಾದರಿಗಳು ಸ್ಥಳೀಯವಾಗಿ INT8 ಎಂಬೆಡಿಂಗ್‌ಗಳನ್ನು ಉತ್ಪಾದಿಸಲು ಕ್ವಾಂಟೈಸೇಶನ್-ಅವೇರ್ ಟ್ರೈನಿಂಗ್ ಅನ್ನು ಬಳಸುತ್ತವೆ, ಕಾರ್ಯಕ್ಷಮತೆಯ ರಾಜಿ ಇಲ್ಲದೆ ಶೇಖರಣೆಯನ್ನು 4x ರಷ್ಟು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ. ಬೈನರಿ ಕ್ವಾಂಟೈಸೇಶನ್ ಶೇಖರಣೆಯನ್ನು 32x ರಷ್ಟು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ ಮತ್ತು ಕನಿಷ್ಠ ಗುಣಮಟ್ಟದ ನಷ್ಟದೊಂದಿಗೆ, ವಿಶೇಷವಾಗಿ 4B ಪ್ರಮಾಣದಲ್ಲಿ.

ಅನೇಕ ಆಧುನಿಕ ಎಂಬೆಡಿಂಗ್ ಮಾದರಿಗಳಿಗೆ ಪ್ರತಿ ಇನ್‌ಪುಟ್‌ಗೆ ಮುಂಚಿತವಾಗಿ ಸೂಚನಾ ಉಪಸರ್ಗಗಳ ಅಗತ್ಯವಿರುತ್ತದೆ. ಇದು ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳಲ್ಲಿ ಸಣ್ಣ ಲಿಫ್ಟ್‌ಗಳನ್ನು ನೀಡಬಹುದಾದರೂ, ಆಚರಣೆಯಲ್ಲಿ ಇದು ಘರ್ಷಣೆಯನ್ನು ಸೇರಿಸುತ್ತದೆ: ಇಂಡೆಕ್ಸಿಂಗ್ ಮತ್ತು ಪ್ರಶ್ನೆ ಸಮಯದ ನಡುವಿನ ಹೊಂದಾಣಿಕೆಯಾಗದ ಸೂಚನೆಗಳು ಮರುಪಡೆಯುವಿಕೆಯನ್ನು ನಿಶ್ಯಬ್ಧವಾಗಿ ಕುಂಠಿತಗೊಳಿಸುತ್ತವೆ, ಮತ್ತು ಪ್ರತಿ ಬಳಕೆಯ ಸಂದರ್ಭಕ್ಕೂ ಸರಿಯಾದ ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ಆಯ್ಕೆ ಮಾಡುವುದು ಸರಿಯಾಗಬೇಕಾದ ಮತ್ತೊಂದು ವಿಷಯವಾಗುತ್ತದೆ. ನಮ್ಮ ಮಾದರಿಗಳಿಗೆ ಯಾವುದೇ ಸೂಚನೆಗಳ ಅಗತ್ಯವಿಲ್ಲ, ಇದು ಸಂಯೋಜನೆಯನ್ನು ನೇರಗೊಳಿಸುತ್ತದೆ.

pplx-embed-v1 ಮತ್ತು pplx-embed-context-v1 ಮರುಪಡೆಯುವಿಕೆಗಾಗಿ ಪಠ್ಯ ಪ್ರತಿನಿಧಿಗಳನ್ನು ಕ್ರಮೇಣ ರೂಪಿಸುವ ಬಹು-ಹಂತದ ಪೈಪ್‌ಲೈನ್ ಮೂಲಕ ತರಬೇತಿ ಪಡೆದಿವೆ.

ಬಹು-ಹಂತದ ಪಠ್ಯಕ್ರಮ ತರಬೇತಿ ಪೈಪ್‌ಲೈನ್. ನಾವು ನಾಲ್ಕು ವಿಭಿನ್ನ ತರಬೇತಿ ಮಾದರಿಗಳನ್ನು ಶಾಖೆಯ ರೀತಿಯಲ್ಲಿ ಸಂಯೋಜಿಸುತ್ತೇವೆ, ನಂತರ ವಿಲೀನಗೊಳಿಸುವಿಕೆ ಮತ್ತು ಆಯ್ಕೆ ಹಂತ. — ಬಹು-ಹಂತದ ಪಠ್ಯಕ್ರಮ ತರಬೇತಿ ಪೈಪ್‌ಲೈನ್. ನಾವು ನಾಲ್ಕು ವಿಭಿನ್ನ ತರಬೇತಿ ಪರಿದೃಶ್ಯಗಳನ್ನು ಶಾಖೆಯಾಗಿ ಸಂಯೋಜಿಸಿ, ನಂತರ ವಿಲೀನ ಮತ್ತು ಆಯ್ಕೆ ಹಂತವನ್ನು ಅನುಸರಿಸುತ್ತೇವೆ.

ನಾವು ಪ್ರಿಟ್ರೈನ್ಡ್ Qwen3 ಬೇಸ್ ಮಾದರಿಗಳಿಂದ (0.6B ಮತ್ತು 4B) ಪ್ರಾರಂಭಿಸುತ್ತೇವೆ ಮತ್ತು ಕಾರಣಿಕ ಗಮನ ಮುಖವಾಡವನ್ನು ನಿಷ್ಕ್ರಿಯಗೊಳಿಸುವ ಮೂಲಕ ಮತ್ತು ಡಿಫ್ಯೂಷನ್ ಡಿಹೋಯಿಂಗ್ ಉದ್ದೇಶದೊಂದಿಗೆ ತರಬೇತಿ ನೀಡುವ ಮೂಲಕ ಅವುಗಳನ್ನು ಕಾರಣಿಕ ಡಿಕೋಡರ್‌ಗಳಿಂದ ದ್ವಿಮುಖ ಎಕೋಡರ್‌ಗಳಾಗಿ ಪರಿವರ್ತಿಸುತ್ತೇವೆ. ಎಡದಿಂದ ಬಲಕ್ಕೆ ಟೋಕನ್‌ಗಳನ್ನು ಊಹಿಸುವ ಆಟೋರೆಗ್ರೆಸಿವ್ ಮಾದರಿಗಳಂತೆ ಅಲ್ಲದೆ, ಡಿಫ್ಯೂಷನ್ ತರಬೇತಿಯು ಪ್ರತಿಯೊಂದು ಮುಖವಾಡದ ಸ್ಥಾನದ ಸುತ್ತಲೂ ಪೂರ್ಣ ದ್ವಿಮುಖ ಸಂದರ್ಭವನ್ನು ಬಳಸಿಕೊಂಡು ಯಾದೃಚ್ಛಿಕವಾಗಿ ಮುಖವಾಡ ಮಾಡಲಾದ ಟೋಕನ್‌ಗಳನ್ನು ಮರುನಿರ್ಮಾಣ ಮಾಡಲು ಮಾದರಿಯನ್ನು ಒತ್ತಾಯಿಸುತ್ತದೆ. ಇದರರ್ಥ ಕಾಂಟ್ರಾಸ್ಟಿವ್ ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ಪ್ರಾರಂಭವಾಗುವ ಹೊತ್ತಿಗೆ, ಪ್ರತಿನಿಧಿಗಳು ಈಗಾಗಲೇ ದ್ವಿಮುಖ ಶ್ರುತಿಗಳನ್ನು ಎಕೋಡ್ ಮಾಡುತ್ತವೆ, ಇದು ಕಾರಣಿಕ ಪ್ರಾರಂಭಿಕ ಬಿಂದುಗಿಂತ ಮರುಪಡೆಯುವಿಕೆಗೆ ಬಲವಾದ ಅಳಿವಿಲ್ಲದ ಅಡಿಪಾಯವನ್ನು ಒದಗಿಸುತ್ತದೆ. ನಾವು 30 ಭಾಷೆಗಳನ್ನು ವ್ಯಾಪಿಸಿರುವ ಸುಮಾರು 250 ಬಿಲಿಯನ್ ಟೋಕನ್‌ಗಳ ಬಹುಭಾಷಾ ಪಠ್ಯದ ಮೇಲೆ ಪ್ರಿಟ್ರೈನ್ ಮಾಡುತ್ತೇವೆ. ಅಬ್ಲೇಶನ್‌ಗಳಲ್ಲಿ, ಡಿಫ್ಯೂಷನ್-ಪ್ರಿಟ್ರೈನ್ಡ್ ಬ್ಯಾಕ್‌ಬೋನ್‌ಗಳು ತಮ್ಮ ಕಾರಣಿಕ ಕೌಂಟರ್‌ಪಾರ್ಟ್‌ಗಳಿಗಿಂತ ಗಮನಾರ್ಹವಾಗಿ ಕಡಿಮೆ ಕಾಂಟ್ರಾಸ್ಟಿವ್ ತರಬೇತಿ ನಷ್ಟವನ್ನು ಸಾಧಿಸುತ್ತವೆ, ಇದು ಮರುಪಡೆಯುವಿಕೆ ಕಾರ್ಯಗಳಲ್ಲಿ ಸರಿಸುಮಾರು 1 ಶೇಕಡಾವಾರು ಸುಧಾರಣೆಗೆ ಅನುವಾದಿಸುತ್ತದೆ.

ಪ್ರಿಟ್ರೈನಿಂಗ್ ನಂತರ, ನಾವು ಕಾಂಟ್ರಾಸ್ಟಿವ್ ಕಲಿಕೆಯ ಮೂರು ಹಂತಗಳನ್ನು ನಿರ್ವಹಿಸುತ್ತೇವೆ. ಜೋಡಿ ತರಬೇತಿ ಇನ್‌-ಬ್ಯಾಚ್ ನೆಗೆಟಿವ್‌ಗಳೊಂದಿಗೆ InfoNCE ನಷ್ಟವನ್ನು ಬಳಸಿಕೊಂಡು ಪ್ರಶ್ನೆಗಳು ಮತ್ತು ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳ ನಡುವೆ ಮೂಲಭೂತ ಶ್ರುತಿ ಜೋಡನೆಯನ್ನು ಸ್ಥಾಪಿಸುತ್ತದೆ. ದೊಡ್ಡ ಬ್ಯಾಚ್ ಗಾತ್ರಗಳೊಂದಿಗೆ, ಕೆಲವು ಇನ್‌-ಬ್ಯಾಚ್ ನೆಗೆಟಿವ್‌ಗಳು ವಾಸ್ತವವಾಗಿ ಪಾಸಿಟಿವ್‌ನ ಹತ್ತಿರದ ನಕಲುಗಳಾಗಿವೆ, ಆದ್ದರಿಂದ ಈ ತಪ್ಪು ನೆಗೆಟಿವ್‌ಗಳು ತರಬೇತಿ ಸಂಕೇತವನ್ನು ಹಾಳುಮಾಡುವುದನ್ನು ತಡೆಯಲು ನಾವು ಹೋಲಿಕೆ-ಆಧಾರಿತ ಮುಖವಾಡವನ್ನು ಅನ್ವಯಿಸುತ್ತೇವೆ. ತರಬೇತಿಯು ಹಂತಗಳಲ್ಲಿ ಮುಂದುವರಿಯುತ್ತದೆ - ಇಂಗ್ಲಿಷ್-ಮಾತ್ರ, ನಂತರ ಕ್ರಾಸ್-ಲಿಂಗುವಲ್, ನಂತರ ಸಂಪೂರ್ಣವಾಗಿ ಬಹುಭಾಷಾ - ಎಲ್ಲವನ್ನೂ ಒಂದೇ ಬಾರಿಗೆ ಮಾಡುವ ಬದಲು ಕ್ರಮೇಣ ಸಾಮರ್ಥ್ಯವನ್ನು ನಿರ್ಮಿಸುತ್ತದೆ. ಪ್ರಾಸಂಗಿಕ ತರಬೇತಿ ನಂತರ ಚಂಕ್ ಮತ್ತು ಡಾಕ್ಯುಮೆಂಟ್ ಮಟ್ಟದಲ್ಲಿ ಅನುಕ್ರಮವಾಗಿ ಮತ್ತು ಇನ್-ಬ್ಯಾಚ್ ಕಾಂಟ್ರಾಸ್ಟ್ ಅನ್ನು ಸಂಯೋಜಿಸುವ ದ್ವಂದ್ವ ನಷ್ಟವನ್ನು ಬಳಸಿ ಡಾಕ್ಯುಮೆಂಟ್-ಹಂತದ ಸಂದರ್ಭಕ್ಕೆ ಸಂಬಂಧಿಸಿದಂತೆ ಮಾದರಿಗೆ ಚಂಕ್-ಹಂತದ ಶ್ರುತಿಗಳನ್ನು ಕಲಿಸುತ್ತದೆ - ಈ ಹಂತವು pplx-embed-context-v1 ಅನ್ನು ಉತ್ಪಾದಿಸುತ್ತದೆ. ಅಂತಿಮವಾಗಿ, ಗಣಿ ಮಾಡಲಾದ ಹಾರ್ಡ್ ನೆಗೆಟಿವ್‌ಗಳೊಂದಿಗೆ ಟ್ರಿಪ್ಲೆಟ್ ತರಬೇತಿ ಹೋಲುವ ಆದರೆ ಪ್ರಸ್ತುತವಲ್ಲದ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳ ನಡುವಿನ ಗಡಿಗಳನ್ನು ಪರಿಷ್ಕರಿಸುತ್ತದೆ. ಅಂತಿಮ pplx-embed-v1 ಗೋಳಾಕಾರದ ರೇಖೀಯ ಇಂಟರ್‌ಪೋಲೇಶನ್ (SLERP) ಮೂಲಕ ಪ್ರಾಸಂಗಿಕ ಮತ್ತು ಟ್ರಿಪ್ಲೆಟ್ ಚೆಕ್‌ಪಾಯಿಂಟ್‌ಗಳನ್ನು ವಿಲೀನಗೊಳಿಸುವ ಮೂಲಕ ಪಡೆಯಲಾಗುತ್ತದೆ.

ಎಲ್ಲಾ ಕಾಂಟ್ರಾಸ್ಟಿವ್ ಹಂತಗಳಾದ್ಯಂತ, ಎಂಬೆಡಿಂಗ್‌ಗಳನ್ನು ತರಬೇತಿ ಮತ್ತು ಇನ್‌ಫರೆನ್ಸ್ ಎರಡರಲ್ಲೂ INT8 ಗೆ ಕ್ವಾಂಟೈಸ್ ಮಾಡಲಾಗುತ್ತದೆ. ನಾವು tanh ಆಧಾರಿತ ಮೀನ್ ಪೂಲಿಂಗ್ ಕಾರ್ಯಾಚರಣೆಯನ್ನು ಅನ್ವಯಿಸಿ, ನಂತರ ರೌಂಡಿಂಗ್ ಮಾಡುತ್ತೇವೆ, ಮತ್ತು ವ್ಯುತ್ಪನ್ನಗೊಳಿಸಲಾಗದ ಕ್ವಾಂಟೈಜೇಶನ್ ಹಂತದ ಮೂಲಕ ಬ್ಯಾಕ್‌ಪ್ರೊಪಗೆಟ್ ಮಾಡಲು ಸ್ಟ್ರೇಟ್-ತ್ರು ಗ್ರೇಡಿಯಂಟ್ ಅಂದಾಜನ್ನು ಬಳಸುತ್ತೇವೆ. ಇದು ಮಾದರಿಯು ನಂತರದ ಸಂಕೋಚನೆಯಿಂದ ಉಂಟಾಗುವ ಕ್ಷಯವನ್ನು ಅನುಭವಿಸುವ ಬದಲು, ಆರಂಭದಿಂದಲೇ ಕಡಿಮೆ ನಿಖರತೆಗೆ ಆಪ್ಟಿಮೈಸ್ ಆಗಿರುವ ಪ್ರತಿನಿಧಿಕೆಗಳನ್ನು ಕಲಿಯುವುದನ್ನು ಖಚಿತಪಡಿಸುತ್ತದೆ. ಬೈನರಿ ಕ್ವಾಂಟೈಜೇಶನ್‌ಗಾಗಿ, 4B ಮಾದರಿಗಳು 0.6B ಗಿಂತ ಗಮನಾರ್ಹವಾಗಿ ಹೆಚ್ಚು ದೃಢವಾಗಿವೆ: ಅವುಗಳ ದೊಡ್ಡ ಎಂಬೆಡಿಂಗ್ ಆಯಾಮ (2560 vs. 1024) ಬೈನರೈಜೆಷನ್ ನಂತರ ಹೆಚ್ಚಿನ ಮಾಹಿತಿಯನ್ನು ಸಂರಕ್ಷಿಸುತ್ತದೆ, ಇದರಿಂದ ಸಣ್ಣ ಪ್ರಮಾಣದಲ್ಲಿನ 2–4 ಪಾಯಿಂಟ್‌ಗಳೊಂದಿಗೆ ಹೋಲಿಸಿದರೆ ಕಾರ್ಯಕ್ಷಮತೆಯ ಕುಸಿತವನ್ನು 1.6 ಶೇಕಡಾ ಪಾಯಿಂಟ್‌ಗಳಿಗಿಂತ ಕೆಳಗೆ ಮಿತಿಗೊಳಿಸುತ್ತದೆ.

MTEB(Multilingual, v2) ಮೇಲೆ ಹಿಂಪಡೆದು ತರುವುದು ಕಾರ್ಯಕ್ಷಮತೆ. INT8 ಮತ್ತು BINARY ನಿಖರತಾ ರೂಪಾಂತರಗಳೊಂದಿಗೆ ತೋರಿಸಲಾದ pplx-embed ಮಾದರಿಗಳು. ನಮ್ಮ 4B INT8 ಮಾದರಿ, FP32 ಪರ್ಯಾಯಗಳಿಗಿಂತ ಪ್ರತಿ GBಗೆ 4 ಪಟ್ಟು ಹೆಚ್ಚು ಪುಟಗಳನ್ನು ಸಂಗ್ರಹಿಸುತ್ತಾ ಸ್ಪರ್ಧಾತ್ಮಕ ಹಿಂಪಡೆದು ತರುವುದು ಗುಣಮಟ್ಟವನ್ನು ಸಾಧಿಸುತ್ತದೆ. ಬೈನರಿ ರೂಪಾಂತರವು ಕೇವಲ 1.5 ಅಂಕಗಳ ಕಾರ್ಯಕ್ಷಮತಾ ಕುಸಿತದೊಂದಿಗೆ ಪ್ರತಿ GBಗೆ 32 ಪಟ್ಟು ಹೆಚ್ಚು ಪುಟಗಳನ್ನು ಸಂಗ್ರಹಿಸುತ್ತದೆ.

MTEB(Multilingual, v2) ಮರುಪಡೆಯುವಿಕೆ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ನಲ್ಲಿ, pplx-embed-v1-4B (INT8) 69.66% ರ ಸರಾಸರಿ nDCG@10 ಅನ್ನು ಸಾಧಿಸುತ್ತದೆ, ಇದು Qwen3-Embedding-4B (69.60%) ಅನ್ನು ಹೊಂದಿಕೆಯಾಗುತ್ತದೆ ಮತ್ತು gemini-embedding-001 (67.71%) ಅನ್ನು ಮೀರುತ್ತದೆ, ಅದೇ ಸಮಯದಲ್ಲಿ ಪ್ರತಿ ಎಂಬೆಡಿಂಗ್‌ಗೆ ಗಣನೀಯವಾಗಿ ಕಡಿಮೆ ಶೇಖರಣೆಯ ಅಗತ್ಯವಿರುತ್ತದೆ. ನಮ್ಮ 0.6B ಮಾದರಿಯು ಅದೇ ಪ್ಯಾರಾಮೀಟರ್ ಸ್ಕೇಲ್‌ನಲ್ಲಿ ಅದರ Qwen3 ಕೌಂಟರ್‌ಪಾರ್ಟ್ ಅನ್ನು ಮೀರಿಸುತ್ತದೆ.

ConTEB ಬೆಂಚ್‌ಮಾರ್ಕ್‌ನಲ್ಲಿ ಪ್ರಾಸಂಗಿಕ ಮರುಪಡೆಯುವಿಕೆ ಕಾರ್ಯಕ್ಷಮತೆ. ಎಡ: ಪ್ರಾಸಂಗಿಕಗೊಳಿಸಿದ ಮಾದರಿಗಳು. ಬಲ: ಪ್ರಾಸಂಗಿಕಗೊಳಿಸದ ಮಾದರಿಗಳು. pplx-embed-context-v1-4B (INT8) 81.96 ರ ಅತ್ಯಧಿಕ ಸ್ಕೋರ್ ಅನ್ನು ಸಾಧಿಸುತ್ತದೆ, ನಂತರ voyage-context-3 (79.45) ಮತ್ತು pplx-embed-context-v1-0.6B (INT8) 76.53 ರಲ್ಲಿದೆ.

ಪ್ರಾಸಂಗಿಕ ಮರುಪಡೆಯುವಿಕೆಗಾಗಿ, pplx-embed-context-v1-4B 81.96% ರ ಸರಾಸರಿ nDCG@10 ನೊಂದಿಗೆ ConTEB ಬೆಂಚ್‌ಮಾರ್ಕ್‌ನಲ್ಲಿ ಹೊಸ ಅತ್ಯಾಧುನಿಕತೆಯನ್ನು ಸ್ಥಾಪಿಸುತ್ತದೆ, ಇದು voyage-context-3 (79.45%) ಮತ್ತು Anthropic Contextual (72.4%) ಅನ್ನು ಮೀರಿಸುತ್ತದೆ. ಡಾಕ್ಯುಮೆಂಟ್-ಹಂತದ ಶ್ರುತಿಗಳನ್ನು ಸಂಯೋಜಿಸುವ ಚಂಕ್-ಹಂತದ ಪ್ರತಿನಿಧಿಗಳಿಗೆ ತರಬೇತಿ ನೀಡುವ ಮೂಲಕ, ನಮ್ಮ ಮಾದರಿಗಳು ಸುತ್ತಮುತ್ತಲಿನ ಸಂದರ್ಭವನ್ನು ಅವಲಂಬಿಸಿರುವಾಗಲೂ ಸರಿಯಾದ ಪ್ಯಾಸೇಜ್ ಅನ್ನು ಮರುಪಡೆಯುತ್ತವೆ.

BERGEN ಬೆಂಚ್‌ಮಾರ್ಕ್ ಅನ್ನು ಬಳಸಿಕೊಂಡು ನಾವು ಅಂತ್ಯದಿಂದ ಅಂತ್ಯದ RAG ನಲ್ಲಿ ನಮ್ಮ ಮಾದರಿಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತೇವೆ, ಅಲ್ಲಿ ಮರುಪಡೆಯಲಾದ ಪ್ಯಾಸೇಜ್‌ಗಳನ್ನು ಉತ್ತರಗಳನ್ನು ಉತ್ಪಾದಿಸಲು ಭಾಷಾ ಮಾದರಿಗೆ ನೀಡಲಾಗುತ್ತದೆ. pplx-embed-v1-4B ಮೌಲ್ಯಮಾಪನಗೊಂಡ ಐದು ಪ್ರಶ್ನೆ-ಉತ್ತರ ಕಾರ್ಯಗಳಲ್ಲಿ ನಾಲ್ಕರಲ್ಲಿ Qwen3-Embedding-4B ಅನ್ನು ಮೀರಿಸುತ್ತದೆ. ಗಮನಾರ್ಹವಾಗಿ, pplx-embed-v1-0.6B ಐದು ಕಾರ್ಯಗಳಲ್ಲಿ ಮೂರರಲ್ಲಿ ದೊಡ್ಡ Qwen3-Embedding-4B ಅನ್ನು ಮೀರಿಸುತ್ತದೆ, ಪ್ರಾಯೋಗಿಕ RAG ಸೆಟ್ಟಿಂಗ್‌ಗಳಲ್ಲಿ ನಮ್ಮ ಸಣ್ಣ ಮಾದರಿಯು ಗಮನಾರ್ಹವಾಗಿ ದೊಡ್ಡ ಪ್ಯಾರಾಮೀಟರ್ ಸ್ಕೇಲ್‌ನಲ್ಲಿ ಪ್ರತಿಸ್ಪರ್ಧಿಯನ್ನು ಹೊಂದಿಕೆಯಾಗಬಹುದು ಅಥವಾ ಮೀರಿಸಬಹುದು ಎಂಬುದನ್ನು ಪ್ರದರ್ಶಿಸುತ್ತದೆ. ಈ ಮೌಲ್ಯಮಾಪನದ ಕುರಿತು ಹೆಚ್ಚಿನ ವಿವರಗಳಿಗಾಗಿ, ನಾವು ತಾಂತ್ರಿಕ ವರದಿಯನ್ನು ಉಲ್ಲೇಖಿಸುತ್ತೇವೆ.

ಸಾರ್ವಜನಿಕ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳು ಉಪಯುಕ್ತವಾಗಿವೆ, ಆದರೆ ಅವು ವೆಬ್-ಪ್ರಮಾಣದ ಮರುಪಡೆಯುವಿಕೆ ಸವಾಲುಗಳನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಸೆರೆಹಿಡಿಯುವುದಿಲ್ಲ: ದೀರ್ಘ-ಬಾಲದ ಪ್ರಶ್ನೆಗಳು, ಗದ್ದಲದ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳು ಮತ್ತು ಉತ್ಪಾದನಾ ಪರಿಸರಗಳನ್ನು ನಿರೂಪಿಸುವ ವಿತರಣಾ ಬದಲಾವಣೆಗಳು. ಆಚರಣೆಯಲ್ಲಿ ಯಾವುದು ಮುಖ್ಯ ಎಂಬುದನ್ನು ಅಳೆಯಲು, ನಾವು 1 ಬಿಲಿಯನ್ ವೆಬ್ ಪುಟಗಳಿಂದ ಸಂಗ್ರಹಿಸಲಾದ 30 ಮಿಲಿಯನ್ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳ ವಿರುದ್ಧ ಮೌಲ್ಯಮಾಪನ ಮಾಡಲಾದ 115K ನೈಜ-ಪ್ರಪಂಚದ ಪ್ರಶ್ನೆಗಳೊಂದಿಗೆ ಎರಡು ಆಂತರಿಕ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳನ್ನು ನಿರ್ಮಿಸಿದ್ದೇವೆ. PPLXQuery2Query ಎಂಬೆಡಿಂಗ್ ಮಾದರಿಯು ನೈಜ ಹುಡುಕಾಟ ದಟ್ಟಣೆಯಿಂದ ಶ್ರುತಿ ಸಮಾನವಾದ ಪ್ರಶ್ನೆಗಳನ್ನು ಗುರುತಿಸಬಹುದೇ ಎಂದು ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತದೆ; PPLXQuery2Doc 30M-ಪುಟದ ಕಾರ್ಪಸ್‌ನಿಂದ ಡಾಕ್ಯುಮೆಂಟ್ ಮರುಪಡೆಯುವಿಕೆಯನ್ನು ಅಳೆಯುತ್ತದೆ.

PPLXQuery2Query (2.4M ಕಾರ್ಪಸ್) ನಲ್ಲಿ, pplx-embed-v1-4B 73.5% Recall@10 ಅನ್ನು ಸಾಧಿಸುತ್ತದೆ, ಇದು Qwen3-Embedding-4B (67.9%) ಅನ್ನು 5.6 ಶೇಕಡಾವಾರು ಪಾಯಿಂಟ್‌ಗಳಿಂದ ಮೀರಿಸುತ್ತದೆ. ನಮ್ಮ 0.6B ಮಾದರಿಯು 71.1% Recall@10 ಅನ್ನು ಸಾಧಿಸುತ್ತದೆ, BGE-M3 (61.8%) ಮತ್ತು Qwen3-Embedding-0.6B (55.1%) ಅನ್ನು ಗಣನೀಯವಾಗಿ ಮೀರಿಸುತ್ತದೆ.

ಬಹುಭಾಷಾ PPLXQuery2Query (2.4M corpus) ಮತ್ತು PPLXQuery2Doc (30M corpus) ಹಿಂಪಡೆದು ತರುವುದು ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳು. pplx-embed-v1-4B (INT8) ಮತ್ತು pplx-embed-v1-0.6B (INT8) ಎರಡೂ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳಲ್ಲಿ ಮುಂಚೂಣಿಯಲ್ಲಿವೆ, ಮೊದಲ ಹಂತದ ಹಿಂಪಡೆದು ತರುವುದಕ್ಕಾಗಿ ದೊಡ್ಡ ಪ್ರಮಾಣದಲ್ಲಿ ಬಲವಾದ recall ಅನ್ನು ತೋರಿಸುತ್ತವೆ.

ಬಹುಭಾಷಾ PPLXQuery2Doc ಕಾರ್ಯದಲ್ಲಿ (30M ಕಾರ್ಪಸ್), pplx-embed-v1-4B 91.7% Recall@1000 ಸಾಧಿಸುತ್ತದೆ, ಇದು Qwen3-Embedding-4B ನ 88.6% ಗೆ ಹೋಲಿಸಿದರೆ. ದೊಡ್ಡ ರಿಟ್ರೀವಲ್ ಆಳಗಳಲ್ಲಿ ಉನ್ನತ ರಿಕಾಲ್ embedding ಮಾದರಿಗಳಿಗಾಗಿ ಅತ್ಯಂತ ಮಹತ್ವದ್ದಾಗಿದೆ, ಏಕೆಂದರೆ ಅವು ಬಹು-ಹಂತದ ರ್ಯಾಂಕಿಂಗ್ ಪೈಪ್‌ಲೈನ್‌ಗಳಲ್ಲಿ ಮೊದಲ-ಹಂತದ ರಿಟ್ರೀವರ್‌ಗಳಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ; ಇಲ್ಲಿ downstream rerankers ಗೆ ಪಾಸ್ ಆಗುವ ಸಂಬಂಧಿತ ಅಭ್ಯರ್ಥಿಗಳ ಸಂಖ್ಯೆಯನ್ನು ಗರಿಷ್ಠಗೊಳಿಸುವುದು ಅಂತಿಮ ಫಲಿತಾಂಶದ ಗುಣಮಟ್ಟವನ್ನು ನೇರವಾಗಿ ಪ್ರಭಾವಿಸುತ್ತದೆ.

ಎಲ್ಲಾ ಮಾದರಿಗಳು Hugging Face (MIT ಪರವಾನಗಿ ಅಡಿಯಲ್ಲಿ) ಮತ್ತು Perplexity API ಮೂಲಕ ಲಭ್ಯವಿವೆ. ನಾವು Transformers, SentenceTransformers, Text Embeddings Inference, ಮತ್ತು ONNX ಮೂಲಕ ಅನುಮಾನವನ್ನು ಬೆಂಬಲಿಸುತ್ತೇವೆ. ಪ್ರತಿ ಆಯ್ಕೆಯ ಸಂಪೂರ್ಣ ವಿವರಗಳಿಗಾಗಿ, Hugging Face ಮಾದರಿ ಸಂಗ್ರಹವನ್ನು ನೋಡಿ.

ಸಂಪೂರ್ಣ ತಾಂತ್ರಿಕ ವಿವರಗಳು ಮತ್ತು ಸಂಪೂರ್ಣ ಮೌಲ್ಯಮಾಪನ ಫಲಿತಾಂಶಗಳಿಗಾಗಿ, ನಮ್ಮ ತಾಂತ್ರಿಕ ವರದಿಯನ್ನು ಉಲ್ಲೇಖಿಸಿ.

BibTeX

@online{perplexity2026PplxEmbedStateOfTheArtEmbeddingModelsForWebScaleRetrieval,
  author = {{Perplexity} and Sedigheh Eslami and Maksim Gaiduk and Markus Krimmel and Louis Milliken and Bo Wang and Denis Bykov},
  title = {{pplx-embed: State-of-the-art embedding models for web-scale retrieval}},
  date = {2026-02-26},
  url = {https://perplexity.coolkeypoint.com/hub/blog/pplx-embed-state-of-the-art-embedding-models-for-web-scale-retrieval}
}

ಪ್ರೇರಣೆ

ಟ್ರೈನಿಂಗ್

ಮುಂದುವರಿದ ಡಿಫ್ಯೂಷನ್ ಪ್ರಿಟ್ರೈನಿಂಗ್

ಕಾಂಟ್ರಾಸ್ಟಿವ್ ತರಬೇತಿ

ಸ್ಥಳೀಯ ಕ್ವಾಂಟೈಸೇಶನ್

ಸಾರ್ವಜನಿಕ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳು

ಪ್ರಮಾಣದಲ್ಲಿ ನೈಜ-ಪ್ರಪಂಚದ ಮರುಪಡೆಯುವಿಕೆ

ಪ್ರಾರಂಭಿಸುವುದು

ಉಲ್ಲೇಖ