ಪಠ್ಯ ಎಂಬೆಡಿಂಗ್‌ಗಳ ವಿವರಣೆ: ಅವು ಹೇಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ [+ಉದಾಹರಣೆಗಳು]

ಟೆಕ್ಸ್ಟ್ ಎಂಬೆಡಿಂಗ್‌ಗಳ ಮೂಲ ಪರಿಕಲ್ಪನೆ ನಿಮಗೆ ಪರಿಚಿತವಾಗಿದ್ದು, ಅವುಗಳನ್ನು ಹೇಗೆ ಬಳಕೆಗೆ ತರುವುದು ಎಂದು ಯೋಚಿಸುತ್ತಿದ್ದರೆ, ನೀವು ಸರಿಯಾದ ಸ್ಥಳಕ್ಕೆ ಬಂದಿದ್ದೀರಿ. ನಾವು ವೆಕ್ಟರ್‌ಗಳು, ಟೋಕನೈಸೇಶನ್ ಮತ್ತು ಸಾಮ್ಯತೆ ಲೆಕ್ಕಾಚಾರವನ್ನು ವಿಶ್ಲೇಷಿಸುತ್ತೇವೆ, ಎಂಬೆಡಿಂಗ್ ಮಾಡೆಲ್‌ಗಳ ಮೌಲ್ಯಮಾಪನದ ಆಳಕ್ಕೆ ಇಳಿಯುತ್ತೇವೆ ಮತ್ತು ನೈಜ ಜಗತ್ತಿನ ಬಳಕೆಯ ಉದಾಹರಣೆಗಳನ್ನು ತೋರಿಸುತ್ತೇವೆ.

ಟೆಕ್ಸ್ಟ್ ಎಂಬೆಡಿಂಗ್‌ಗಳು ಎಂದರೇನು?

ಟೆಕ್ಸ್ಟ್ ಎಂಬೆಡಿಂಗ್‌ಗಳು ಪದಗಳು, ವಾಕ್ಯಗಳು ಅಥವಾ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳ ಅರ್ಥ ಮತ್ತು ಅವುಗಳ ನಡುವಿನ ಸಂಬಂಧಗಳನ್ನು ಸೆರೆಹಿಡಿಯುವ ಸಂಖ್ಯಾತ್ಮಕ ಪ್ರಾತಿನಿಧ್ಯಗಳಾಗಿವೆ. ಇವುಗಳನ್ನು ಎಂಬೆಡಿಂಗ್ ಮಾಡೆಲ್‌ಗಳು ಉತ್ಪಾದಿಸುತ್ತವೆ; ಅವು ಪಠ್ಯವನ್ನು ವೆಕ್ಟರ್‌ಗಳಾಗಿ ಪರಿವರ್ತಿಸುತ್ತವೆ — ಅಂದರೆ ಮೆಷಿನ್ ಲರ್ನಿಂಗ್ ಅಲ್ಗಾರಿದಮ್‌ಗಳು ಸಂಸ್ಕರಿಸಬಹುದಾದ ಮತ್ತು ಹೋಲಿಸಬಹುದಾದ ಸಂಖ್ಯೆಗಳ ಸರಣಿಗಳು.

ಪದಗಳು ಮತ್ತು ವಾಕ್ಯಗಳ ನಡುವಿನ ಸಂಬಂಧಗಳನ್ನು ಸಾಫ್ಟ್‌ವೇರ್ ಅಪ್ಲಿಕೇಶನ್‌ಗಳು ಗುರುತಿಸಲು ಸಹಾಯ ಮಾಡಲು ML ಎಂಜಿನಿಯರ್‌ಗಳು ಟೆಕ್ಸ್ಟ್ ಎಂಬೆಡಿಂಗ್‌ಗಳನ್ನು ಬಳಸುತ್ತಾರೆ. ಇದರಿಂದ ಅಪಾರ ಪ್ರಮಾಣದ ಡೇಟಾವನ್ನು ಹುಡುಕುವುದು, ವರ್ಗೀಕರಿಸುವುದು ಮತ್ತು ವಿಶ್ಲೇಷಿಸುವುದು ಸುಲಭವಾಗುತ್ತದೆ.

ನಿಮಗೆ ಪ್ರತಿದಿನ ಸಾವಿರಾರು ಸಪೋರ್ಟ್ ಟಿಕೆಟ್‌ಗಳು ಬರುತ್ತವೆ ಎಂದುಕೊಳ್ಳಿ. ಗ್ರಾಹಕರು ಊಹಿಸಬಹುದಾದ ಎಲ್ಲ ರೀತಿಯ ಸಮಸ್ಯೆಗಳನ್ನು ವರದಿ ಮಾಡುತ್ತಾರೆ, ಆದರೆ ನೀವು ಅವುಗಳನ್ನು ವರ್ಗೀಕರಿಸಿ ಲೇಬಲ್ ಮಾಡಬೇಕು. ಈ ಪ್ರಕ್ರಿಯೆಯನ್ನು ಸ್ವಯಂಚಾಲಿತಗೊಳಿಸುವ ಒಂದು ವಿಧಾನವೆಂದರೆ, ಪ್ರತಿ ಟಿಕೆಟ್ ಅನ್ನು ವೆಕ್ಟರ್ ಆಗಿ ಪರಿವರ್ತಿಸಲು ಪೂರ್ವತರಬೇತಿ ಪಡೆದ ಟೆಕ್ಸ್ಟ್ ಎಂಬೆಡಿಂಗ್ ಮಾಡೆಲ್ ಅನ್ನು ಬಳಸುವುದು.

ಉದಾಹರಣೆಗೆ, ಇಬ್ಬರು ಗ್ರಾಹಕರು ಈ ಕೆಳಗಿನ ಸಂದೇಶಗಳನ್ನು ಸಲ್ಲಿಸುತ್ತಾರೆ:

• “ನನ್ನ ಚಂದಾದಾರಿಕೆಗೆ ಎರಡು ಬಾರಿ ಶುಲ್ಕ ವಿಧಿಸಲಾಗಿದೆ”: [0.21, -0.47, 0.83, ...]
• “ನನ್ನ ಖಾತೆಯಲ್ಲಿ ಒಂದೇ ಪಾವತಿ ಎರಡು ಸಲ ದಾಖಲಾಗಿದೆ”: [0.19, -0.45, 0.80, ...]

ಇವು ಸರಳೀಕರಿಸಿದ, ವಿವರಣಾತ್ಮಕ ವೆಕ್ಟರ್‌ಗಳು.

ಗ್ರಾಹಕರು ಬೇರೆ ಬೇರೆ ಪದಗಳನ್ನು ಬಳಸಿದರೂ, ಅವರು ಒಂದೇ ಸಮಸ್ಯೆಯನ್ನು ವಿವರಿಸುತ್ತಿದ್ದಾರೆ. ಎಂಬೆಡಿಂಗ್ ಮಾಡೆಲ್ ಅವರ ವೆಕ್ಟರ್‌ಗಳನ್ನು ಗಣಿತೀಯ ಸ್ಪೇಸ್‌ನಲ್ಲಿ ಹತ್ತಿರ ಹತ್ತಿರ ಇರಿಸುವ ಮೂಲಕ ಈ ಸಂಬಂಧವನ್ನು ಸೆರೆಹಿಡಿಯುತ್ತದೆ. ಎರಡೂ ಟಿಕೆಟ್‌ಗಳನ್ನು ವರ್ಗೀಕರಿಸಿ ಬಿಲ್ಲಿಂಗ್ ತಂಡಕ್ಕೆ ಕಳುಹಿಸಲಾಗುತ್ತದೆ.

ವ್ಯವಹಾರದಲ್ಲಿ ಟೆಕ್ಸ್ಟ್ ಎಂಬೆಡಿಂಗ್‌ಗಳ ಬಳಕೆಯ ಉದಾಹರಣೆಗಳು

ಟೆಕ್ಸ್ಟ್ ಎಂಬೆಡಿಂಗ್‌ಗಳನ್ನು ಹಲವಾರು ನ್ಯಾಚುರಲ್ ಲ್ಯಾಂಗ್ವೇಜ್ ಪ್ರೊಸೆಸಿಂಗ್ (NLP) ಕಾರ್ಯಗಳಲ್ಲಿ ಬಳಸಲಾಗುತ್ತದೆ, ಅವುಗಳೆಂದರೆ:

• ಸೆಮ್ಯಾಂಟಿಕ್ ಹುಡುಕಾಟ: ಅರ್ಥದ ಆಧಾರದ ಮೇಲೆ ಸಂಬಂಧಿತ ಮಾಹಿತಿಯನ್ನು ಹುಡುಕುವುದು. ದಿನಸಿ ಗ್ರಾಹಕರು ಸಂಬಂಧಿತ ಉತ್ಪನ್ನಗಳನ್ನು ಕಂಡುಕೊಳ್ಳಲು ಸಹಾಯ ಮಾಡಲು Delivery Hero ಕೀವರ್ಡ್ ಹುಡುಕಾಟದ ಜೊತೆಗೆ ಉತ್ಪನ್ನ ಮತ್ತು ಕ್ವೆರಿ ಎಂಬೆಡಿಂಗ್‌ಗಳನ್ನು ಬಳಸುತ್ತದೆ. ಉದಾಹರಣೆಗೆ, “ಕಡಿಮೆ ಕೊಬ್ಬಿನ ಯೋಗರ್ಟ್” ಎಂಬ ಹುಡುಕಾಟವು ನಿಖರವಾದ ಪದ ಹೊಂದಾಣಿಕೆ ಇಲ್ಲದಿದ್ದರೂ ಗ್ರೀಕ್ ಯೋಗರ್ಟ್ ಅಥವಾ 0.5% ಕೊಬ್ಬಿನಂಶವಿರುವ ಯೋಗರ್ಟ್ ಅನ್ನು ತೋರಿಸಬಹುದು.
• ಟೆಕ್ಸ್ಟ್ ವರ್ಗೀಕರಣ: ಸ್ಪ್ಯಾಮ್ ಇಮೇಲ್‌ಗಳನ್ನು ಗುರುತಿಸುವುದು ಅಥವಾ ವಿಷಯದ ಪ್ರಕಾರ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳನ್ನು ವಿಂಗಡಿಸುವಂತೆ ಪಠ್ಯವನ್ನು ವರ್ಗೀಕರಿಸುವುದು. MindCraft.ai ಕಾರ್ಪೊರೇಟ್ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳನ್ನು ವರ್ಗೀಕರಿಸಲು ಮತ್ತು GDPR ಅನುಸರಣೆಗಾಗಿ ಸೂಕ್ಷ್ಮ ಮಾಹಿತಿಯನ್ನು ಗುರುತಿಸಲು ಟ್ರಾನ್ಸ್‌ಫಾರ್ಮರ್ ಆಧಾರಿತ ಟೆಕ್ಸ್ಟ್ ಎಂಬೆಡಿಂಗ್‌ಗಳು ಮತ್ತು ಮೆಷಿನ್ ಲರ್ನಿಂಗ್ ಬಳಸುವ ಡಾಕ್ಯುಮೆಂಟ್ ವರ್ಗೀಕರಣ ವ್ಯವಸ್ಥೆಯನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸಿದೆ.
• ಕ್ಲಸ್ಟರಿಂಗ್: ಪ್ಯಾಟರ್ನ್‌ಗಳನ್ನು ಗುರುತಿಸಲು ಒಂದೇ ರೀತಿಯ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳನ್ನು ಅಥವಾ ಪಠ್ಯದ ತುಣುಕುಗಳನ್ನು ಗುಂಪು ಮಾಡುವುದು. Doczy.ai ಒಪ್ಪಂದದ ಪಠ್ಯವನ್ನು ಎಂಬೆಡಿಂಗ್‌ಗಳಾಗಿ ಪರಿವರ್ತಿಸಿ, ಅರ್ಥದಲ್ಲಿ ಸಂಬಂಧಿಸಿದ ಷರತ್ತುಗಳು ಮತ್ತು ಪರಿಕಲ್ಪನೆಗಳನ್ನು ಗುಂಪು ಮಾಡುತ್ತದೆ — ಬೇರೆ ಬೇರೆ ಒಪ್ಪಂದಗಳು ಒಂದೇ ರೀತಿಯ ಬಾಧ್ಯತೆಗಳನ್ನು ವಿಭಿನ್ನ ಪದಗಳಲ್ಲಿ ವ್ಯಕ್ತಪಡಿಸಿದಾಗಲೂ ಸಹ.
• ರಿಟ್ರೀವಲ್-ಆಗ್ಮೆಂಟೆಡ್ ಜನರೇಷನ್ (RAG): LLM ಹೆಚ್ಚು ನಿಖರವಾದ, ಸಂದರ್ಭೋಚಿತ ಪ್ರತಿಕ್ರಿಯೆಗಳನ್ನು ಉತ್ಪಾದಿಸಲು ಬಳಸಬಹುದಾದ ಸಂಬಂಧಿತ ಮಾಹಿತಿಯನ್ನು ಮರುಪಡೆಯುವುದು. Ring ಸಂಸ್ಥೆಯು ಅಂತರರಾಷ್ಟ್ರೀಯ ಮಾರುಕಟ್ಟೆಗಳಲ್ಲಿ ಗ್ರಾಹಕರ ಪ್ರಶ್ನೆಗಳಿಗೆ ಉತ್ತರಗಳನ್ನು ಉತ್ಪಾದಿಸುವ ಮೊದಲು ಸಂಬಂಧಿತ ಸಪೋರ್ಟ್ ಡಾಕ್ಯುಮೆಂಟೇಶನ್ ಅನ್ನು ಮರುಪಡೆಯಲು, ಬಹುಭಾಷಾ RAG ಚಾಟ್‌ಬಾಟ್‌ನಲ್ಲಿ Amazon Titan ಟೆಕ್ಸ್ಟ್ ಎಂಬೆಡಿಂಗ್‌ಗಳನ್ನು ಬಳಸುತ್ತದೆ.
• ಶಿಫಾರಸು ವ್ಯವಸ್ಥೆಗಳು: ಪಠ್ಯದ ಸಾಮ್ಯತೆಗಳ ಆಧಾರದ ಮೇಲೆ ಸಂಬಂಧಿತ ಲೇಖನಗಳು, ಉತ್ಪನ್ನಗಳು ಅಥವಾ ಇತರ ವಿಷಯವನ್ನು ಸೂಚಿಸುವುದು. LinkedIn ನ JUDE ವ್ಯವಸ್ಥೆಯು ಉದ್ಯೋಗ ಶಿಫಾರಸುಗಳನ್ನು ಸುಧಾರಿಸಲು ಉದ್ಯೋಗ ವಿವರಣೆಗಳು ಮತ್ತು ಸದಸ್ಯರ ಪ್ರೊಫೈಲ್‌ಗಳ LLM-ಉತ್ಪಾದಿತ ಟೆಕ್ಸ್ಟ್ ಎಂಬೆಡಿಂಗ್‌ಗಳನ್ನು ಬಳಸುತ್ತದೆ ಮತ್ತು ಅಭ್ಯರ್ಥಿಗಳ ಹಿನ್ನೆಲೆ ಹಾಗೂ ಲಭ್ಯವಿರುವ ಹುದ್ದೆಗಳ ನಡುವಿನ ಸಂಬಂಧಗಳನ್ನು ಸೆರೆಹಿಡಿಯುತ್ತದೆ.
• ನೇಮ್ಡ್ ಎಂಟಿಟಿ ರೆಕಗ್ನಿಷನ್ (NER): ಪಠ್ಯದಲ್ಲಿರುವ ವ್ಯಕ್ತಿಗಳು, ಸಂಸ್ಥೆಗಳು ಮತ್ತು ಸ್ಥಳಗಳ ಹೆಸರುಗಳನ್ನು ಗುರುತಿಸಲು ಮತ್ತು ವರ್ಗೀಕರಿಸಲು ಸಹಾಯ ಮಾಡುವುದು. Amazon Health Services ಗ್ರಾಹಕರ ಕ್ವೆರಿಗಳಲ್ಲಿನ ರೋಗಗಳು, ರೋಗಲಕ್ಷಣಗಳು, ಔಷಧಿಗಳು ಮತ್ತು ಚಿಕಿತ್ಸೆಗಳಂತಹ ವೈದ್ಯಕೀಯ ಪರಿಕಲ್ಪನೆಗಳನ್ನು ಗುರುತಿಸಲು NER ಬಳಸುತ್ತದೆ. ಆ ತಿಳುವಳಿಕೆಯನ್ನು ಎಂಬೆಡಿಂಗ್ ಆಧಾರಿತ ಸಾಮ್ಯತೆ ಹುಡುಕಾಟದೊಂದಿಗೆ ಸಂಯೋಜಿಸಿ, ಕ್ವೆರಿಗಳನ್ನು ಸಂಬಂಧಿತ ಆರೋಗ್ಯ ಸೇವಾ ಉತ್ಪನ್ನಗಳು ಮತ್ತು ಸೇವೆಗಳೊಂದಿಗೆ ಜೋಡಿಸುತ್ತದೆ.
• ಮೆಷಿನ್ ಟ್ರಾನ್ಸ್‌ಲೇಷನ್: ಭಾಷೆಗಳ ನಡುವೆ ಪಠ್ಯವನ್ನು ಅನುವಾದಿಸುವ ಮಾಡೆಲ್‌ಗಳಿಗೆ ಬೆಂಬಲ ನೀಡುವುದು. Transglot ಈ ಹಿಂದೆ ಅನುವಾದಿಸಲಾದ, ಒಂದೇ ರೀತಿಯ ಅರ್ಥವಿರುವ ಪಠ್ಯಭಾಗಗಳನ್ನು ಗುರುತಿಸಲು ಸೆಮ್ಯಾಂಟಿಕ್ ಟ್ರಾನ್ಸ್‌ಲೇಷನ್ ಮೆಮೊರಿಯಲ್ಲಿ ಟೆಕ್ಸ್ಟ್ ಎಂಬೆಡಿಂಗ್‌ಗಳನ್ನು ಬಳಸುತ್ತದೆ. ಇದು ಸ್ಥಳೀಕರಣ ಕಾರ್ಯಪ್ರವಾಹಗಳಲ್ಲಿ ಈಗಾಗಲೇ ಇರುವ ಅನುವಾದಗಳನ್ನು ಮರುಬಳಕೆ ಮಾಡಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ.

ಟೆಕ್ಸ್ಟ್ ಎಂಬೆಡಿಂಗ್‌ಗಳು ಹೇಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ?

ಹಾಗಾದರೆ, ಪಠ್ಯದ ಒಂದು ತುಣುಕಿಗೆ ಯಾವ ಸಂಖ್ಯಾತ್ಮಕ ಮೌಲ್ಯಗಳನ್ನು ನಿಗದಿಪಡಿಸಬೇಕು ಎಂಬುದನ್ನು ಎಂಬೆಡಿಂಗ್ ಮಾಡೆಲ್ ಹೇಗೆ ನಿರ್ಧರಿಸುತ್ತದೆ, ಮತ್ತು ನಾವು ಅದನ್ನು ಏಕೆ ನಂಬಬೇಕು?

ಎಲ್ಲವೂ ತರಬೇತಿಯಿಂದ ಆರಂಭವಾಗುತ್ತದೆ. ಪದಗಳನ್ನು ಒಟ್ಟಿಗೆ ಹೇಗೆ ಬಳಸಲಾಗುತ್ತದೆ ಎಂಬುದರ ಪ್ಯಾಟರ್ನ್‌ಗಳನ್ನು ಹುಡುಕುತ್ತಾ, ಎಂಬೆಡಿಂಗ್ ಮಾಡೆಲ್‌ಗಳು ಬೃಹತ್ ಪಠ್ಯ ಸಂಗ್ರಹಗಳಿಂದ ಕಲಿಯುತ್ತವೆ. ಉದಾಹರಣೆಗೆ, Word2Vec ನಂತಹ ಸಾಂಪ್ರದಾಯಿಕ ಮಾಡೆಲ್‌ಗಳು ಸುತ್ತಲಿನ ಪದಗಳಿಂದ ಒಂದು ಪದವನ್ನು ಊಹಿಸುವ ಮೂಲಕ ಅಥವಾ ಇದರ ವಿರುದ್ಧವಾಗಿ ಕಲಿಯುತ್ತವೆ. ಆಧುನಿಕ ರಿಟ್ರೀವಲ್ ಕೇಂದ್ರಿತ ಮಾಡೆಲ್‌ಗಳು ಹೆಚ್ಚಾಗಿ ಕಾಂಟ್ರಾಸ್ಟಿವ್ ಲರ್ನಿಂಗ್ ಬಳಸುತ್ತವೆ. ಸಂಬಂಧವಿಲ್ಲದ ಕ್ವೆರಿ-ಡಾಕ್ಯುಮೆಂಟ್ ಜೋಡಿಗಳಿಗಿಂತ ಸಂಬಂಧಿತ ಜೋಡಿಗಳಿಗೆ ಹೆಚ್ಚಿನ ಸಾಮ್ಯತೆ ಸ್ಕೋರ್‌ಗಳನ್ನು ನೀಡುವಂತೆ ಅವುಗಳಿಗೆ ತರಬೇತಿ ನೀಡಲಾಗುತ್ತದೆ.

ವಿಸ್ತರಿಸಿ

ಮಾಡೆಲ್‌ಗೆ ತರಬೇತಿ ನೀಡಿದ ನಂತರ, ನೀವು ಅದಕ್ಕೆ ಹೊಸ ಪಠ್ಯದ ತುಣುಕನ್ನು ನೀಡಿದಾಗ ಏನಾಗುತ್ತದೆ ಎಂಬುದು ಇಲ್ಲಿದೆ:

1. ಟೋಕನೈಸೇಶನ್. ಮಾಡೆಲ್ ಮೊದಲು ಪಠ್ಯವನ್ನು ಟೋಕನ್‌ಗಳು ಎಂದು ಕರೆಯಲಾಗುವ ಸಣ್ಣ ತುಣುಕುಗಳಾಗಿ ವಿಭಜಿಸುತ್ತದೆ. ಇವು ಸಂಪೂರ್ಣ ಪದಗಳು, ಪದಗಳ ಭಾಗಗಳು ಅಥವಾ ವಿರಾಮ ಚಿಹ್ನೆಗಳಾಗಿರಬಹುದು. ಪ್ರತಿ ಟೋಕನ್‌ಗೆ ಮಾಡೆಲ್‌ನ ಶಬ್ದಕೋಶದಿಂದ ಒಂದು ಸಂಖ್ಯಾತ್ಮಕ ID ಸಿಗುತ್ತದೆ; ಅದಕ್ಕೆ ಸ್ವತಃ ಯಾವುದೇ ಅರ್ಥವಿರುವುದಿಲ್ಲ.
2. ಎನ್‌ಕೋಡಿಂಗ್ ಮತ್ತು ಪೂಲಿಂಗ್. ತರಬೇತಿಯ ಸಮಯದಲ್ಲಿ ಕಲಿತ ಪ್ಯಾಟರ್ನ್‌ಗಳನ್ನು ಬಳಸಿ ಮಾಡೆಲ್ ಈ ಟೋಕನ್‌ಗಳನ್ನು ಸಂಸ್ಕರಿಸಿ ಒಂದು ವೆಕ್ಟರ್ ಅನ್ನು ಉತ್ಪಾದಿಸುತ್ತದೆ. ವೆಕ್ಟರ್‌ನಲ್ಲಿರುವ ಪ್ರತಿಯೊಂದು ಸಂಖ್ಯೆಯು ಒಂದು ನಿರ್ದೇಶಾಂಕ ಅಥವಾ ಘಟಕ ಆಗಿರುತ್ತದೆ, ಮತ್ತು ಆಯಾಮ ಎಂದರೆ ಆ ಸಂಖ್ಯೆಯು ವೆಕ್ಟರ್‌ನ ಸ್ಥಾನವನ್ನು ನಿರ್ಧರಿಸುವ ಅಕ್ಷ. ಪ್ರತಿಯೊಂದು ಮೌಲ್ಯವೂ ಎಂಬೆಡಿಂಗ್ ಸ್ಪೇಸ್ ಎಂದು ಕರೆಯಲಾಗುವ ಗಣಿತೀಯ ಸ್ಪೇಸ್‌ನಲ್ಲಿ ಪಠ್ಯದ ಸ್ಥಾನಕ್ಕೆ ಕೊಡುಗೆ ನೀಡುತ್ತದೆ.
3. ಸಾಮ್ಯತೆ ಲೆಕ್ಕಾಚಾರ. ಸಂಬಂಧಿತ ಪಠ್ಯವನ್ನು ಹುಡುಕಲು, ರಿಟ್ರೀವಲ್ ವ್ಯವಸ್ಥೆಯು ಕೊಸೈನ್ ಸಾಮ್ಯತೆ ಅಥವಾ ಡಾಟ್ ಪ್ರಾಡಕ್ಟ್ ನಂತಹ ಸಾಮ್ಯತೆ ಅಳತೆಯನ್ನು ಬಳಸಿ ಕ್ವೆರಿ ಎಂಬೆಡಿಂಗ್ ಅನ್ನು ಡಾಕ್ಯುಮೆಂಟ್ ಎಂಬೆಡಿಂಗ್‌ಗಳೊಂದಿಗೆ ಹೋಲಿಸುತ್ತದೆ.

ಉದಾಹರಣೆಗೆ, ಆನ್‌ಲೈನ್ ಮಳಿಗೆಗಳು ಬಳಕೆದಾರರ ಕ್ವೆರಿಗೆ ಹೊಂದುವ ವಸ್ತುಗಳನ್ನು ಹೀಗೆಯೇ ತೋರಿಸುತ್ತವೆ.

ಪದ, ವಾಕ್ಯ ಮತ್ತು ಡಾಕ್ಯುಮೆಂಟ್ ಎಂಬೆಡಿಂಗ್‌ಗಳ ನಡುವಿನ ವ್ಯತ್ಯಾಸವೇನು?

ವಿಸ್ತರಿಸಿ

ಮುಖ್ಯ ವ್ಯತ್ಯಾಸವೆಂದರೆ, ಪ್ರತಿ ಎಂಬೆಡಿಂಗ್ ಒಂದೇ ವೆಕ್ಟರ್‌ನಲ್ಲಿ ಎಷ್ಟು ಪಠ್ಯವನ್ನು ಪ್ರತಿನಿಧಿಸುತ್ತದೆ ಎಂಬುದು. ನೀವು ಯಾವ ಮಾಹಿತಿಯನ್ನು ಸೆರೆಹಿಡಿಯಲು ಬಯಸುತ್ತೀರಿ ಎಂಬುದರ ಆಧಾರದ ಮೇಲೆ, ಪ್ರತ್ಯೇಕ ಪದಗಳು, ಸಂಪೂರ್ಣ ವಾಕ್ಯಗಳು ಅಥವಾ ಇಡೀ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳಿಗೆ ಎಂಬೆಡಿಂಗ್‌ಗಳನ್ನು ರಚಿಸಬಹುದು.

• ಪದ ಎಂಬೆಡಿಂಗ್‌ಗಳು ಪ್ರತ್ಯೇಕ ಪದಗಳ ನಡುವಿನ ಸಂಬಂಧಗಳನ್ನು ಸೆರೆಹಿಡಿಯುತ್ತವೆ; ಉದಾಹರಣೆಗೆ, “ಸೇವಾ ಸ್ಥಗಿತ” ಮತ್ತು “ಡೌನ್‌ಟೈಮ್” ಸಂಬಂಧಿತ ಪರಿಕಲ್ಪನೆಗಳು ಎಂಬುದನ್ನು ಅವು ಗುರುತಿಸುತ್ತವೆ.
• ವಾಕ್ಯ ಎಂಬೆಡಿಂಗ್‌ಗಳು ಸಂಪೂರ್ಣ ವಾಕ್ಯಗಳ ಅರ್ಥವನ್ನು ಗ್ರಹಿಸುತ್ತವೆ — ಆ ವಾಕ್ಯಗಳು ಒಂದೇ ಆಲೋಚನೆಯನ್ನು ಬೇರೆ ಬೇರೆ ಪದಗಳಲ್ಲಿ ವ್ಯಕ್ತಪಡಿಸಿದಾಗಲೂ ಸಹ.
• ಡಾಕ್ಯುಮೆಂಟ್ ಎಂಬೆಡಿಂಗ್‌ಗಳು ಪ್ರತಿ ವಾಕ್ಯಕ್ಕೂ ಪ್ರತ್ಯೇಕ ವೆಕ್ಟರ್ ರಚಿಸುವ ಬದಲು, ಸಂಪೂರ್ಣ ಡಾಕ್ಯುಮೆಂಟ್ ಅನ್ನು ಒಂದೇ ವೆಕ್ಟರ್ ಆಗಿ ಪ್ರತಿನಿಧಿಸುತ್ತವೆ. ಇದು ಸಾಮಾನ್ಯ ವಿಷಯವನ್ನು ಉಳಿಸಿಕೊಳ್ಳಲು ಮತ್ತು ಅದೇ ವಿಷಯವನ್ನು ಒಳಗೊಂಡ ಇತರ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳನ್ನು ಹುಡುಕಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ; ಆದರೆ, ವಿವರಗಳನ್ನು ಮರುಪಡೆಯುವುದು ಕಷ್ಟವಾಗಬಹುದು (ಅಥವಾ ಅಸಾಧ್ಯವೂ ಆಗಬಹುದು).

ಎಷ್ಟು ಸೂಕ್ಷ್ಮ ಮಟ್ಟಕ್ಕೆ ಹೋಗಬೇಕು? ಸರಿಯಾದ ಮಟ್ಟವು ನಿಮ್ಮ ಡೇಟಾ ಮತ್ತು ನೀವು ಏನನ್ನು ಸಾಧಿಸಲು ಪ್ರಯತ್ನಿಸುತ್ತಿದ್ದೀರಿ ಎಂಬುದರ ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿರುತ್ತದೆ.

ದೊಡ್ಡ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳಿಗೆ, ಪಠ್ಯವನ್ನು ಸಣ್ಣ ಚಂಕ್‌ಗಳಾಗಿ ವಿಭಜಿಸಿ ಪ್ರತಿಯೊಂದಕ್ಕೂ ಪ್ರತ್ಯೇಕ ಎಂಬೆಡಿಂಗ್ ಉತ್ಪಾದಿಸುವುದು ಸಾಮಾನ್ಯ ಅಭ್ಯಾಸ. ಈ ರೀತಿಯಲ್ಲಿ, ನಿಮಗೆ ಡಾಕ್ಯುಮೆಂಟ್‌ನ ಒಟ್ಟಾರೆ ಅರ್ಥ ಮತ್ತು ಡಾಕ್ಯುಮೆಂಟ್ ಎಂಬೆಡಿಂಗ್‌ಗಳಲ್ಲಿ ಕಳೆದುಹೋಗಬಹುದಾದ ನಿರ್ದಿಷ್ಟ ವಿವರಗಳು — ಈ ಎರಡೂ ಸಿಗುತ್ತವೆ.

ಚಂಕ್ ಗಾತ್ರವು ಎಂಬೆಡಿಂಗ್‌ಗಳ ಗುಣಮಟ್ಟದ ಮೇಲೆ ಎಷ್ಟು ಪರಿಣಾಮ ಬೀರುತ್ತದೆ?

ಸಾಕಷ್ಟು ಪರಿಣಾಮ ಬೀರುತ್ತದೆ. Rahul Kumar (Xenoss ನಲ್ಲಿ AI ಎಂಜಿನಿಯರಿಂಗ್‌ನ VP) ಅವರ ಪ್ರಕಾರ, ಪ್ರಮುಖ ಸಂದರ್ಭವನ್ನು ಕಳೆದುಕೊಳ್ಳದೆ ಒಂದು ಸಂಪೂರ್ಣ ಆಲೋಚನೆಯನ್ನು ಸೆರೆಹಿಡಿಯುವ ಚಂಕ್ ಗಾತ್ರವನ್ನು ಕಂಡುಕೊಳ್ಳುವುದೇ ಸವಾಲು. ಅವರು ಈ ಲಾಭ-ನಷ್ಟದ ಸಮತೋಲನವನ್ನು ಹೀಗೆ ವಿವರಿಸುತ್ತಾರೆ:

“ಒಂದು ಎಂಬೆಡಿಂಗ್ ಎಷ್ಟು ಅರ್ಥಾತ್ಮಕ ಸಂದರ್ಭವನ್ನು ಹೊತ್ತೊಯ್ಯುತ್ತದೆ ಎಂಬುದನ್ನು ಚಂಕ್ ಗಾತ್ರ ನಿರ್ಧರಿಸುತ್ತದೆ. ದೊಡ್ಡ ಚಂಕ್ ವೆಕ್ಟರ್‌ಗೆ ಹೆಚ್ಚು ಸಂದರ್ಭವನ್ನು ನೀಡುತ್ತದೆ, ಆದರೆ ಅದು ಹೆಚ್ಚು ವಿಷಯಗಳನ್ನು ಒಂದೇ ವೆಕ್ಟರ್‌ನಲ್ಲಿ ಸರಾಸರಿಗೊಳಿಸುತ್ತದೆ. ಮೂರು ವಿಷಯಗಳನ್ನು ಒಳಗೊಂಡ ಚಂಕ್ ಮಧ್ಯದಲ್ಲಿ ಬಂದು ನಿಲ್ಲುತ್ತದೆ ಮತ್ತು ಅವುಗಳಲ್ಲಿ ಯಾವುದಕ್ಕೂ ಸರಿಯಾಗಿ ಹೊಂದುವುದಿಲ್ಲ. ಸಣ್ಣ ಚಂಕ್ ಅರ್ಥವನ್ನು ಸ್ಪಷ್ಟವಾಗಿ ಇರಿಸುತ್ತದೆ, ಆದರೆ ಅದನ್ನು ಹುಡುಕಲು ಸಾಧ್ಯವಾಗಿಸಿದ್ದ ಸಂದರ್ಭವನ್ನೇ ಕಳೆದುಕೊಳ್ಳಬಹುದು.”

ಅದಕ್ಕಾಗಿಯೇ Kumar ಅವರು ಒಂದೇ ಸ್ಥಿರ ಗಾತ್ರಕ್ಕೆ ಅಂಟಿಕೊಳ್ಳುವ ಬದಲು ವಿಷಯದ ಆಧಾರದ ಮೇಲೆ ಚಂಕಿಂಗ್ ತಂತ್ರವನ್ನು ಆಯ್ಕೆ ಮಾಡಲು ಶಿಫಾರಸು ಮಾಡುತ್ತಾರೆ. ಅವರ ಮಾತಿನಲ್ಲೇ ಹೇಳುವುದಾದರೆ, “ಓವರ್‌ಲ್ಯಾಪ್ ಇರುವ ಸ್ಥಿರ ಗಾತ್ರದ ಚಂಕಿಂಗ್ ಇಮೇಲ್‌ಗಳು ಅಥವಾ ಸ್ಕ್ರೇಪ್ ಮಾಡಿದ ವೆಬ್ ಪುಟಗಳಂತಹ ಏಕರೂಪದ ಪಠ್ಯಕ್ಕೆ ಮಾತ್ರ ಸೂಕ್ತ.”

ಒಪ್ಪಂದಗಳು ಅಥವಾ ನೀತಿಗಳಂತಹ ರಚನಾತ್ಮಕ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳಿಗೆ, ರಿಕರ್ಸಿವ್ ಮತ್ತು ರಚನೆಯನ್ನು ಗಮನಿಸುವ ವಿಭಜನೆ ಹೆಚ್ಚು ಸೂಕ್ತ. ಅದೇ ವೇಳೆ, ಸೆಮ್ಯಾಂಟಿಕ್ ಚಂಕಿಂಗ್ ಟ್ರಾನ್ಸ್‌ಕ್ರಿಪ್ಟ್‌ಗಳಿಗೆ ಚೆನ್ನಾಗಿ ಕೆಲಸ ಮಾಡಬಹುದು, ಏಕೆಂದರೆ ಅದು ವಿಷಯ ಅಥವಾ ಅರ್ಥ ಬದಲಾಗುವ ಕಡೆ ಪಠ್ಯವನ್ನು ವಿಭಜಿಸುತ್ತದೆ.

ಟೆಕ್ಸ್ಟ್ ಎಂಬೆಡಿಂಗ್‌ಗಳು ಮತ್ತು ಕೀವರ್ಡ್ ಹುಡುಕಾಟದ ಹೋಲಿಕೆ

ಸರಳವಾಗಿ ಕೀವರ್ಡ್‌ಗಳನ್ನು ಹುಡುಕಬಹುದಾದಾಗ ಟೆಕ್ಸ್ಟ್ ಎಂಬೆಡಿಂಗ್‌ಗಳನ್ನು ಏಕೆ ಬಳಸಬೇಕು? ಏಕೆಂದರೆ ಕೀವರ್ಡ್ ಹುಡುಕಾಟ ಪದಗಳ ಹೊಂದಾಣಿಕೆಯನ್ನು ಅವಲಂಬಿಸುತ್ತದೆ, ಆದರೆ ಎಂಬೆಡಿಂಗ್ ಆಧಾರಿತ ಸೆಮ್ಯಾಂಟಿಕ್ ಹುಡುಕಾಟ ಕ್ವೆರಿ ಮತ್ತು ಡಾಕ್ಯುಮೆಂಟ್ ಬೇರೆ ಬೇರೆ ಪದಗಳನ್ನು ಬಳಸಿದಾಗಲೂ ಸಂಬಂಧಿತ ಮಾಹಿತಿಯನ್ನು ಮರುಪಡೆಯಬಲ್ಲದು.

ಆದರೆ ಅರ್ಥಾತ್ಮಕ ಸಾಮ್ಯತೆ ಎಂದರೆ ಯಾವಾಗಲೂ ಪ್ರಸ್ತುತತೆ ಎಂದಲ್ಲ. AI Builder Academy ಯ ಸಂಸ್ಥಾಪಕ Shaw Talebi ಅವರು ರೆಸ್ಯೂಮ್ ಹುಡುಕಾಟ ವ್ಯವಸ್ಥೆಯನ್ನು ಬಳಸಿ ಈ ಮಿತಿಯನ್ನು ಪ್ರದರ್ಶಿಸುತ್ತಾರೆ. Talebi ಅವರ ಉದಾಹರಣೆಯಲ್ಲಿ, “Apache Airflow ಅನುಭವವಿರುವ ಡೇಟಾ ಎಂಜಿನಿಯರ್” ಎಂದು ಹುಡುಕಿದಾಗ, ಮೊದಲ ಐದು ಫಲಿತಾಂಶಗಳಲ್ಲಿ ಕೇವಲ ಒಂದು ಮಾತ್ರ Apache Airflow ಅನ್ನು ಉಲ್ಲೇಖಿಸಿತ್ತು, ಮತ್ತು ಅದು ಮೂರನೇ ಸ್ಥಾನದಲ್ಲಿತ್ತು — ಡೇಟಾಸೆಟ್‌ನಲ್ಲಿನ ಇನ್ನೂ ಮೂರು ರೆಸ್ಯೂಮ್‌ಗಳಲ್ಲಿ ಆ ಕೌಶಲ್ಯವನ್ನು ಪಟ್ಟಿ ಮಾಡಲಾಗಿದ್ದರೂ ಸಹ.

ಇದರರ್ಥ, ಪರಿಕಲ್ಪನಾತ್ಮಕವಾಗಿ ಸಂಬಂಧಿತ ಮಾಹಿತಿಯನ್ನು ಹುಡುಕಲು ಸೆಮ್ಯಾಂಟಿಕ್ ಹುಡುಕಾಟ ಉಪಯುಕ್ತ, ಆದರೆ ತಾಂತ್ರಿಕ ಕೌಶಲ್ಯಗಳು, ಉತ್ಪನ್ನ ಗುರುತು ಸಂಖ್ಯೆಗಳು ಅಥವಾ ದೋಷ ಕೋಡ್‌ಗಳಂತಹ ನಿಖರ ಅವಶ್ಯಕತೆಗಳನ್ನು ಅದು ತಪ್ಪಿಸಿಕೊಳ್ಳಬಹುದು.

ಈ ಸಮಸ್ಯೆಯನ್ನು ಸರಿಪಡಿಸಲು, ರಿಟ್ರೀವಲ್ ವ್ಯವಸ್ಥೆ ಎಲ್ಲಿ ಎಡವುತ್ತದೆ ಎಂಬುದರ ಆಧಾರದ ಮೇಲೆ ರಿಟ್ರೀವಲ್ ವಿಧಾನವನ್ನು ಆಯ್ಕೆ ಮಾಡಲು Rahul Kumar ಶಿಫಾರಸು ಮಾಡುತ್ತಾರೆ:

• ಹೈಬ್ರಿಡ್ ಹುಡುಕಾಟ (ಕೀವರ್ಡ್ ಹೊಂದಾಣಿಕೆ ಮತ್ತು ಸೆಮ್ಯಾಂಟಿಕ್ ಹುಡುಕಾಟದ ಸಂಯೋಜನೆ), ಕ್ವೆರಿಗಳಲ್ಲಿ SKU ಗಳು, ದೋಷ ಕೋಡ್‌ಗಳು ಅಥವಾ ಕಾನೂನು ಉಲ್ಲೇಖಗಳಂತಹ ನಿಖರ ಪದಗಳು ಇದ್ದಾಗ ಡೀಫಾಲ್ಟ್ ಆಯ್ಕೆಯಾಗಿರುತ್ತದೆ.
• ರೀರ್ಯಾಂಕರ್‌ಗಳು, ಮರುಪಡೆದ ಸಂದರ್ಭದಿಂದ ಉತ್ಪಾದಿಸಿದ ಉತ್ತರಗಳಂತಹ ಸಂದರ್ಭಗಳಲ್ಲಿ ಮೊದಲ ಕೆಲವು ಫಲಿತಾಂಶಗಳು ಮಾತ್ರ ಮುಖ್ಯವಾದಾಗ, ತಮ್ಮ ವೆಚ್ಚಕ್ಕೆ ತಕ್ಕ ಮೌಲ್ಯವನ್ನು ನೀಡುತ್ತವೆ.
• ಗ್ರಾಫ್ ರಿಟ್ರೀವಲ್, ಉತ್ತರವು ಹಲವು ಸಂಪರ್ಕಿತ ಡೇಟಾ ಮೂಲಗಳಲ್ಲಿ ಹರಡಿಕೊಂಡಿರುವಾಗ ಸಹಾಯಕವಾಗುತ್ತದೆ.

ತಮ್ಮ ತಂಡ ಈ ವಿಧಾನಗಳನ್ನು ಹೇಗೆ ಕಾರ್ಯರೂಪಕ್ಕೆ ತಂದಿತು ಎಂಬುದನ್ನೂ Kumar ಹಂಚಿಕೊಂಡಿದ್ದಾರೆ. ಒಂದು ಪ್ರಾಜೆಕ್ಟ್‌ನಲ್ಲಿ, ಅವರು BM25 ಕೀವರ್ಡ್ ಹುಡುಕಾಟ ಮತ್ತು ವೆಕ್ಟರ್ ಹುಡುಕಾಟವನ್ನು ಜೊತೆಜೊತೆಯಾಗಿ ನಡೆಸಿ, ರೆಸಿಪ್ರೋಕಲ್ ರ್ಯಾಂಕ್ ಫ್ಯೂಷನ್ (RRF) ಬಳಸಿ ಫಲಿತಾಂಶಗಳನ್ನು ವಿಲೀನಗೊಳಿಸಿದರು, ಮತ್ತು ಮೊದಲ 124 ಫಲಿತಾಂಶಗಳನ್ನು 6 ಕ್ಕೆ ಇಳಿಸಲು LLM ಬಳಸಿ ರೀರ್ಯಾಂಕ್ ಮಾಡಿದರು.

“ಒಂದೇ ರೀತಿಯ ಲೇಟೆಂಟ್ ಸ್ಪೇಸ್‌ಗಳನ್ನು ಹುಡುಕುವ ವೆಕ್ಟರ್ ಹುಡುಕಾಟ ಮತ್ತು ನಂತರದ ಎರಡು-ಹಾಪ್ ಗ್ರಾಫ್ ವಾಕ್‌ನೊಂದಿಗೆ ಗ್ರಾಫ್-ಫಸ್ಟ್ ರಿಟ್ರೀವಲ್‌ಗೆ ಬದಲಾದಾಗ, ರ್ಯಾಂಕಿಂಗ್ ಗುಣಮಟ್ಟ (nDCG) 0.58 ರಿಂದ 0.67 ಕ್ಕೆ ಏರಿತು ಮತ್ತು p90 ರಿಟ್ರೀವಲ್ ಸಮಯ 19s ನಿಂದ 3s ಗಿಂತ ಕಡಿಮೆಗೆ ಇಳಿಯಿತು,” ಎಂದು Kumar ಹೇಳುತ್ತಾರೆ.

ಟೆಕ್ಸ್ಟ್ ಎಂಬೆಡಿಂಗ್ ಮಾಡೆಲ್‌ಗಳ ವಿಧಗಳು

ಸ್ಥೂಲವಾಗಿ ಹೇಳುವುದಾದರೆ, ಎಲ್ಲ ಎಂಬೆಡಿಂಗ್ ಮಾಡೆಲ್‌ಗಳು ಒಂದೇ ಕೆಲಸವನ್ನು ಮಾಡುತ್ತವೆ — ಪಠ್ಯದಲ್ಲಿನ ಸಂಬಂಧಗಳನ್ನು ಕಲಿಯುತ್ತವೆ. ಆದರೆ, ಅವುಗಳಿಗೆ ಯಾವ ಕೆಲಸಕ್ಕಾಗಿ ತರಬೇತಿ ನೀಡಲಾಗಿದೆ, ಅವು ಯಾವ ಮಾಹಿತಿಯನ್ನು ಪರಿಗಣಿಸುತ್ತವೆ ಮತ್ತು ಯಾವ ಕಾರ್ಯಗಳನ್ನು ನಿರ್ವಹಿಸಲು ಅವುಗಳನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ ಎಂಬುದರಲ್ಲಿ ಅವು ಭಿನ್ನವಾಗಿರುತ್ತವೆ.

ಸ್ಟ್ಯಾಟಿಕ್ ಪದ ಎಂಬೆಡಿಂಗ್ ಮಾಡೆಲ್‌ಗಳು

ಸಾಂಪ್ರದಾಯಿಕ ಪದ ಎಂಬೆಡಿಂಗ್ ಮಾಡೆಲ್‌ಗಳು ಬೃಹತ್ ಪಠ್ಯ ಸಂಗ್ರಹಗಳಲ್ಲಿನ ಪದ ಬಳಕೆಯ ಪ್ಯಾಟರ್ನ್‌ಗಳ ಆಧಾರದ ಮೇಲೆ ಪದಗಳ ಡೆನ್ಸ್ ಸಂಖ್ಯಾತ್ಮಕ ಪ್ರಾತಿನಿಧ್ಯಗಳನ್ನು ಕಲಿಯುತ್ತವೆ. ಈ ಎಂಬೆಡಿಂಗ್‌ಗಳು ಸ್ಟ್ಯಾಟಿಕ್ ಆಗಿರುತ್ತವೆ, ಅಂದರೆ ನಿರ್ದಿಷ್ಟ ಸಂದರ್ಭದಲ್ಲಿ ಪದದ ಅರ್ಥ ಏನೇ ಇರಲಿ, ಪ್ರತಿ ಪದಕ್ಕೂ ಒಂದೇ ವೆಕ್ಟರ್ ಸಿಗುತ್ತದೆ.

ಎರಡು ಪ್ರಸಿದ್ಧ ವಿಧಾನಗಳು ಹೀಗಿವೆ:

• Word2Vec: 2013 ರಲ್ಲಿ Google ಅಭಿವೃದ್ಧಿಪಡಿಸಿದ ಇದು, ಎರಡು ಆರ್ಕಿಟೆಕ್ಚರ್‌ಗಳನ್ನು ಬಳಸಿ ನೆರೆಯ ಪದಗಳಿಂದ ಪ್ರಾತಿನಿಧ್ಯಗಳನ್ನು ಕಲಿಯುತ್ತದೆ: ನೆರೆಯ ಪದಗಳಿಂದ ಒಂದು ಪದವನ್ನು ಊಹಿಸುವ Continuous Bag of Words (CBOW), ಮತ್ತು ನೀಡಲಾದ ಪದದಿಂದ ನೆರೆಯ ಪದಗಳನ್ನು ಊಹಿಸುವ skip-gram.
• GloVe (Global Vectors for Word Representation): 2014 ರಲ್ಲಿ Stanford ನಲ್ಲಿ ಅಭಿವೃದ್ಧಿಪಡಿಸಲಾದ ಇದು, ಪದಗಳ ನಡುವಿನ ಸಂಬಂಧಗಳನ್ನು ಕಲಿಯಲು ಪದಗಳ ಸಹ-ಸಂಭವಿಸುವಿಕೆಯ (co-occurrence) ಅಂಕಿಅಂಶಗಳನ್ನು ಬಳಸುತ್ತದೆ.

ಸಂದರ್ಭೋಚಿತ ಭಾಷಾ ಮಾಡೆಲ್‌ಗಳು

ಸ್ಟ್ಯಾಟಿಕ್ ಎಂಬೆಡಿಂಗ್‌ಗಳಿಗಿಂತ ಭಿನ್ನವಾಗಿ, ಸಾಮಾನ್ಯ ಉದ್ದೇಶದ ಭಾಷಾ ಮಾಡೆಲ್‌ಗಳು ಸುತ್ತಲಿನ ಪಠ್ಯವನ್ನು ಅವಲಂಬಿಸಿ ಬದಲಾಗುವ ಸಂದರ್ಭೋಚಿತ ಪ್ರಾತಿನಿಧ್ಯಗಳನ್ನು ಉತ್ಪಾದಿಸುತ್ತವೆ. ಇದು ಒಂದೇ ಪದದ ವಿಭಿನ್ನ ಅರ್ಥಗಳ ನಡುವೆ ವ್ಯತ್ಯಾಸ ಗುರುತಿಸಲು ಮಾಡೆಲ್‌ಗಳಿಗೆ ಸಹಾಯ ಮಾಡುತ್ತದೆ.

• BERT (2018, Google): ಟೋಕನ್‌ನ ಎರಡೂ ಬದಿಗಳಲ್ಲಿರುವ ಪದಗಳನ್ನು ಪರಿಗಣಿಸಲು ದ್ವಿಮುಖ ಸೆಲ್ಫ್-ಅಟೆನ್ಶನ್ ಬಳಸುತ್ತದೆ. ಉದಾಹರಣೆಗೆ, “I deposited money at the bank” (ನಾನು ಬ್ಯಾಂಕ್‌ನಲ್ಲಿ ಹಣ ಜಮಾ ಮಾಡಿದೆ) ಮತ್ತು “I sat on the bank of a river” (ನಾನು ನದಿಯ ದಡದ ಮೇಲೆ ಕುಳಿತೆ) ಎಂಬ ವಾಕ್ಯಗಳಲ್ಲಿನ “bank” ಪದಕ್ಕೆ ಇದು ವಿಭಿನ್ನ ಪ್ರಾತಿನಿಧ್ಯಗಳನ್ನು ಉತ್ಪಾದಿಸುತ್ತದೆ.
• GPT (2018, OpenAI): ಮುಂದಿನ ಟೋಕನ್ ಅನ್ನು ಊಹಿಸುವಾಗ ಹಿಂದಿನ ಪಠ್ಯವನ್ನು ಪರಿಗಣಿಸುವ ಟ್ರಾನ್ಸ್‌ಫಾರ್ಮರ್ ಆಧಾರಿತ ಪ್ರಾತಿನಿಧ್ಯಗಳನ್ನು ಬಳಸುತ್ತದೆ. GPT ಮಾಡೆಲ್‌ಗಳನ್ನು ಮುಖ್ಯವಾಗಿ ಭಾಷಾ ಉತ್ಪಾದನೆಗಾಗಿ ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ.

ವಾಕ್ಯ ಮತ್ತು ಡಾಕ್ಯುಮೆಂಟ್ ಎಂಬೆಡಿಂಗ್ ಮಾಡೆಲ್‌ಗಳು

ಇವು ಪ್ರತ್ಯೇಕ ವಾಕ್ಯಗಳಿಂದ ಹಿಡಿದು ಪ್ಯಾರಾಗ್ರಾಫ್‌ಗಳು ಮತ್ತು ಸಂಪೂರ್ಣ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳವರೆಗೆ, ದೀರ್ಘ ಪಠ್ಯ ಭಾಗಗಳನ್ನು ವೆಕ್ಟರ್‌ಗಳಾಗಿ ಪ್ರತಿನಿಧಿಸುತ್ತವೆ.

• Doc2Vec: Word2Vec ಶೈಲಿಯ ಕಲಿಕೆಯನ್ನು ವಾಕ್ಯಗಳು, ಪ್ಯಾರಾಗ್ರಾಫ್‌ಗಳು ಮತ್ತು ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳಿಗೆ ವಿಸ್ತರಿಸುತ್ತದೆ. ಇದು ಸಂಬಂಧಿತ ಲೇಖನಗಳನ್ನು ಗುಂಪು ಮಾಡಲು ಅಥವಾ ವಿಷಯದ ಪ್ರಕಾರ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳನ್ನು ವರ್ಗೀಕರಿಸಲು ಸಹಾಯ ಮಾಡಬಲ್ಲದು.
• Universal Sentence Encoder (USE): ಸೆಮ್ಯಾಂಟಿಕ್ ಸಾಮ್ಯತೆ ಮತ್ತು ಟೆಕ್ಸ್ಟ್ ವರ್ಗೀಕರಣಕ್ಕಾಗಿ ವಾಕ್ಯಗಳು ಮತ್ತು ಸಣ್ಣ ಪ್ಯಾರಾಗ್ರಾಫ್‌ಗಳ ಸ್ಥಿರ-ಉದ್ದದ ಪ್ರಾತಿನಿಧ್ಯಗಳನ್ನು ಉತ್ಪಾದಿಸಲು 2018 ರಲ್ಲಿ Google ಇದನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸಿತು.
• Sentence-BERT (SBERT, 2019): Technical University Darmstadt ನಲ್ಲಿ Nils Reimers ಮತ್ತು Iryna Gurevych ಅಭಿವೃದ್ಧಿಪಡಿಸಿದ ಇದು, Google ನ BERT ಮಾಡೆಲ್ ಅನ್ನು ಆಧರಿಸಿದೆ ಮತ್ತು ಸಾಮಾನ್ಯವಾಗಿ ಸೆಮ್ಯಾಂಟಿಕ್ ಹುಡುಕಾಟ, ಪ್ಯಾರಾಫ್ರೇಸ್ ಪತ್ತೆ ಮತ್ತು ಕ್ಲಸ್ಟರಿಂಗ್‌ಗಾಗಿ ಬಳಸಲಾಗುತ್ತದೆ.
• pplx-embed-v1 (2026, Perplexity): ನೈಜ ಜಗತ್ತಿನ, ವೆಬ್-ಪ್ರಮಾಣದ ರಿಟ್ರೀವಲ್‌ಗಾಗಿ ನಿರ್ಮಿಸಲಾದ ಅತ್ಯಾಧುನಿಕ ಟೆಕ್ಸ್ಟ್ ಎಂಬೆಡಿಂಗ್ ಮಾಡೆಲ್ ಆಗಿರುವ ಈ ಕುಟುಂಬವು, ಕಾಸಲ್ ಭಾಷಾ ಮಾಡೆಲ್ ಅನ್ನು ದ್ವಿಮುಖ ಎನ್‌ಕೋಡರ್ ಆಗಿ ಪರಿವರ್ತಿಸಲು ಡಿಫ್ಯೂಷನ್ ಆಧಾರಿತ ಪೂರ್ವತರಬೇತಿಯನ್ನು ಬಳಸುತ್ತದೆ. ಇದು ಸ್ವತಂತ್ರವಾಗಿ ಎನ್‌ಕೋಡ್ ಮಾಡಲಾದ ಕ್ವೆರಿಗಳು ಮತ್ತು ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳಿಗೆ ಡೆನ್ಸ್ ಎಂಬೆಡಿಂಗ್‌ಗಳನ್ನು ಉತ್ಪಾದಿಸುತ್ತದೆ, ಮತ್ತು ಸಂಗ್ರಹಣಾ ವೆಚ್ಚವನ್ನು ಕಡಿಮೆ ಮಾಡಲು ಕ್ವಾಂಟೈಸೇಶನ್-ಅವೇರ್ ತರಬೇತಿಯನ್ನು ಬಳಸುತ್ತದೆ. ನಮ್ಮ 4B INT8 ಮಾಡೆಲ್ ಬಹುಭಾಷಾ MTEB ರಿಟ್ರೀವಲ್ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ನಲ್ಲಿ 69.66 nDCG@10 ಸಾಧಿಸಿದೆ; ಇದಕ್ಕೆ ಹೋಲಿಸಿದರೆ Google ನ gemini-embedding-001 ನ ಸ್ಕೋರ್ 67.71.
• pplx-embed-context-v1 (2026, Perplexity): ಡಾಕ್ಯುಮೆಂಟ್ ಚಂಕಿಂಗ್‌ನ ಒಂದು ಸಾಮಾನ್ಯ ಸಮಸ್ಯೆಯನ್ನು ಪರಿಹರಿಸುತ್ತದೆ: ಸುತ್ತಲಿನ ಪಠ್ಯದಿಂದ ಬೇರ್ಪಡಿಸಿದಾಗ ಪಠ್ಯಭಾಗಗಳು ತಮ್ಮ ಅರ್ಥವನ್ನು ಕಳೆದುಕೊಳ್ಳಬಹುದು. ಲೇಟ್ ಚಂಕಿಂಗ್ ಬಳಸಿ, ಈ ಮಾಡೆಲ್ ಸಂದರ್ಭೋಚಿತ ಟೋಕನ್ ಪ್ರಾತಿನಿಧ್ಯಗಳನ್ನು ಪ್ರತ್ಯೇಕ ಚಂಕ್ ಎಂಬೆಡಿಂಗ್‌ಗಳಾಗಿ ಪೂಲ್ ಮಾಡುವ ಮೊದಲು ಡಾಕ್ಯುಮೆಂಟ್ ಅನ್ನು ಸಂಸ್ಕರಿಸುತ್ತದೆ. ನಮ್ಮ 4B ಮಾಡೆಲ್ ConTEB ನಲ್ಲಿ 81.96 nDCG@10 ಸಾಧಿಸಿದೆ; ಇದಕ್ಕೆ ಹೋಲಿಸಿದರೆ voyage-context-3 ನ ಸ್ಕೋರ್ 79.45.
• pplx-embed-v2-context (2026, Perplexity): ಸಂದರ್ಭೋಚಿತ ರಿಟ್ರೀವಲ್ ಅನ್ನು ಇನ್ನಷ್ಟು ಮುಂದಕ್ಕೆ ಕೊಂಡೊಯ್ಯುತ್ತದೆ. ಉತ್ತರವನ್ನು ಒಳಗೊಂಡ ಪಠ್ಯಭಾಗವನ್ನು ಹುಡುಕಲು ಮಾತ್ರ ತರಬೇತಿ ಪಡೆಯುವ ಬದಲು, ಆ ಉತ್ತರವನ್ನು ವಿವರಿಸಲು ಅಥವಾ ಪರಿಶೀಲಿಸಲು ಸಹಾಯ ಮಾಡುವ ಪೂರಕ ಪಠ್ಯಭಾಗಗಳನ್ನು ಗುರುತಿಸಲು ಇದು ಕಲಿಯುತ್ತದೆ. ತರಬೇತಿಯ ಸಮಯದಲ್ಲಿ ಈ ಮಾಡೆಲ್ ಕಾಂಟೆಕ್ಸ್ಟ್ ಕಂಪ್ರೆಷನ್ ಮಾಡೆಲ್‌ನಿಂದ ಡಿಸ್ಟಿಲ್ ಮಾಡಲಾದ ಪ್ರಸ್ತುತತೆ ಸಂಕೇತಗಳನ್ನು ಬಳಸುತ್ತದೆ, ಆದರೆ ಇನ್ಫರೆನ್ಸ್ ಸಮಯದಲ್ಲಿ ಆ ಟೀಚರ್ ಮಾಡೆಲ್‌ನ ಅಗತ್ಯವಿರುವುದಿಲ್ಲ. ನಮ್ಮ 9B ಪ್ರಿವ್ಯೂ context-bench ನಲ್ಲಿ 10 ಫಲಿತಾಂಶಗಳಲ್ಲಿ 45.5% ಉತ್ತರ ರಿಕಾಲ್ ಮತ್ತು 40.6% ಸಾಕ್ಷ್ಯ ರಿಕಾಲ್ ಸಾಧಿಸಿದೆ.

Perplexity ಯ ಮಾಡೆಲ್‌ಗಳು ಎಂಬೆಡಿಂಗ್‌ಗಳನ್ನು ಬೃಹತ್ ಪ್ರಮಾಣದಲ್ಲಿ ಸಂಗ್ರಹಿಸಲು ಸಹ ಅನುವು ಮಾಡಿಕೊಡುತ್ತವೆ. ಈ ಮಾಡೆಲ್‌ಗಳು INT8 ಮತ್ತು ಬೈನರಿ ಎಂಬೆಡಿಂಗ್‌ಗಳನ್ನು ಉತ್ಪಾದಿಸುತ್ತವೆ, ಇದು FP32 ಗೆ ಹೋಲಿಸಿದರೆ ಸಂಗ್ರಹಣಾ ಅಗತ್ಯಗಳನ್ನು ಕ್ರಮವಾಗಿ 4x ಮತ್ತು 32x ರಷ್ಟು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ.

pplx-embed ಮಾಡೆಲ್‌ಗಳ ಆಯಾಮಗಳು, ಸಂದರ್ಭದ ಉದ್ದ, ಕ್ವಾಂಟೈಸೇಶನ್ ಮತ್ತು ಪೂಲಿಂಗ್ ಕಾನ್ಫಿಗರೇಶನ್

ಡೆನ್ಸ್, ಸ್ಪಾರ್ಸ್ ಮತ್ತು ಮಲ್ಟಿ-ವೆಕ್ಟರ್ ಎಂಬೆಡಿಂಗ್‌ಗಳು

ವಿಶೇಷವಾಗಿ ಸೆಮ್ಯಾಂಟಿಕ್ ಹುಡುಕಾಟಕ್ಕೆ ಸಂಬಂಧಿಸಿದಂತೆ, ಅರ್ಥಮಾಡಿಕೊಳ್ಳಬೇಕಾದ ಇನ್ನೊಂದು ವ್ಯತ್ಯಾಸವಿದೆ. ಎಂಬೆಡಿಂಗ್ ಮಾಡೆಲ್‌ಗಳು ಪಠ್ಯವನ್ನು ಹೇಗೆ ಪ್ರತಿನಿಧಿಸುತ್ತವೆ ಮತ್ತು ಪ್ರಸ್ತುತತೆಯನ್ನು ಹೇಗೆ ಲೆಕ್ಕ ಹಾಕುತ್ತವೆ ಎಂಬುದರಲ್ಲಿ ಭಿನ್ನವಾಗಿರಬಹುದು.

• ಡೆನ್ಸ್ ಎಂಬೆಡಿಂಗ್‌ಗಳು: ಹೆಚ್ಚಿನ ಮೌಲ್ಯಗಳು ಶೂನ್ಯವಲ್ಲದ ಸಂಖ್ಯೆಗಳಾಗಿರುವ ಸಂಕ್ಷಿಪ್ತ ವೆಕ್ಟರ್‌ಗಳನ್ನು ಬಳಸಿ ಪಠ್ಯವನ್ನು ಪ್ರತಿನಿಧಿಸುತ್ತವೆ.
• ಸ್ಪಾರ್ಸ್ ಎಂಬೆಡಿಂಗ್‌ಗಳು: ಮುಖ್ಯ ಪದಗಳಿಗೆ ಸಂಬಂಧಿಸಿದ ಕಲಿತ ವೇಯ್ಟ್‌ಗಳೊಂದಿಗೆ, ಹೆಚ್ಚಾಗಿ ಶೂನ್ಯ ಮೌಲ್ಯಗಳಿರುವ ವೆಕ್ಟರ್‌ಗಳನ್ನು ಬಳಸುತ್ತವೆ. SPLADE (2021) ನಂತಹ ಮಾಡೆಲ್‌ಗಳು ಸಂಬಂಧಿತ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳನ್ನು ಮರುಪಡೆಯಲು ಯಾವ ಪದಗಳು ಮುಖ್ಯ ಎಂಬುದನ್ನು ಕಲಿಯುತ್ತವೆ.
• ಮಲ್ಟಿ-ವೆಕ್ಟರ್ ಎಂಬೆಡಿಂಗ್‌ಗಳು: ಪಠ್ಯದ ಒಂದು ತುಣುಕಿಗೆ ಹಲವು ವೆಕ್ಟರ್‌ಗಳನ್ನು ಉಳಿಸಿಕೊಳ್ಳುತ್ತವೆ, ಇದರಿಂದ ಕ್ವೆರಿಗಳು ಮತ್ತು ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳ ನಡುವೆ ಹೆಚ್ಚು ವಿವರವಾದ ಹೋಲಿಕೆಗಳು ಸಾಧ್ಯವಾಗುತ್ತವೆ. ColBERT (2020) ನಂತಹ ಮಾಡೆಲ್‌ಗಳು ಹೆಚ್ಚು ವಿವರವಾದ ಕ್ವೆರಿ-ಡಾಕ್ಯುಮೆಂಟ್ ಹೋಲಿಕೆಗಳಿಗಾಗಿ ಈ ಪ್ರಾತಿನಿಧ್ಯಗಳನ್ನು ಬಳಸುತ್ತವೆ.
• ಹಲವು ವಿಧಾನಗಳನ್ನು ಸಂಯೋಜಿಸುವ ಮಾಡೆಲ್‌ಗಳು: BAAI ಅಭಿವೃದ್ಧಿಪಡಿಸಿದ BGE-M3 (2024), ಒಂದೇ ಮಾಡೆಲ್‌ನಲ್ಲಿ ಡೆನ್ಸ್, ಸ್ಪಾರ್ಸ್ ಮತ್ತು ಮಲ್ಟಿ-ವೆಕ್ಟರ್ ರಿಟ್ರೀವಲ್ ಅನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ.

ಟೆಕ್ಸ್ಟ್ ಎಂಬೆಡಿಂಗ್ ಮಾಡೆಲ್ ಅನ್ನು ಹೇಗೆ ಆಯ್ಕೆ ಮಾಡುವುದು ಮತ್ತು ಮೌಲ್ಯಮಾಪನ ಮಾಡುವುದು

MTEB ನಂತಹ ಸಾರ್ವಜನಿಕ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳು ಉತ್ತಮ ಆರಂಭಿಕ ಹಂತ. ನಿಮ್ಮ ಭಾಷೆಗಳು, ಇನ್‌ಪುಟ್ ಉದ್ದಗಳು ಮತ್ತು ಡಿಪ್ಲಾಯ್‌ಮೆಂಟ್ ಅವಶ್ಯಕತೆಗಳನ್ನು ಬೆಂಬಲಿಸುವ ಎರಡು ಅಥವಾ ಮೂರು ಮಾಡೆಲ್‌ಗಳ ಕಿರುಪಟ್ಟಿ ಮಾಡಲು ಅವುಗಳನ್ನು ಬಳಸಿ. ಆದರೆ ಈಗಲೇ ವಿಜೇತರನ್ನು ಆಯ್ಕೆ ಮಾಡಬೇಡಿ. ಆ ಮಾಡೆಲ್‌ಗಳನ್ನು ನಿಮ್ಮದೇ ಡೇಟಾದಲ್ಲಿ ಪರೀಕ್ಷಿಸುವುದು ಎಷ್ಟು ಮುಖ್ಯ ಎಂಬುದನ್ನು ನಾವು ಎಷ್ಟು ಒತ್ತಿ ಹೇಳಿದರೂ ಸಾಲದು.

ಇಲ್ಲಿದೆ ಒಂದು ಪ್ರಾಯೋಗಿಕ ಮೌಲ್ಯಮಾಪನ ಕಾರ್ಯಪ್ರವಾಹ:

1. ಪರೀಕ್ಷಾ ಡೇಟಾಸೆಟ್ ನಿರ್ಮಿಸಿ. ಆರಂಭಿಕ ಮೌಲ್ಯಮಾಪನ ಸೆಟ್ ಆಗಿ 50-100 ಪ್ರಾತಿನಿಧಿಕ ಹುಡುಕಾಟ ಕ್ವೆರಿಗಳನ್ನು ಸಂಗ್ರಹಿಸಿ (ನಿಮಗೆ ಇನ್ನೂ ಹೆಚ್ಚು ಬೇಕಾಗಬಹುದು); ಇದರಲ್ಲಿ ಪ್ಯಾರಾಫ್ರೇಸ್‌ಗಳು, ತಾಂತ್ರಿಕ ಪರಿಭಾಷೆ ಮತ್ತು ನಿಖರ ದೋಷ ಕೋಡ್‌ಗಳಂತಹ ಕ್ಲಿಷ್ಟ ಸಂದರ್ಭಗಳನ್ನು ಸೇರಿಸಿ. ಪ್ರತಿ ಕ್ವೆರಿಗೂ, ಯಾವ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳು ಅಥವಾ ಪಠ್ಯಭಾಗಗಳು ಸಂಬಂಧಿತ ಉತ್ತರಗಳನ್ನು ಒಳಗೊಂಡಿವೆ ಎಂಬುದನ್ನು ಗುರುತಿಸಿ. ಈ ಪ್ರಸ್ತುತತೆ ಲೇಬಲ್‌ಗಳು ನಿಮ್ಮ ಗ್ರೌಂಡ್ ಟ್ರೂತ್ ಆಗುತ್ತವೆ.
2. ಮರುಪಡೆಯುವಿಕೆಯ ಗುಣಮಟ್ಟವನ್ನು ಅಳೆಯಿರಿ. ಪ್ರತಿಯೊಂದು ಮಾದರಿಯನ್ನು ಒಂದೇ ಮೌಲ್ಯಮಾಪನ ಡೇಟಾಸೆಟ್‌ನಲ್ಲಿ ಪರೀಕ್ಷಿಸಿ. ಡಾಕ್ಯುಮೆಂಟ್ ಸಿದ್ಧತೆ ಮತ್ತು ಮರುಪಡೆಯುವಿಕೆಯ ಪರಿಸ್ಥಿತಿಗಳನ್ನು ಹೋಲಿಸಬಹುದಾದಂತೆ ಇರಿಸಿಕೊಳ್ಳಿ, ಜೊತೆಗೆ ಕ್ವೆರಿ ಫಾರ್ಮ್ಯಾಟಿಂಗ್, ನಾರ್ಮಲೈಸೇಶನ್ ಮತ್ತು ಸಾಮ್ಯತೆಯ ಸ್ಕೋರಿಂಗ್‌ಗೆ ಸಂಬಂಧಿಸಿದ ಮಾದರಿ-ನಿರ್ದಿಷ್ಟ ಅವಶ್ಯಕತೆಗಳನ್ನು ಪಾಲಿಸಿ. ನಂತರ Sentence Transformersನ InformationRetrievalEvaluator ಬಳಸಿ ಈ ಕೆಳಗಿನ ಮೆಟ್ರಿಕ್‌ಗಳನ್ನು ಲೆಕ್ಕಹಾಕಿ:
   • Recall@k: ಮೊದಲ k ಫಲಿತಾಂಶಗಳಲ್ಲಿ ಕಾಣಿಸಿಕೊಳ್ಳುವ ಸಂಬಂಧಿತ ಪಠ್ಯಭಾಗಗಳ ಪ್ರಮಾಣವನ್ನು ನೀಡುತ್ತದೆ.
   • MRR: ಮೊದಲ ಸಂಬಂಧಿತ ಫಲಿತಾಂಶವು ಶ್ರೇಯಾಂಕದಲ್ಲಿ ಎಷ್ಟು ಮೇಲೆ ಕಾಣಿಸಿಕೊಳ್ಳುತ್ತದೆ ಎಂಬುದನ್ನು ಅಳೆಯುತ್ತದೆ.
   • nDCG@k: ಮೊದಲ k ಫಲಿತಾಂಶಗಳನ್ನು ಅವುಗಳ ಪ್ರಸ್ತುತತೆಯ ಆಧಾರದ ಮೇಲೆ ಎಷ್ಟು ಉತ್ತಮವಾಗಿ ಶ್ರೇಣೀಕರಿಸಲಾಗಿದೆ ಎಂಬುದನ್ನು ಅಳೆಯುತ್ತದೆ.
3. ಲೇಟೆನ್ಸಿ ಮತ್ತು ಥ್ರೂಪುಟ್ ಅನ್ನು ಬೆಂಚ್‌ಮಾರ್ಕ್ ಮಾಡಿ. ಪ್ರತಿಯೊಂದು ಮಾದರಿಯು ಒಂದು ಕ್ವೆರಿಯನ್ನು ಎಂಬೆಡ್ ಮಾಡಲು ಎಷ್ಟು ಸಮಯ ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ ಎಂಬುದನ್ನು ಅಳೆಯಿರಿ. ಸಾಧ್ಯವಾದರೆ, ವಾಸ್ತವಿಕ ಲೋಡ್‌ನಲ್ಲಿ ಮಧ್ಯಾಂಕ (p50) ಮತ್ತು 95ನೇ ಪರ್ಸೆಂಟೈಲ್ (p95) ಲೇಟೆನ್ಸಿಯನ್ನು ವರದಿ ಮಾಡಿ.
4. ಸಂಗ್ರಹಣೆ ಮತ್ತು ಕಾರ್ಯಾಚರಣೆಯ ವೆಚ್ಚಗಳನ್ನು ಲೆಕ್ಕಹಾಕಿ. ವೆಕ್ಟರ್ ಸಂಗ್ರಹಣೆಯು ಎಂಬೆಡಿಂಗ್‌ಗಳ ಸಂಖ್ಯೆ, ಅವುಗಳ ಆಯಾಮಗಳು ಮತ್ತು ಸಂಖ್ಯಾತ್ಮಕ ನಿಖರತೆಯನ್ನು ಅವಲಂಬಿಸಿರುತ್ತದೆ. ಉದಾಹರಣೆಗೆ, 768-ಆಯಾಮದ ಹತ್ತು ಲಕ್ಷ FP32 ಎಂಬೆಡಿಂಗ್‌ಗಳಿಗೆ, ಇಂಡೆಕ್ಸಿಂಗ್ ಓವರ್‌ಹೆಡ್ ಹೊರತುಪಡಿಸಿ, ಸುಮಾರು 3.1 GB ಕಚ್ಚಾ ವೆಕ್ಟರ್ ಸಂಗ್ರಹಣೆ ಬೇಕಾಗುತ್ತದೆ. ಸಂಗ್ರಹಣೆಯ ಅವಶ್ಯಕತೆಗಳನ್ನು ಕಡಿಮೆ ಮಾಡಲು, ನೀವು ವೆಕ್ಟರ್‌ಗಳನ್ನು ಕಡಿಮೆ ಸಂಖ್ಯಾತ್ಮಕ ನಿಖರತೆಗೆ ಕ್ವಾಂಟೈಸ್ ಮಾಡಬಹುದು. ಉದಾಹರಣೆಗೆ, FP32ನಿಂದ INT8ಗೆ ಬದಲಾಯಿಸಿದರೆ ಕಚ್ಚಾ ವೆಕ್ಟರ್ ಸಂಗ್ರಹಣೆ ಸುಮಾರು 4 ಪಟ್ಟು ಕಡಿಮೆಯಾಗುತ್ತದೆ. ಆದರೆ, ಸಂಕುಚನವು ಮರುಪಡೆಯುವಿಕೆಯ ಗುಣಮಟ್ಟದ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರಬಹುದು, ಆದ್ದರಿಂದ ಈ ಲಾಭ-ನಷ್ಟದ ಸಮತೋಲನವನ್ನು ಪರಿಶೀಲಿಸಲು ನಿಮ್ಮ ಮೌಲ್ಯಮಾಪನಗಳನ್ನು ಮತ್ತೆ ನಡೆಸಿ.

ಅಂತಿಮವಾಗಿ, ಫಲಿತಾಂಶಗಳನ್ನು ಅಕ್ಕಪಕ್ಕದಲ್ಲಿಟ್ಟು ಹೋಲಿಸಿ: ಮರುಪಡೆಯುವಿಕೆಯ ಮೆಟ್ರಿಕ್‌ಗಳು, p95 ಲೇಟೆನ್ಸಿ, ಥ್ರೂಪುಟ್, ಸಂಗ್ರಹಣೆ ಮತ್ತು ವೆಚ್ಚ. ನಿಮ್ಮ ಪ್ರೊಡಕ್ಷನ್ ನಿರ್ಬಂಧಗಳ ಒಳಗೆ ನಿಮ್ಮ ಗುಣಮಟ್ಟದ ಅವಶ್ಯಕತೆಗಳನ್ನು ಪೂರೈಸುವ ಮಾದರಿಯನ್ನು ಆಯ್ಕೆಮಾಡಿ.

LLM ಬದಲಿಗೆ ಎಂಬೆಡಿಂಗ್‌ಗಳನ್ನು ಯಾವಾಗ ಬಳಸಬೇಕು?

ಡಾಕ್ಯುಮೆಂಟ್ ವಿಶ್ಲೇಷಣೆಯಿಂದ ಹಿಡಿದು ಸಂಕೀರ್ಣ ರೀಜನಿಂಗ್‌ವರೆಗೆ ಎಲ್ಲವನ್ನೂ LLMಗಳು ನಿರ್ವಹಿಸುತ್ತಿರುವಾಗ, ನಿಮ್ಮ ಎಲ್ಲಾ ಪಠ್ಯವನ್ನು ಒಂದು ಮಾದರಿಗೆ ಕೊಟ್ಟು, ಉಳಿದದ್ದನ್ನು ಅದೇ ನೋಡಿಕೊಳ್ಳಲಿ ಎಂದು ಬಿಡುವುದು ಸಾಕಷ್ಟು ಆಕರ್ಷಕವೆನಿಸುತ್ತದೆ. ಆದರೆ ಅದಕ್ಕಾಗಿ ಹಣ ಪಾವತಿಸಲು ನಿಮಗೆ ಬಹುಶಃ ಸಂತೋಷವಾಗುವುದಿಲ್ಲ.

ಹೆಚ್ಚುವರಿಯಾಗಿ, LLMಗಳು ನಿರ್ಣಯಿಸುವುದು ಮತ್ತು ರಚಿಸುವುದರಲ್ಲಿ ಉತ್ತಮವಾಗಿವೆ, ಆದರೆ ಒಂದೇ ಪ್ರಾಂಪ್ಟ್‌ನಲ್ಲಿ ಎಷ್ಟು ಮಾಹಿತಿಯನ್ನು ಹಿಡಿಸಬಹುದು ಎಂಬುದರಿಂದ ಅವು ಸೀಮಿತವಾಗಿವೆ. ಮತ್ತೊಂದೆಡೆ, ಎಂಬೆಡಿಂಗ್‌ಗಳು ಅಗ್ಗವಾಗಿವೆ, ವೇಗವಾಗಿವೆ, ಸ್ಥಿರವಾಗಿವೆ ಮತ್ತು ಲಕ್ಷಾಂತರ ಐಟಂಗಳಾದ್ಯಂತ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ.

“ಹುಡುಕಾಟ, ಶಿಫಾರಸುಗಳು (“ಇದೇ ರೀತಿಯ ಇನ್ನಷ್ಟು”), ಪುನರಾವರ್ತಿತ ಸಪೋರ್ಟ್ ಟಿಕೆಟ್‌ಗಳಂತಹ ನಕಲುಗಳನ್ನು ಗುರುತಿಸುವುದು ಮತ್ತು ದೊಡ್ಡ ಪ್ರಮಾಣದ ಕಂಟೆಂಟ್ ಅನ್ನು ವಿಷಯವಾರು ಗುಂಪು ಮಾಡುವುದರಲ್ಲಿ ಎಂಬೆಡಿಂಗ್‌ಗಳು ಮೇಲುಗೈ ಸಾಧಿಸುತ್ತವೆ. ಅವು ವಿವಿಧ ಭಾಷೆಗಳಲ್ಲೂ ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ. ಕಾರ್ಯಕ್ಕೆ ರೀಜನಿಂಗ್ ಅಗತ್ಯವಿದ್ದಾಗ LLM ಮೇಲುಗೈ ಸಾಧಿಸುತ್ತದೆ: ಸಾರಾಂಶ ಮಾಡುವುದು, ಆಯ್ಕೆಗಳನ್ನು ಹೋಲಿಸುವುದು ಅಥವಾ ಉತ್ತರವನ್ನು ಬರೆಯುವುದು. ಹೆಚ್ಚಿನ ನೈಜ ಸಿಸ್ಟಮ್‌ಗಳಿಗೆ ಎರಡೂ ಬೇಕು, ಪ್ರತಿಯೊಂದೂ ತಾನು ಉತ್ತಮವಾಗಿರುವ ಭಾಗವನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ,” ಎಂದು ಕುಮಾರ್ ಮುಕ್ತಾಯಗೊಳಿಸುತ್ತಾರೆ.

ಪಠ್ಯ ಎಂಬೆಡಿಂಗ್‌ಗಳ ವಿಷಯದಲ್ಲಿ ಡೆವಲಪರ್‌ಗಳು ಮಾಡುವ ತಪ್ಪುಗಳು

ಡೆವಲಪರ್‌ಗಳು ಸಾಮಾನ್ಯವಾಗಿ ಏನನ್ನು ಕಡೆಗಣಿಸುತ್ತಾರೆ ಎಂಬುದನ್ನು ತಿಳಿಯಲು, ನಾನು ರಾಹುಲ್ ಕುಮಾರ್ ಮತ್ತು Xibeijia Guan (Ahrefsನಲ್ಲಿ ಡೇಟಾ ಸೈಂಟಿಸ್ಟ್) ಅವರೊಂದಿಗೆ ಮಾತನಾಡಿದೆ. ಗಮನಿಸಬೇಕಾದ ಆರು ತಪ್ಪುಗಳನ್ನು ಅವರು ಎತ್ತಿ ತೋರಿಸಿದರು:

• ಪಠ್ಯ ಪೂರ್ವಸಂಸ್ಕರಣೆಯನ್ನು ಬಿಟ್ಟುಬಿಡುವುದು. ಇನ್‌ಪುಟ್ ಡೇಟಾದಲ್ಲಿ HTML, ನ್ಯಾವಿಗೇಶನ್ ಮೆನುಗಳು, ಜಾಹೀರಾತುಗಳು ಅಥವಾ ಇತರ ಅಪ್ರಸ್ತುತ ಕಂಟೆಂಟ್ ಇದ್ದರೆ, ಬಾಯ್ಲರ್‌ಪ್ಲೇಟ್ ತೆಗೆದುಹಾಕುವಿಕೆಯಂತಹ ಪೂರ್ವಸಂಸ್ಕರಣಾ ಹಂತಗಳು ಅನಗತ್ಯ ಮಾಹಿತಿಯನ್ನು ತೆಗೆದುಹಾಕುವ ಮೂಲಕ ಎಂಬೆಡಿಂಗ್ ಗುಣಮಟ್ಟವನ್ನು ಸುಧಾರಿಸಲು ಸಹಾಯ ಮಾಡಬಹುದು.
• ಮಾದರಿಯ ಗರಿಷ್ಠ ಇನ್‌ಪುಟ್ ಉದ್ದವನ್ನು ನಿರ್ಲಕ್ಷಿಸುವುದು. ಬೇರೆ ಬೇರೆ ಮಾದರಿಗಳು ಬೇರೆ ಬೇರೆ ಟೋಕನ್ ಮಿತಿಗಳು ಮತ್ತು ಮೊಟಕುಗೊಳಿಸುವಿಕೆಯ ನಡವಳಿಕೆಗಳನ್ನು ಹೊಂದಿರುತ್ತವೆ. ಮಿತಿಯನ್ನು ಮೀರಿದ ಪಠ್ಯವನ್ನು ಮೊಟಕುಗೊಳಿಸಬಹುದು, ಇದರಿಂದ ಪ್ರಮುಖ ಮಾಹಿತಿ ಕಳೆದುಹೋಗಬಹುದು.
• ಮಾದರಿ-ನಿರ್ದಿಷ್ಟ ಅವಶ್ಯಕತೆಗಳನ್ನು ಪಾಲಿಸದಿರುವುದು. ಕೆಲವು ಎಂಬೆಡಿಂಗ್ ಮಾದರಿಗಳಿಗೆ query: ಮತ್ತು passage: ನಂತಹ ನಿರ್ದಿಷ್ಟ ಪ್ರಿಫಿಕ್ಸ್‌ಗಳು ಅಥವಾ ಬೇರೆ ಬೇರೆ ಕಾರ್ಯಗಳಿಗೆ ಬೇರೆ ಬೇರೆ ಸೂಚನೆಗಳು ಬೇಕಾಗುತ್ತವೆ. ಈ ಅವಶ್ಯಕತೆಗಳನ್ನು ಪಾಲಿಸದಿದ್ದರೆ ಮರುಪಡೆಯುವಿಕೆಯ ಕಾರ್ಯಕ್ಷಮತೆ ಕಡಿಮೆಯಾಗಬಹುದು.
• ಹೊಂದಾಣಿಕೆಯಾಗದ ಸಾಮ್ಯತೆಯ ಮಾಪನವನ್ನು ಬಳಸುವುದು. ಕೊಸೈನ್ ಸಾಮ್ಯತೆ ಮತ್ತು ಡಾಟ್ ಪ್ರಾಡಕ್ಟ್ ಯಾವಾಗಲೂ ಪರಸ್ಪರ ಬದಲಾಯಿಸಬಹುದಾದವುಗಳಲ್ಲ. ಎಂಬೆಡಿಂಗ್‌ಗಳು ನಾರ್ಮಲೈಸ್ ಆಗಿವೆಯೇ ಎಂಬುದನ್ನು ಪರಿಶೀಲಿಸಿ ಮತ್ತು ಮಾದರಿ ಹಾಗೂ ವೆಕ್ಟರ್ ಇಂಡೆಕ್ಸ್‌ಗೆ ಶಿಫಾರಸು ಮಾಡಲಾದ ಸ್ಕೋರಿಂಗ್ ವಿಧಾನವನ್ನು ಬಳಸಿ.
• ವಿಷಯಾಧಾರಿತ ಸಾಮ್ಯತೆಯನ್ನು ಪ್ರಸ್ತುತತೆ ಎಂದು ತಪ್ಪಾಗಿ ಭಾವಿಸುವುದು. ಸೀಮಿತ ಕ್ಷೇತ್ರದ ಸಂಗ್ರಹಗಳಲ್ಲಿ, ಅನೇಕ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳು ಒಂದೇ ಪ್ರಶ್ನೆಗೆ ಉತ್ತರಿಸದೆಯೇ ಅರ್ಥದಲ್ಲಿ ಹೋಲುತ್ತಿರಬಹುದು. ವಿಫಲವಾದ ಕ್ವೆರಿಗಳು ಮತ್ತು ಶ್ರೇಯಾಂಕ ವಿತರಣೆಗಳನ್ನು ಪರಿಶೀಲಿಸಿ. ಬಳಕೆದಾರರಿಗೆ ನಿಖರವಾದ ಮಾಹಿತಿ ಬೇಕಾದಾಗ, ಲೆಕ್ಸಿಕಲ್ ಅಥವಾ ಹೈಬ್ರಿಡ್ ಮರುಪಡೆಯುವಿಕೆ, ಮರು-ಶ್ರೇಯಾಂಕ ಮತ್ತು ಮೆಟಾಡೇಟಾ ಫಿಲ್ಟರ್‌ಗಳನ್ನು ಪರೀಕ್ಷಿಸಿ.
• ಎಂಬೆಡಿಂಗ್ ನಾರ್ಮಲೈಸೇಶನ್ ಅನ್ನು ನಿರ್ಲಕ್ಷಿಸುವುದು. ಬೇರೆ ಬೇರೆ ಎಂಬೆಡಿಂಗ್ ಮಾದರಿಗಳು ನಾರ್ಮಲೈಸ್ ಮಾಡಿದ ಅಥವಾ ನಾರ್ಮಲೈಸ್ ಮಾಡದ ವೆಕ್ಟರ್‌ಗಳನ್ನು ಔಟ್‌ಪುಟ್ ಆಗಿ ನೀಡಬಹುದು. ನೀವು ಬಳಸುವ ಸಾಮ್ಯತೆಯ ಮೆಟ್ರಿಕ್ ಅನ್ನು ಅವಲಂಬಿಸಿ, ಎಂಬೆಡಿಂಗ್‌ಗಳು ನಾರ್ಮಲೈಸ್ ಆಗಿವೆಯೇ ಮತ್ತು ಹೆಚ್ಚುವರಿ ನಾರ್ಮಲೈಸೇಶನ್ ಅಗತ್ಯವಿದೆಯೇ ಎಂಬುದನ್ನು ಪರಿಶೀಲಿಸಿ.

ಪಠ್ಯ ಎಂಬೆಡಿಂಗ್‌ಗಳ ಕುರಿತು ಪದೇ ಪದೇ ಕೇಳಲಾಗುವ ಪ್ರಶ್ನೆಗಳು

1. ಪಠ್ಯ ಎಂಬೆಡಿಂಗ್‌ಗಳನ್ನು ನಾನು ಹೇಗೆ ರಚಿಸುವುದು?

ಪೂರ್ವತರಬೇತಿ ಪಡೆದ ಎಂಬೆಡಿಂಗ್ ಮಾದರಿಯನ್ನು ಬಳಸುವುದು ಅತ್ಯಂತ ಸರಳ ವಿಧಾನ. ಉದಾಹರಣೆಗೆ, Pythonನ Sentence Transformers ಲೈಬ್ರರಿಯೊಂದಿಗೆ, ನೀವು all-MiniLM-L6-v2ನಂತಹ ಮಾದರಿಯನ್ನು ಲೋಡ್ ಮಾಡಿ, ನಿಮ್ಮ ಪಠ್ಯವನ್ನು model.encode()ಗೆ ಪಾಸ್ ಮಾಡಿ, ಸಂಖ್ಯಾತ್ಮಕ ವೆಕ್ಟರ್ ಅನ್ನು ಮರಳಿ ಪಡೆಯಬಹುದು. ಪರ್ಯಾಯವಾಗಿ, ನೀವು API ಮೂಲಕವೂ ಎಂಬೆಡಿಂಗ್‌ಗಳನ್ನು ರಚಿಸಬಹುದು.

ಅರ್ಥಾಧಾರಿತ ಹುಡುಕಾಟ ಅಥವಾ RAG ಗಾಗಿ, ನೀವು ಸಾಮಾನ್ಯವಾಗಿ ನಿಮ್ಮ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳನ್ನು ಚಂಕ್‌ಗಳಾಗಿ ವಿಭಜಿಸಿ, ಪ್ರತಿಯೊಂದಕ್ಕೂ ಎಂಬೆಡಿಂಗ್ ರಚಿಸಿ, ವೆಕ್ಟರ್‌ಗಳನ್ನು ಹುಡುಕಬಹುದಾದ ಇಂಡೆಕ್ಸ್‌ನಲ್ಲಿ ಸಂಗ್ರಹಿಸುತ್ತೀರಿ.

2. ಪಠ್ಯಕ್ಕಾಗಿ ಅತ್ಯುತ್ತಮ ಎಂಬೆಡಿಂಗ್ ಮಾದರಿಗಳು ಯಾವುವು?

ನೀವು ಏನನ್ನು ನಿರ್ಮಿಸುತ್ತಿದ್ದೀರಿ ಎಂಬುದನ್ನು ಅವಲಂಬಿಸಿ, ಪರಿಗಣಿಸಬಹುದಾದ ಹಲವಾರು ಮಾದರಿಗಳಿವೆ:

• Perplexityಯ pplx-embed-v1: ದೊಡ್ಡ ಪ್ರಮಾಣದ ಡೆನ್ಸ್ ಮರುಪಡೆಯುವಿಕೆಗಾಗಿ ನಿರ್ಮಿಸಲಾಗಿದೆ. ವೆಕ್ಟರ್ ಸಂಗ್ರಹಣೆಯ ಅವಶ್ಯಕತೆಗಳನ್ನು ಕಡಿಮೆ ಮಾಡುವ INT8 ಮತ್ತು ಬೈನರಿ ಎಂಬೆಡಿಂಗ್‌ಗಳನ್ನು ಹೊಂದಿದೆ.
• Perplexityಯ pplx-embed-context-v1: ಪ್ರತ್ಯೇಕ ಚಂಕ್‌ಗಳು ತಮ್ಮ ಸುತ್ತಲಿನ ಸಂದರ್ಭವಿಲ್ಲದೆ ಅರ್ಥವನ್ನು ಕಳೆದುಕೊಳ್ಳುವಂತಹ ದೀರ್ಘ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳಿಂದ ಪಠ್ಯಭಾಗಗಳನ್ನು ಮರುಪಡೆಯಲು ಉಪಯುಕ್ತ.
• all-MiniLM-L6-v2: ಹಗುರವಾದ, ಸ್ಥಳೀಯ ಅರ್ಥಾಧಾರಿತ ಹುಡುಕಾಟ, ಕ್ಲಸ್ಟರಿಂಗ್ ಮತ್ತು ವಾಕ್ಯ ಸಾಮ್ಯತೆಯ ಕಾರ್ಯಗಳಿಗೆ ಉತ್ತಮ. ಇದು ಸಾಂದ್ರವಾದ 384-ಆಯಾಮದ ವೆಕ್ಟರ್‌ಗಳನ್ನು ಉತ್ಪಾದಿಸುತ್ತದೆ, ಆದರೆ 256 ವರ್ಡ್ ಪೀಸ್‌ಗಳಿಗಿಂತ ಉದ್ದವಾದ ಇನ್‌ಪುಟ್‌ಗಳನ್ನು ಮೊಟಕುಗೊಳಿಸುತ್ತದೆ.
• BGE-M3: ಬಹುಭಾಷಾ RAG ಮತ್ತು ಹೈಬ್ರಿಡ್ ಮರುಪಡೆಯುವಿಕೆಗೆ ಉಪಯುಕ್ತ. 100ಕ್ಕೂ ಹೆಚ್ಚು ಭಾಷೆಗಳನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ ಮತ್ತು ಡೆನ್ಸ್, ಸ್ಪಾರ್ಸ್ ಹಾಗೂ ಮಲ್ಟಿ-ವೆಕ್ಟರ್ ಪ್ರಾತಿನಿಧ್ಯಗಳನ್ನು ಸಂಯೋಜಿಸುತ್ತದೆ.
• Qwen3-Embedding: ಬಹುಭಾಷಾ ಹುಡುಕಾಟ, ಕೋಡ್ ಮರುಪಡೆಯುವಿಕೆ ಮತ್ತು ಕಾರ್ಯ-ನಿರ್ದಿಷ್ಟ ಎಂಬೆಡಿಂಗ್‌ಗಳಿಗೆ ಪ್ರಬಲ ಆಯ್ಕೆ. ಸೂಚನಾ ಬೆಂಬಲದೊಂದಿಗೆ 0.6B, 4B ಮತ್ತು 8B ಓಪನ್-ವೇಟ್ ಮಾದರಿಗಳನ್ನು ನೀಡುತ್ತದೆ.
• OpenAIಯ text-embedding-3-large: ನೀವು ಮಾದರಿಯನ್ನು ಹೋಸ್ಟ್ ಮಾಡಲು ಬಯಸದಿದ್ದಾಗ ಅರ್ಥಾಧಾರಿತ ಹುಡುಕಾಟ ಮತ್ತು ಡಾಕ್ಯುಮೆಂಟ್ ಮರುಪಡೆಯುವಿಕೆಗಾಗಿ API ಆಧಾರಿತ ಆಯ್ಕೆ. 3,072 ಆಯಾಮಗಳವರೆಗೆ ಬೆಂಬಲಿಸುತ್ತದೆ; ಸಂಗ್ರಹಣೆಯನ್ನು ಉಳಿಸಲು ನೀವು ಆಯಾಮಗಳನ್ನು ಕಡಿಮೆ ಮಾಡಬಹುದು.
• Googleನ Gemini Embedding ಮಾದರಿಗಳು: ಮ್ಯಾನೇಜ್ಡ್ ಮರುಪಡೆಯುವಿಕೆ ಅಪ್ಲಿಕೇಶನ್‌ಗಳಿಗೆ ಉಪಯುಕ್ತ. Gemini Embedding 2 ಹಂಚಿಕೆಯ ಎಂಬೆಡಿಂಗ್ ಸ್ಪೇಸ್‌ನಲ್ಲಿ ಪಠ್ಯ, ಚಿತ್ರಗಳು, ಆಡಿಯೊ, ವೀಡಿಯೊ ಮತ್ತು PDFಗಳಾದ್ಯಂತ ಹುಡುಕಾಟವನ್ನೂ ಬೆಂಬಲಿಸುತ್ತದೆ.

3. ನಾನು LLM ಅನ್ನು ಎಂಬೆಡಿಂಗ್ ಮಾದರಿಯಾಗಿ ಬಳಸಬಹುದೇ?

ಹೌದು, ಆದರೆ ಸಾಮಾನ್ಯ ಉದ್ದೇಶದ LLM ಮತ್ತು ಎಂಬೆಡಿಂಗ್‌ಗಳಿಗಾಗಿ ಆಪ್ಟಿಮೈಸ್ ಮಾಡಲಾದ LLM ನಡುವೆ ವ್ಯತ್ಯಾಸವಿದೆ. LLMಗಳು ಪಠ್ಯದ ಆಂತರಿಕ ವೆಕ್ಟರ್ ಪ್ರಾತಿನಿಧ್ಯಗಳನ್ನು ಉತ್ಪಾದಿಸುತ್ತವೆ, ಅವುಗಳನ್ನು ನೀವು ಹೊರತೆಗೆದು ಒಂದೇ ಎಂಬೆಡಿಂಗ್ ಆಗಿ ಪೂಲ್ ಮಾಡಬಹುದು. ಆದಾಗ್ಯೂ, ಹೆಚ್ಚುವರಿ ತರಬೇತಿಯಿಲ್ಲದೆ ಆ ವೆಕ್ಟರ್‌ಗಳು ಅರ್ಥಾಧಾರಿತ ಹುಡುಕಾಟಕ್ಕೆ ಅಗತ್ಯವಾಗಿ ಉಪಯುಕ್ತವಾಗಿರುವುದಿಲ್ಲ.

ಉದಾಹರಣೆಗೆ, Qwen3-Embedding ಎಂಬೆಡಿಂಗ್ ಮತ್ತು ಮರುಪಡೆಯುವಿಕೆ ಕಾರ್ಯಗಳಿಗಾಗಿ ಹೆಚ್ಚುವರಿಯಾಗಿ ತರಬೇತಿ ಪಡೆದ LLM ಬ್ಯಾಕ್‌ಬೋನ್ ಅನ್ನು ಬಳಸುತ್ತದೆ. ಆದ್ದರಿಂದ, ಎಂಬೆಡಿಂಗ್‌ಗಳನ್ನು ರಚಿಸಲು ನೀವು LLM ಅನ್ನು ಅಳವಡಿಸಿಕೊಳ್ಳಬಹುದಾದರೂ, ಮೀಸಲಾದ ಎಂಬೆಡಿಂಗ್ ಮಾದರಿಯು ಸಾಮಾನ್ಯವಾಗಿ ಹೆಚ್ಚು ಪ್ರಾಯೋಗಿಕ ಆರಂಭಿಕ ಹಂತವಾಗಿರುತ್ತದೆ.