PPLX ఆన్లైన్ LLMలను పరిచయం చేస్తున్నాము
ఇది ఒక మొట్టమొదటి ఆన్లైన్ LLM API
ఇది ఒక మొట్టమొదటి ఆన్లైన్ LLM API.
మేము రెండు కొత్త PPLX మోడళ్లను పరిచయం చేయడానికి సంతోషిస్తున్నాము: pplx-7b-online మరియు pplx-70b-online! మా ఆన్లైన్ మోడల్స్ సహాయకరమైన, తాజా మరియు వాస్తవిక ప్రతిస్పందనలను అందించడంపై దృష్టి పెడతాయి మరియు pplx-api ద్వారా ప్రజలకు అందుబాటులో ఉంటాయి, ఇది దీనిని మొట్టమొదటి API గా మారుస్తుంది. pplx-7b-online మరియు pplx-70b-online మా LLM ప్లేగ్రౌండ్ అయిన Perplexity Labs ద్వారా కూడా యాక్సెస్ చేయవచ్చు.
LLMలు మనం సమాచారాన్ని కనుగొనే విధానాన్ని మార్చేశాయి. అయితే, నేడు చాలా LLMలతో రెండు పరిమితులు ఉన్నాయి:
తాజాదనం: తాజా సమాచారాన్ని పంచుకోవడానికి LLMలు తరచుగా కష్టపడతాయి.
భ్రాంతులు: LLMలు సరికాని ప్రకటనలను కూడా అవుట్పుట్ చేయగలవు.
మా pplx-7b-online మరియు pplx-70b-online మోడల్లు దాని ప్రతిస్పందనలలో సహాయకరమైన, వాస్తవిక మరియు తాజా సమాచారాన్ని అందించడం ద్వారా ప్రస్తుత పరిమితులను పరిష్కరిస్తాయి.
PPLX ఆన్లైన్ LLMలు
మా LLMలు, pplx-7b-online మరియు pplx-70b-online, ఆన్లైన్ LLMలు ఎందుకంటే అవి ఇంటర్నెట్ నుండి జ్ఞానాన్ని ఉపయోగించగలవు, తద్వారా ప్రతిస్పందనను రూపొందించేటప్పుడు అత్యంత తాజా సమాచారాన్ని ఉపయోగించుకోవచ్చు. మా LLMలకు వెబ్ నుండి జ్ఞానాన్ని అందించడం ద్వారా, మా మోడల్లు సమయ-సెన్సిటివ్ ప్రశ్నలకు ఖచ్చితంగా ప్రతిస్పందిస్తాయి, దాని శిక్షణా కార్పస్ను మించి జ్ఞానాన్ని అన్లాక్ చేస్తాయి. దీని అర్థం Perplexity యొక్క ఆన్లైన్ LLMలు ఆఫ్లైన్ మోడల్లకు సవాలుగా ఉండే “నిన్న రాత్రి వారియర్స్ గేమ్ స్కోర్ ఎంత?” వంటి ప్రశ్నలకు సమాధానం ఇవ్వగలవు. అత్యున్నత స్థాయిలో, మా ఆన్లైన్ LLM ఇలా పనిచేస్తుంది:
- ఓపెన్ సోర్స్ మోడళ్లను ఉపయోగించుకోండి: మా PPLX మోడల్లు
mistral-7bమరియుllama2-70bబేస్ మోడల్లపై నిర్మించబడ్డాయి. - ఇన్-హౌస్ సెర్చ్ టెక్నాలజీ: మా ఇన్-హౌస్ సెర్చ్, ఇండెక్సింగ్ మరియు క్రాలింగ్ ఇన్ఫ్రాస్ట్రక్చర్ అత్యంత సంబంధిత, తాజా మరియు విలువైన సమాచారంతో LLMలను మెరుగుపరచడానికి మాకు అనుమతిస్తుంది. మా సెర్చ్ ఇండెక్స్ పెద్దది, రెగ్యులర్ క్యాడెన్స్లో నవీకరించబడుతుంది మరియు అధిక నాణ్యత గల, నాన్-SEO సైట్లకు ప్రాధాన్యత ఇవ్వబడుతుందని నిర్ధారించడానికి అధునాతన ర్యాంకింగ్ అల్గారిథమ్లను ይጠడుతుంది. అత్యంత తాజా సమాచారంతో ప్రతిస్పందనలను ప్రారంభించడానికి మేము “స్నిప్పెట్స్” అని పిలిచే వెబ్సైట్ సారాంశాలు మా
pplx-onlineమోడళ్లకు అందించబడతాయి. - ఫైన్-ట్యూనింగ్: మా PPLX మోడల్లు తమ ప్రతిస్పందనలను తెలియజేయడానికి స్నిప్పెట్లను ప్రభావవంతంగా ఉపయోగించడానికి ఫైన్-ట్యూన్ చేయబడ్డాయి. మా ఇన్-హౌస్ డేటా కాంట్రాక్టర్లను ఉపయోగించి, సహాయకారి, వాస్తవికత మరియు తాజాదనం వంటి వివిధ అక్షాలపై అధిక పనితీరును సాధించడానికి మేము అధిక నాణ్యత, విభిన్నమైన మరియు పెద్ద శిక్షణా సెట్లను జాగ్రత్తగా క్యూరేట్ చేస్తాము. పనితీరును నిరంతరం మెరుగుపరచడానికి మా మోడల్లు క్రమం తప్పకుండా ఫైన్-ట్యూన్ చేయబడతాయి.
Perplexity యొక్క ఆన్లైన్ LLMలను అంచనా వేయడం
Perplexity యొక్క మిషన్ ప్రపంచంలోని ఉత్తమ సమాధాన ఇంజిన్ను రూపొందించడం - ప్రజలు తమ జ్ఞానాన్ని కనుగొనడానికి మరియు విస్తరించడానికి నమ్మేది. దీన్ని సాధించడానికి, మేము సహాయకరమైన, వాస్తవిక మరియు తాజా సమాచారాన్ని అందించడంపై తీవ్రంగా దృష్టి పెడతాము. ఈ అక్షాలపై మా LLMల పనితీరును బెంచ్మార్క్ చేయడానికి, సమాధాన ఇంజిన్ల కోసం సవాలుగా ఉన్నప్పటికీ వాస్తవిక వినియోగ కేసులను ప్రతిబింబించడానికి మేము మూల్యాంకన డేటాసెట్లను క్యూరేట్ చేసాము. ప్రతి మూల్యాంకన సెట్లోని ప్రతి ప్రశ్న కోసం, కాంట్రాక్టర్లకు రెండు మోడల్ ప్రతిస్పందనలు ఇవ్వబడ్డాయి మరియు కింది ప్రమాణాల కోసం మెరుగ్గా పని చేసిన ప్రతిస్పందనను ఎంచుకోవాలని సూచించబడ్డాయి:
- సహాయకారి: ఏ ప్రతిస్పందన ప్రశ్నకు సమాధానం ఇస్తుంది మరియు నిర్దిష్ట సూచనలను మెరుగ్గా అనుసరిస్తుంది?
- వాస్తవికత: చాలా ఖచ్చితమైన లేదా సంచాత్మక జ్ఞానం అవసరమైన ప్రశ్నలకు కూడా, భ్రాంతులు లేకుండా ఏ ప్రతిస్పందన మరింత ఖచ్చితమైన సమాధానాలను అందిస్తుంది?
- తాజాదనం (FreshLLMs ద్వారా ప్రేరణ పొందింది ): ఏ ప్రతిస్పందనలో అత్యంత తాజా సమాచారం ఉంది? ఒక మోడల్ “తాజా” సమాచారంతో ప్రశ్నలకు సమాధానం ఇవ్వగలిగితే ఈ ప్రమాణంలో రాణిస్తుంది.
పైన పేర్కొన్న మూడు ప్రమాణాలతో పాటు, మోడల్ ప్రతిస్పందనలు కూడా సమగ్రంగా మూల్యాంకనం చేయబడ్డాయి. ప్రతిస్పందనలను సమగ్రంగా అంచనా వేయడానికి, ప్రశ్నకు సహాయం చేస్తున్న మానవ అసిస్టెంట్ నుండి వారు స్వీకరించాలనుకునే ప్రతిస్పందనను ఎంచుకోవాలని మూల్యాంకనదారులను కోరారు.
మూల్యాంకన సెట్ను క్యూరేట్ చేయడం
ఈ మూల్యాంకనం కోసం, సహాయకారి, వాస్తవికత మరియు తాజాదనాన్ని సమర్థవంతంగా అంచనా వేసే లక్ష్యంతో మేము విభిన్నమైన ప్రాంప్ట్ల సెట్ను జాగ్రత్తగా క్యూరేట్ చేసాము. డేటా యొక్క నాణ్యత మరియు ప్రాముఖ్యతపై అధిక స్థాయి నియంత్రణను నిర్ధారిస్తూ ప్రతి ప్రాంప్ట్ మాన్యువల్గా ఎంపిక చేయబడింది. డేటాసెట్ విస్తృత శ్రేణి సమాధాన ఇంజిన్ ప్రాంప్ట్లను విస్తరించి ఉంది మరియు Perplexity రాణించాలని మేము కోరుకునే దాని గురించి సమగ్ర అవలోకనాన్ని కలిగి ఉంది. మా మోడల్ పనితీరు మూల్యాంకనాలు అధిక సిగ్నల్ను కలిగి ఉండటానికి ఇది చాలా కీలకం.
మూడు మూల్యాంకన సెట్లలో ప్రతి ఒక్కటి 50 ప్రాంప్ట్లను కలిగి ఉంటుంది. ఈ సెట్ల నుండి కొన్ని ఉదాహరణలు:
- సహాయకారి: ప్రపంచ కప్ ఫైనల్స్లో ఆడిన USA సాకర్ ఆటగాళ్లందరి పట్టికను సృష్టించండి మరియు గోల్స్, అసిస్ట్లు మొదలైన వాటి గణాంకాల కోసం కాలమ్లను చేయండి.
- వాస్తవికత: AISI 1015 మరియు AISI 1040 స్టీల్స్ యొక్క దృఢత్వాన్ని వివరించండి.
- తాజాదనం: 2023లో శాన్ ఫ్రాన్సిస్కో నుండి ఏ అటానమస్ కార్ కంపెనీ నిషేధించబడింది?
మోడల్ ప్రతిస్పందనలను రూపొందించడం
మేము నాలుగు మోడళ్లను అంచనా వేసాము:
pplx-7b-online: ఇంటర్నెట్ నుండి సమాచారానికి ప్రాప్యతను కలిగి ఉన్న Perplexity యొక్క మోడల్. ఈ మోడల్ mistral-7b ఉపయోగించి ఫైన్ట్యూన్ చేయబడింది.
pplx-70b-online: ఇంటర్నెట్ నుండి సమాచారానికి ప్రాప్యతను కలిగి ఉన్న Perplexity యొక్క మోడల్. ఈ మోడల్ llama2-70b ఉపయోగించి ఫైన్ట్యూన్ చేయబడింది.
gpt-3.5-turbo-1106: API ద్వారా యాక్సెస్ చేయబడిన మరియు అదనపు మెరుగుదలలు లేని OpenAI యొక్క మోడల్. తాజా gpt-3.5 మోడల్ని ఉపయోగించి మేము ఈ మూల్యాంకనాన్ని నిర్వహించామని గమనించండి.
llama2-70b-chat: మా pplx-api ద్వారా యాక్సెస్ చేయబడిన మరియు అదనపు మెరుగుదలలు లేని Meta AI యొక్క మోడల్.
ప్రతి ప్రాంప్ట్ కోసం, అదే శోధన ఫలితాలు మరియు స్నిప్పెట్లు pplx-7b-online మరియు pplx-70b-online మోడళ్లకు అందించబడ్డాయి. అన్ని ప్రతిస్పందనలు అదే హైపర్పారామీటర్లు మరియు సిస్టమ్ ప్రాంప్ట్ని ఉపయోగించి రూపొందించబడ్డాయి.
సిస్టమ్ ప్రాంప్ట్
Current date: Monday, November 20, 2023.మానవ మూల్యాంకనంతో మోడల్ ప్రతిస్పందనలను ర్యాంక్ చేయడం
ప్రతి జంట పోలిక కోసం, మా ఇన్-హౌస్ కాంట్రాక్టర్లకు ప్రాంప్ట్ స్వయంగా, మూల్యాంకన ప్రమాణాలు (అంటే, సహాయకారి, వాస్తవికత లేదా తాజాదనం) మరియు ప్రక్కనే ప్రదర్శించబడే మోడల్ ప్రతిస్పందనలు అందించబడ్డాయి. ప్రతి వంతులో ప్రతిస్పందనల క్రమం యాదృచ్ఛికంగా చేయబడింది మరియు మూల మోడల్లు మూల్యాంకనదారునికి వెల్లడించబడలేదు. మూల్యాంకనదారులు తాము సమగ్రంగా ఇష్టపడే ప్రతిస్పందనను అలాగే నిర్దిష్ట మూల్యాంకన ప్రమాణాలపై ఏది మెరుగ్గా పని చేస్తుందో ఎంచుకోవాలని సూచించబడ్డారు, రెండింటికీ టైస్ అనుమతించబడతాయి. చివరిగా, ప్రతిస్పందనల ఖచ్చితత్వాన్ని ధృవీకరించడానికి ఇంటర్నెట్ శోధనను ఉపయోగించడానికి మూల్యాంకనదారులకు అనుమతి ఇవ్వబడింది. ఈ మూల్యాంకనాన్ని నిర్వహించడానికి మేము మా స్వంత ఇన్-హౌస్ ప్రిఫరెన్స్ ర్యాంకింగ్ సాధనాన్ని రూపొందించాము.
మూల్యాంకన ఫలితాలు
ప్రతి మోడల్ కోసం టాస్క్ వారీగా Elo స్కోర్లను లెక్కించడానికి మేము మానవ మూల్యాంకనం నుండి సేకరించిన జంట ప్రాధాన్యత ర్యాంకింగ్లను ఉపయోగిస్తాము. ఆటగాళ్ల సాపేక్ష పనితీరును కొలవడానికి టోర్నమెంట్-శైలి పోటీలలో ఆటగాళ్ల జనాభాను ర్యాంక్ చేయడానికి Elo స్కోర్లు సాధారణంగా ఉపయోగించబడతాయి. పెద్ద భాషా మోడళ్లకు వర్తింపజేసినప్పుడు, ఈ స్కోర్లు ఒక మోడల్ అవుట్పుట్ను మరొక దాని కంటే మానవ మూల్యాంకనదారు ఎంతవరకు ఇష్టపడతారో అంచనా వేస్తాయి.
ఆటగాళ్ల సామర్థ్యాలలో మార్పులకు కారణం కావడానికి శ్రేణి పోలికల కోసం Elo స్కోర్లు సాధారణంగా లెక్కించబడతాయి, అయితే సామర్థ్యాలు మారలేని మోడళ్ల పనితీరును పరిమాణాత్మకంగా చెప్పడం మా లక్ష్యం. తదనుగుణంగా, మేము Duan మరియు ఇతరులు వివరించిన మరియు lmsys వారి Chatbot Arena కోసం ఉపయోగించిన బూట్స్ట్రాప్ Elo పద్ధతిని స్వీకరిస్తాము, ఇందులో పోలికల యొక్క అనేక యాదృచ్ఛిక ప్రస్తావనల కోసం Elo స్కోర్లను లెక్కించడం ఉంటుంది. మా లెక్కల కోసం, మేము 5000 ప్రస్తావనలపై Elo స్కోర్లను లెక్కించాము మరియు 95% విశ్వాస విరామాలను లెక్కించడానికి ఈ Elo స్కోర్ల పంపిణీలను ఉపయోగించాము.
చిత్రം 1 లో చూపబడిన ఫలితాలు, Perplexity-సంబంధిత ఉపయోగ సందర్భాలపై మా PPLX మోడల్లు gpt-3.5 పనితీరును సరిపోల్చగలవని మరియు మించగలవని ప్రదర్శిస్తాయి. ప్రత్యేకించి, pplx-7b-online మరియు pplx-70b-online మోడల్ ప్రతిస్పందనలు మానవ మూల్యాంకనదారులచే వాటి ఖచ్చితమైన మరియు తాజా సమాధానాల కోసం gpt-3.5 మరియు llama2-70b మోడల్ ప్రతిస్పందనల కంటే ఇష్టపడతాయి.
తాజాదనం, వాస్తవికత మరియు సమగ్ర ప్రమాణాలపై pplx-7b-online మరియు pplx-70b-online gpt-3.5 మరియు llama2-70b కంటే మెరుగ్గా పని చేస్తాయి.
మేము మూల్యాంకనం నుండి జంట విజయ రేట్లను కూడా లెక్కించాము. చిత్రం 2 లో చూపబడిన ఫలితాలు, ఆశ్చర్యం లేకుండా కావచ్చు, తాజాదనం మరియు వాస్తవికత పై pplx ఆన్లైన్ మోడల్ ప్రతిస్పందనలు ఇతరుల కంటే ఇష్టపడతాయని వివరిస్తాయి.
మా తాజాదనపు మూల్యాంకన డేటాసెట్ నుండి ఇక్కడ ఒక ఉదాహరణ ఉంది.
ప్రాంప్ట్: USAలో ఎంతమందికి డ్రైవింగ్ లైసెన్స్ ఉంది?
pplx-7b-online
2023లో, యునైటెడ్ స్టేట్స్లో అంచనా వేయబడిన 243.4 మిలియన్ల లైసెన్స్ పొందిన డ్రైవర్లు ఉన్నారు, ఇందులో US పెద్దలలో 89% మంది ఉన్నారు. ఈ సంఖ్య 2022లో 238.6 మిలియన్ల నుండి పెరిగింది. లైసెన్స్ పొందిన డ్రైవర్ల శాతం వివిధ వయస్సుల సమూహాలు మరియు రాష్ట్రాలలో మారుతూ ఉంటుంది. ఉదాహరణకు, 2019లో, US జనాభాలో 84.1% మంది డ్రైవర్ లైసెన్స్ను కలిగి ఉన్నారు. అత్యధిక శాతం లైసెన్స్ పొందిన డ్రైవర్లు 25 నుండి 49 సంవత్సరాల వయస్సు గలవారిలో ఉన్నారు, 90.1% జనాభా డ్రైవర్ లైసెన్స్ను కలిగి ఉన్నారు. కాలిఫోర్నియాలో, 27 మిలియన్ల లైసెన్స్ పొందిన డ్రైవర్లు ఉన్నారు, ఇది అత్యధిక సంఖ్యలో లైసెన్స్ పొందిన డ్రైవర్లను కలిగి ఉన్న రాష్ట్రంగా నిలిచింది.
pplx-70b-online
2021 నాటికి, యునైటెడ్ స్టేట్స్లో దాదాపు 233 మిలియన్ల మంది చెల్లుబాటు అయ్యే డ్రైవింగ్ లైసెన్స్లను కలిగి ఉన్నారు. 2023 నాటికి, USలో లైసెన్స్ పొందిన డ్రైవర్ల సంఖ్య 243.4 మిలియన్లకు చేరుకుంటుందని అంచనా వేయబడింది, ఇందులో US పెద్దలలో 89% మంది ఉన్నారు. ఇది 2022లో 238.6 మిలియన్ల నుండి పెరుగుదలను సూచిస్తుంది.
gpt-3.5
AI భాషా మోడల్గా, నాకు నిజ-సమయ డేటాకు ప్రాప్యత లేదు. అయితే, 2021 నాటికి, యునైటెడ్ స్టేట్స్లో దాదాపు 227 మిలియన్ల మంది చెల్లుబాటు అయ్యే డ్రైవర్ లైసెన్స్ను కలిగి ఉన్నారని అంచనా వేయబడింది. అప్పటి నుండి ఈ సంఖ్య మారి ఉండవచ్చునని దయచేసి గమనించండి, కాబట్టి అత్యంత ఖచ్చితమైన సమాచారం కోసం ఎల్లప్పుడూ తాజా అధికారిక గణాంకాలను సూచించడం ఉత్తమం.
llama2-70b
నాకు నిజ-సమయ డేటాకు ప్రాప్యత లేదు, కానీ యునైటెడ్ స్టేట్స్లో డ్రైవర్ లైసెన్స్ కలిగి ఉన్న సుమారు మంది వ్యక్తుల గురించి నేను కొంత సమాచారాన్ని అందించగలను. ఫెడరల్ హైవే అడ్మినిస్ట్రేషన్ ప్రకారం, 2020 నాటికి యునైటెడ్ స్టేట్స్లో సుమారు 227.8 మిలియన్ల లైసెన్స్ పొందిన డ్రైవర్లు ఉన్నారు. ఈ సంఖ్య వాణిజ్య మరియు వాణిజ్యేతర డ్రైవర్లను కలిగి ఉంటుంది. డ్రైవింగ్ లైసెన్స్ కలిగి ఉండి క్రమం తప్పకుండా లేదా అసలు డ్రైవింగ్ చేయని వ్యక్తులకు ఇది ఖాతా కానందున, ఈ సంఖ్య బహుశా తక్కువ అంచనా అని గమనించదగ్గ విషయం. అదనంగా, ఈ సంఖ్యలో 16 సంవత్సరాల కంటే తక్కువ వయస్సు గలవారు లేదా నిర్దిష్ట వైకల్యాలున్నవారు వంటి డ్రైవర్ లైసెన్స్కు అర్హులు కాని వ్యక్తులు చేర్చబడలేదు. లైసెన్స్ పొందిన డ్రైవర్ల సంఖ్య రాష్ట్రాల వారీగా మారవచ్చని గమనించడం కూడా ముఖ్యం, కొన్ని రాష్ట్రాలు ఇతరుల కంటే ఎక్కువ శాతం లైసెన్స్ పొందిన డ్రైవర్లను కలిగి ఉంటాయి.
మొత్తంమీద, Perplexity-సంబంధిత ఉపయోగ కేసులపై మా PPLX మోడల్లు gpt-3.5 మరియు llama2-70b ను సరిపోల్చగలవని మరియు అధిగమించగలవని మూల్యాంకన ఫలితాలు ప్రదర్శిస్తాయి, ప్రత్యేకించి ఖచ్చితమైన మరియు తాజా ప్రతిస్పందనలను అందించడానికి.
Perplexity యొక్క ఆన్లైన్ మోడళ్లను యాక్సెస్ చేయడం
pplx-api బీటా నుండి సాధారణ పబ్లిక్ విడుదలకి మారుతున్నట్లు ప్రకటించడానికి మేము సంతోషిస్తున్నాము! మా pplx-7b-online మరియు pplx-70b-online మోడల్లు pplx-api ద్వారా యాక్సెస్ చేయడం ఇదే మొదటిసారి. అదనంగా, మా pplx-7b-chat మరియు pplx-70b-chat మోడల్లు ఆల్ఫా నుండి બહાર వచ్చాయి మరియు ఇప్పుడు మా సాధారణ విడుదలతో యాక్సెస్ చేయగలవు.
దీంతో, మేము కొత్త వినియోగ-ఆధారిత ధరల నిర్మాణాన్ని పరిచయం చేస్తున్నాము. మెరుపు వేగవంతమైన అనుమితిని అందించడానికి NVIDIA H100s ను ఉపయోగించే మా అత్యాధునిక ఇన్ఫ్రాస్ట్రక్చర్ను మా వినియోగదారులు ఉపయోగించుకోవడానికి మేము సంతోషిస్తున్నాము. Pro వినియోగదారులు పునరావృతమయ్యే $5 నెలవారీ pplx-api క్రెడిట్స్ అందుకుంటారు. మిగతా వినియోగదారులందరికీ, వినియోగం ఆధారంగా ధర నిర్ణయించబడుతుంది. Pro వినియోగదారుగా సైన్ అప్ చేయడానికి, ఇక్కడ క్లిక్ చేయండి. వాణిజ్య విచారణల కోసం api@perplexity.ai ని సంప్రదించండి.
అదనపు వనరులు:
- pplx-api తో ప్రారంభించండి ఇక్కడ.
- Perplexity Labs తో ఉచితంగా మా ఆన్లైన్ మోడళ్లను ప్రయత్నించండి.
- pplx-api డాక్యుమెంటేషన్ ద్వారా మా API గురించి మరింత తెలుసుకోండి.
- ఉత్తమ సమాధాన ఇంజిన్ను నిర్మించే అధిక-ప్రభావం, అధిక-వేగవంతమైన బృందంలో పనిచేయడానికి ఆసక్తి ఉందా? మాతో చేరండి!
- మా పెరుగుతున్న Discord కమ్యూనిటీలో చేరండి!
సహకారకులు:
Lauren Yang, Kevin Hu, Aarash Heydari, Gradey Wang, Dmitry Pervukhin, Nikhil Thota, Alexandr Yarats, Max Morozov, Denis Yarats