Google-ը մշակել է AI համակարգեր՝ որոնման արդյունքների հիման վրա փաստերը գնահատելու համար: Ծրագիրն անվանել են SAFE՝ Search Augmented Factuality Evaluator:
Համակարգը սխալներ է գտնում ծառայության պատասխաններում՝ հիմնվելով խոշոր լեզվական մոդելների վրա: Այս կերպ մշակողները փորձում են լուծել այսպես կոչված «հալյուցինացիաների» խնդիրը. LLM-ները հաճախ սխալվում են՝ իրենց պատասխաններում տրամադրելով ոչ հավաստի տվյալներ և պնդելով դրանց ճշմարտացիությունը:
DeepMind-ի հետազոտողները ստեղծել են AI հավելված, որն ավտոմատ կերպով ստուգում է LLM-ի պատասխանների ճշգրտությունը և բացահայտում անճշտությունները:
Թեստերի ընթացքում SAFE-ը ստուգել է 16 հազար պատասխան մի քանի ծառայություններից, որոնց թվում ամենահայտնիներն էին Gemini, ChatGPT, Claude և PaLM-2։ Այնուհետև գտնվածները համեմատվել են մարդկանց որոնումների արդյունքների հետ: 72% դեպքերում SAFE-ի բացահայտումները համընկնում էին մարդկանց կարծիքների հետ: Անհամապատասխանությունները վերլուծելիս AI-ն ճիշտ է եղել 76% դեպքերում:
