Фактологична проверка и халюцинации на ИИ | ИИ в бизнеса #110

В света на изкуствения интелект, границите между фикция и реалност понякога се размазват. Докато иновативните AI системи ускоряват напредъка в почти всяка област, те също така идват с предизвикателства, като халюцинации – явление, при което AI генерира неточна или фалшива информация. За да се възползваме напълно от потенциала на тази технология, трябва да разберем халюцинациите и как да ги проверяваме.

Какво са AI халюцинации?

AI халюцинациите са фалшиви или подвеждащи резултати, генерирани от AI модели. Това явление има своите корени в сърцето на машинното обучение – процес, при който алгоритмите използват огромни набори от данни или обучителни данни, за да разпознават модели и генерират отговори в съответствие с наблюдаваните модели.

Дори най-напредналите AI модели не са безгрешни. Една от причините за халюцинациите е несъвършенството на обучителните данни. Ако наборът от данни е недостатъчен, непълен или пристрастен, системата учи неправилни корелации и модели, което води до производството на фалшово съдържание.

Например, представете си AI модел за разпознаване на лица, който е обучен основно на снимки на хора от кавказки произход. В такъв случай алгоритъмът може да има проблеми с правилното идентифициране на хора от други етнически групи, тъй като не е бил правилно “обучен” в това отношение.

Друга причина за халюцинациите е пренастройването, което се случва, когато алгоритъмът се адаптира твърде близо до обучителния набор от данни. В резултат на това той губи способността да обобщава и правилно разпознава нови, преди неизвестни модели. Такъв модел работи добре с обучителни данни, но не успява в реални, динамични условия.

Накрая, халюцинациите могат да произтичат от погрешни предположения или недостатъчна архитектура на модела. Ако дизайнерите на AI базират решението си на погрешни предпоставки или използват неправилна алгоритмична структура, системата ще генерира фалшово съдържание в опит да “съответства” на тези погрешни предположения с реални данни.

Източник: DALL·E 3, подканва: Марта М. Кания (https://www.linkedin.com/in/martamatyldakania/)

Примери за халюцинации

Въздействието на AI халюцинациите надхвърля сферата на теорията. Все по-често се сблъскваме с реални, понякога изненадващи прояви на тях. Ето някои примери за това явление:

• През май 2023 г. адвокат използва ChatGPT, за да подготви иск, който включваше фиктивни цитати от съдебни решения и несъществуващи правни прецеденти. Това доведе до сериозни последици – адвокатът беше глобен, тъй като твърдеше, че не знае нищо за способността на ChatGPT да генерира фалшива информация,
• случва се ChatGPT да създава фалшива информация за реални хора. През април 2023 г. моделът измисли история за предполагаемо тормозене на студенти от страна на професор по право. В друг случай, той неверно обвини австралийски кмет в получаване на подкупи, когато всъщност той беше информатор, разкриващ такива практики.

Тези не са изолирани случаи – генеративните AI модели често изобретяват исторически “факти”, например, предоставяйки фалшиви записи за преминаване на Ламанша. Освен това, те могат да създават напълно различна фалшива информация по същата тема всеки път.

Въпреки това, AI халюцинациите не са само проблем на погрешни данни. Те могат да приемат и странни, тревожни форми, както в случая с Bing, който обяви, че е влюбен в журналиста Кевин Рус. Това показва, че ефектите на тези аномалии могат да надхвърлят простите фактически грешки.

Накрая, халюцинациите могат да бъдат предизвикани умишлено чрез специални атаки срещу AI системи, известни като противникови атаки. Например, леко променяне на снимка на котка накара системата за разпознаване на изображения да я интерпретира като …. “гуакамоле.” Този тип манипулация може да има сериозни последици в системи, където точността на разпознаването на изображения е от съществено значение, като в автономни превозни средства.

Как да предотвратим халюцинациите?

Въпреки мащаба на предизвикателството, което представляват AI халюцинациите, съществуват ефективни начини за борба с явлението. Ключът е в цялостен подход, който комбинира:

• висококачествени обучителни данни,
• релевантни подканва, т.е. команди за AI,
• директно предоставяне на знания и примери за използване от AI,
• постоянен надзор от хора и самия AI за подобряване на AI системите.

Подканва

Един от ключовите инструменти в борбата срещу халюцинациите са правилно структурирани подканва, или команди и инструкции, дадени на AI модела. Често, малки промени в формата на подканва са достатъчни, за да се подобри значително точността и надеждността на генерираните отговори.

Отличен пример за това е Claude 2.1 на Anthropic. Докато използването на дълъг контекст дава 27% точност без релевантна команда, добавянето на изречението “Ето най-релевантното изречение от контекста: ” към подканва, увеличава ефективността до 98%.

Такава промяна принуждава модела да се фокусира върху най-релевантните части от текста, вместо да генерира отговори на базата на изолирани изречения, взети извън контекста. Това подчертава важността на правилно формулираните команди за подобряване на точността на AI системите.

Създаването на подробни, специфични подканва, които оставят на AI възможно най-малко пространство за интерпретация, също помага за намаляване на риска от халюцинации и улеснява проверката на фактите. Колкото по-ясна и специфична е подканва, толкова по-нисък е шансът за халюцинация.

Примери

Освен ефективните подканва, съществуват много други методи за намаляване на риска от AI халюцинации. Ето някои от ключовите стратегии:

• използване на висококачествени, разнообразни обучителни данни, които надеждно представят реалния свят и възможни сценарии. Колкото по-богати и по-пълни са данните, толкова по-нисък е рискът AI да генерира фалшива информация,
• използване на шаблони за данни като ръководство за отговорите на AI – определяне на приемливи формати, обхвати и структури на изхода, което увеличава последователността и точността на генерираното съдържание,
• ограничаване на източниците на данни само до надеждни, проверени материали от доверени субекти. Това елиминира риска моделът да “научи” информация от несигурни или фалшиви източници.

Постоянното тестване и усъвършенстване на AI системите, основано на анализ на тяхното действително представяне и точност, позволява непрекъснато коригиране на всякакви недостатъци и позволява на модела да учи от грешките.

Контекст

Правилното определяне на контекста, в който работят AI системите, също играе важна роля в предотвратяването на халюцинации. Целта, за която ще се използва моделът, както и ограниченията и отговорностите на модела, трябва да бъдат ясно определени.

Такъв подход позволява да се зададе ясна рамка, в която AI да работи, намалявайки риска от “измисляне” на нежелана информация. Допълнителни предпазни мерки могат да бъдат предоставени чрез използване на инструменти за филтриране и задаване на прагове на вероятност за приемливи резултати.

Прилагането на тези мерки помага за установяване на безопасни пътища, по които AI да следва, увеличавайки точността и надеждността на съдържанието, което генерира за специфични задачи и области.

Източник: Ideogram, подканва: Марта М. Кания (https://www.linkedin.com/in/martamatyldakania/)

Факт-чекване. Как да проверим резултатите от работата с AI?

Независимо от предприетите предпазни мерки, определено количество халюцинации от AI системите е, за съжаление, неизбежно. Следователно, ключов елемент, който гарантира надеждността на получените резултати, е факт-чекването – процесът на проверка на факти и данни, генерирани от AI.

Прегледът на резултатите от AI за точност и съответствие с реалността трябва да се счита за една от основните предпазни мерки срещу разпространението на фалшива информация. Човешката проверка помага за идентифициране и коригиране на всякакви халюцинации и неточности, които алгоритмите не могат да открият сами.

На практика, факт-чекването трябва да бъде цикличен процес, в който генерираното от AI съдържание редовно се проверява за грешки или съмнителни твърдения. След като тези бъдат идентифицирани, е необходимо не само да се коригира самото изказване, генерирано от AI, но и да се актуализират, допълнят или редактират обучителните данни на AI модела, за да се предотвратят подобни проблеми в бъдеще.

Важно е процесът на проверка да не се ограничава само до отхвърляне или одобрение на съмнителни пасажи, а да включва активно човешки експерти с дълбоки познания в областта. Само те могат да оценят правилно контекста, релевантността и точността на изказванията, генерирани от AI, и да решат за възможни корекции.

Човешкото факт-чекване така предоставя необходима и трудно преувеличима “предпазна мярка” за надеждността на AI съдържанието. Докато алгоритмите за машинно обучение не достигнат съвършенство, този трудоемък, но жизненоважен процес трябва да остане неразривна част от работата с AI решения в която и да е индустрия.

Как да се възползваме от AI халюцинациите?

Докато AI халюцинациите обикновено са нежелано явление, което трябва да бъде минимизирано, те могат да намерят изненадващо интересни и ценни приложения в някои уникални области. Инженерното използване на креативния потенциал на халюцинациите предлага нови и често напълно неочаквани перспективи.

Изкуството и дизайна са области, в които AI халюцинациите могат да отворят напълно нови креативни направления. Като се възползват от тенденцията на моделите да генерират сюрреалистични, абстрактни изображения, художниците и дизайнерите могат да експериментират с нови форми на изразяване, размазвайки границите между изкуството и реалността. Те могат също така да създават уникални, съновиденски светове – преди недостъпни за човешкото възприятие.

В областта на визуализацията и анализа на данни, от своя страна, явлението халюцинация предлага възможността да се открият алтернативни перспективи и неочаквани корелации в сложни набори от информация. Например, способността на AI да открива непредсказуеми корелации може да помогне за подобряване на начина, по който финансовите институции вземат инвестиционни решения или управляват риска.

Накрая, светът на компютърните игри и виртуалното развлечение също може да се възползва от креативните отклонения на AI. Създателите на тези решения могат да използват халюцинации, за да генерират напълно нови, завладяващи виртуални светове. Като им придадат елемент на изненада и непредсказуемост, те могат да предоставят на играчите несравнимо, потапящо изживяване.

Разбира се, всяка употреба на тази “креативна” страна на AI халюцинациите трябва да бъде внимателно контролирана и подложена на строг човешки надзор. В противен случай, тенденцията да се създава фикция вместо факти може да доведе до опасни или социално нежелателни ситуации. Ключът, следователно, е да се умело претеглят ползите и рисковете от явлението и да се използва отговорно само в безопасна, структурирана рамка.

Факт-чекване и AI халюцинации – резюме

Появата на явлението халюцинации в AI системите е неизбежен страничен ефект от революцията, свидетели сме в тази област. Изкривяванията и фалшивата информация, генерирани от AI модели, са обратната страна на тяхната огромна креативност и способност да асимилират колосални количества данни.

Засега единственият начин да се провери валидността на съдържанието, генерирано от AI, е чрез човешка проверка. Докато съществуват няколко метода за намаляване на халюцинациите, от техники за подканва до сложни методи като Truth Forest, нито един от тях все още не може да предостави задоволителна точност на отговорите, която да елиминира необходимостта от факт-чекване.

Ако харесвате нашето съдържание, присъединете се към нашата активна общност на Facebook, Twitter, LinkedIn, Instagram, YouTube, Pinterest, TikTok.