ReALM. Пробивен езиков модел от Apple? | ИИ в бизнеса #121

Какво е ReALM?

ReALM означава “Решаване на референции като езиково моделиране”, иновативно решение, разработено от изследователи на Apple. Това е нов езиков модел (Large Language Model, LLM), който разглежда проблема с разпознаването на референции като задача в областта на езиковото моделиране.

ReALM ефективно преобразува различни видове контекст в текстово представяне, което след това обработва като част от езикова задача. Това може да включва:

• разговори – като текстови съобщения, гласови команди към асистент или имейли,
• елементи на екрана – например, снимки, календар, метеорологичен виджет или приложения и процеси, работещи във фонов режим.

Какво прави ReALM различен от другите модели за разпознаване на референции? Първо, подходът – вместо да разчита на обработка на изображения, ReALM работи в текстовата област. Това го прави много по-лек и ефективен, което би трябвало да му позволи да работи директно на мобилни устройства, като същевременно запазва личната неприкосновеност на потребителите.

С какво ReALM е по-добър от GPT-4?

Изследователският екип на Apple сравни ReALM с най-мощните езикови модели на пазара днес – GPT-3.5 и GPT-4 от OpenAI. Резултатите бяха впечатляващи. В задачите за разпознаване на референции, най-малкият вариант на ReALM постигна точност, сравнима с GPT-4! По-големите модели на ReALM дори надминаха GPT-4 в разпознаването на референции към елементи, показвани на екрана (http://arxiv.org/abs/2403.20329).

Какво обяснява това предимство? Първо, ReALM е отличен с домейн-специфични запитвания, като тези, свързани с интелигентни домашни уреди. Това е така, защото ReALM демонстрира по-дълбоко разбиране на контекста, като фино настройва модела за домейн-специфични данни.

Освен това, за разлика от GPT-4, който се обучава основно на изображения на реални обекти, ReALM блести в разпознаването на текстови елементи и компоненти на потребителските интерфейси на приложения. И разбирането на интерфейса е критично за гладкото взаимодействие на гласовите асистенти с приложенията, които използваме днес.

Източник: DALL·E 3, подтик: Марта М. Кания (https://www.linkedin.com/in/martamatyldakania/)

Това ли е началото на ерата на наистина интелигентни асистенти?

Наистина, интеграцията на ReALM с Siri може да отвори нова глава в човешко-компютърното взаимодействие. С ReALM, Siri ще може да разбира команди, които включват референции към елементи, показвани на екрана на смартфона, както и процеси и приложения, работещи във фонов режим. Но кога ще бъде налична тази опция за потребителите? Това все още е неизвестно.

Оставаме с спекулации, основани на техническите възможности на модела. Как би могъл да работи Siri, захранван от ReALM? Например, ако разглеждате сайт с бизнес обяви и видите компания, която ви интересува, можете просто да кажете на Siri: “Обади се на тази компания”, а асистентът – използвайки ReALM за анализ на контекста – ще намери телефонния номер на посочената от вас компания и ще инициира обаждането. Не е нужно дори да обяснявате точно коя компания имате предвид.

И това е само началото на възможностите на ReALM. Команди като “Възпроизведи последния плейлист” биха позволили интуитивно управление на мултимедийните приложения и интелигентните домашни устройства. ReALM би могъл също да позволи на Siri да разбира контекста на разговорите и историята на командите, така че асистентът да реагира адекватно на предишните искания на потребителя. Това е стъпка към интелигентни агенти, приближаваща ни не толкова до изкуствена интелигенция, която разбира нашите запитвания, а до такава, която знае как да изпълнява команди.

И това е само началото на това, което ReALM може да направи. Команди като “възпроизведи последния плейлист” биха позволили интуитивно управление на мултимедийните приложения и интелигентните домашни устройства. ReALM би могъл също да позволи на Siri да разбира контекста на разговорите и историята на командите, така че асистентът да реагира адекватно на предишните искания на потребителя. Това е стъпка към интелигентни агенти, приближаваща ни не до изкуствена интелигенция, която разбира нашите запитвания, а до такава, която знае как да изпълнява команди.

За съжаление, потребителите на Android устройства ще трябва да изчакат. В момента няма информация за плановете на Google да добави възможностите на Gemini към Google Assistant. Приложение на Google Gemini за Android устройства е разработено (https://play.google.com/store/apps/details?id=com.google.android.apps.bard&hl=en_US), но все още не е налично извън Съединените щати.

Източник: Google Play (https://play.google.com/store/apps/details?id=com.google.android.apps.bard&hl=en_US)

Резюме

ReALM е иновативният подход на Apple за решаване на проблема с разпознаването на контекст от гласовите асистенти. Вместо да разчита на обработка на изображения, този езиков модел преобразува различни видове контекст в текстово представяне, което след това обработва в езикова задача. Този подход осигурява не само висока точност на разпознаване, но и способността да работи на мобилно устройство, като същевременно запазва личната неприкосновеност на потребителите.

Даването на достъп на Siri до ReALM може да осигури по-естествени и контекстуални гласови взаимодействия, важна стъпка към наистина интелигентни асистенти. С ReALM, Siri ще може незабавно да отговаря на команди, свързани с елементи на екрана, приложения и фонови процеси. Едно е сигурно – подобряването на контекстуалната осведоменост на асистентите е ключът към създаването на наистина интелигентни и естествени гласови взаимодействия, а ReALM е безспорно важна стъпка в тази посока.

Ако харесвате нашето съдържание, присъединете се към нашата общност на заети пчели в Facebook, Twitter, LinkedIn, Instagram, YouTube, Pinterest, TikTok.