Мултимодален ИИ. Нови приложения на изкуствения интелект в бизнеса | ИИ в бизнеса #21

Какво е мултимодален ИИ?

Мултимодалният ИИ е високо напреднала форма на ИИ, която имитира човешката способност да интерпретира света, използвайки съдържание и данни от различни сетива. Точно както хората разбират текст, изображения и звуци, мултимодалният ИИ интегрира тези различни типове данни, за да разбере контекста и сложното значение, съдържащо се в информацията. В бизнеса, например, той може да позволи по-добро разбиране на мненията на клиентите, като анализира както това, което казват, така и как го изразяват чрез тон на гласа или изражение на лицето.

Традиционните ИИ системи обикновено са унимодални, което означава, че специализират в един тип данни, като текст или изображения. Те могат бързо да обработват големи количества данни и да откриват модели, които човешкият интелект не може да улови. Въпреки това, те имат сериозни ограничения. Те са нечувствителни към контекста и по-малко способни да се справят с необичайни и неясни ситуации.

Това е причината, поради която мултимодалният ИИ прави крачка напред, интегрирайки модалности. Това позволява по-дълбоко разбиране и много по-интересни взаимодействия между хората и ИИ.

Какво може да направи мултимодалният ИИ?

Моделите на изкуствен интелект, разработени днес, използват следните двойки модалности:

• от текст към изображение – такъв мултимодален ИИ може да създава изображения на базата на текстови подсказки; това е основна способност на известния Midjourney, разработения от OpenAI DALL-E 3, наличен в браузъра като Bing Image Creator, напредналия Stable Diffusion или най-младия инструмент в семейството, Ideogram, който не само разбира текстови подсказки, но може и да поставя текст върху изображение:


Източник: Ideogram (https://ideogram.ai)

Моделите на мултимодален ИИ също могат да следват текстови подсказки и изображението, от което са “вдъхновени”, едновременно. Те предлагат още по-интересни, по-точно определени резултати и вариации на създадените изображения. Това е много полезно, ако просто искате да получите малко различна графика или банер, или да добавите или премахнете един елемент, като чаша кафе:



Източник: Ideogram (https://ideogram.ai)

• От изображение към текст – изкуственият интелект може да прави много повече от разпознаване и превод на текст, видян в изображение, или намиране на подобен продукт. Той може също да опише изображение с думи – както прави Midjourney, когато напишете командата /describe, Google Bard и моделът на Salesforce (използван главно за създаване на автоматизирани описания на продукти и изображения на сайтове за електронна търговия,


Източник: HuggingFace.co (https://huggingface.co/tasks/image-to-text)

• от глас към текст – мултимодалният ИИ също позволява гласови команди в Google Bard, но най-добре се изпълнява от Bing Chat, както и ChatGPT благодарение на отличния си Whisper API, който се справя с разпознаването и записването на реч, заедно с пунктуация на множество езици, което може, наред с другото, значително да улесни работата на международните центрове за обслужване на клиенти, както и да подготви бърза транскрипция на срещи и превод на бизнес разговори на други езици в реално време,
• от текст към глас – инструментът на ElevenLabs ни позволява да преобразуваме всеки текст, който изберем, в реалистично звучащо изказване, и дори “клон на глас”, при който можем да научим ИИ на неговия звук и изразяване, за да създадем запис на всеки текст на чужд език за маркетинг или презентации на чуждестранни инвеститори, например,
• от текст към видео – преобразуването на текст в видео с говорещ аватар е възможно в инструментите D-ID, Colossyan и Synthesia, наред с другите,
• от изображение към видео – генерирането на видеа, включително музикални видеа, от изображения и текстови подсказки вече е възможно днес благодарение на Kaiber, а Meta обяви, че скоро ще пусне инструмента Make-A-Video,
• изображение и 3D модел – това е особено обещаваща област на мултимодалния ИИ, целена от Meta и Nvidia, която позволява създаването на реалистични аватари от снимки, както и изграждането на 3D модели на обекти и продукти от Masterpiece Studio (https://masterpiecestudio.com/masterpiece-studio-pro), NeROIC (https://zfkuang.github.io/NeROIC/), 3DFY (https://3dfy.ai/), с които, например, двуизмерен прототипиран продукт може да бъде върнат на камерата с различна страна, бърза 3D визуализация може да бъде създадена от скица на парче мебели или дори текстово описание:


Източник: NeROIC (https://zfkuang.github.io/NeROIC/resources/material.png)

• от изображение към движение в пространството – тази модалност позволява на мултимодалния ИИ да достигне извън екраните в зоната на Интернет на нещата (IoT), автономни превозни средства и роботика, където устройствата могат да извършват прецизни действия благодарение на напреднало разпознаване на изображения и способността да реагират на промени в околната среда.

Има и експерименти с мултимодален ИИ, който превежда музика в изображения, например (https://huggingface.co/spaces/fffiloni/Music-To-Image), но нека да разгледаме по-подробно бизнес приложенията на мултимодалния ИИ. Как така въпросът за мултимодалността се проявява в най-популярните чатботове, базирани на ИИ, ChatGPT и Google Bard?

Мултимодалност в Google Bard, BingChat и ChatGPT

Google Bard може да описва прости изображения и е оборудван с гласова комуникация от юли 2023 г., когато се появи в Европа. Въпреки променливото качество на резултатите от разпознаването на изображения, това досега е една от силните страни, които отличават решението на Google от ChatGPT.

BingChat, благодарение на използването на DALL-E 3, може да генерира изображения на базата на текстови или гласови подсказки. Докато не може да опише с думи изображенията, прикачени от потребителя, той може да ги модифицира или да ги използва като вдъхновение за създаване на нови изображения.

Към октомври 2023 г. OpenAI също започна да въвежда нови функции за глас и изображения в ChatGPT Plus, платената версия на инструмента. Те правят възможно провеждането на гласов разговор или показването на изображение на ChatGPT, така че той да знае какво питате, без да е необходимо да го описвате с точни думи.

Например, можете да направите снимка на паметник, докато пътувате, и да проведете жив разговор за това, което е интересно в него. Или да направите снимка на вътрешността на хладилника си, за да разберете какво можете да приготвите за вечеря с наличните съставки и да поискате стъпка по стъпка рецепта.

3 приложения на мултимодалния ИИ в бизнеса

Описването на изображения може да помогне, например, за подготовка на инвентар на стоките на базата на данни от камери за видеонаблюдение или идентифициране на липсващи продукти на рафтовете на магазините. Манипулирането на обекти може да се използва за попълване на липсващите стоки, идентифицирани в предишната стъпка. Но как могат да се използват мултимодалните чатботове в бизнеса? Ето три примера:

1. Обслужване на клиенти: Мултимодален чат, реализиран в онлайн магазин, може да служи като напреднал асистент за обслужване на клиенти, който не само отговаря на текстови въпроси, но и разбира изображения и въпроси, зададени с глас. Например, клиент може да направи снимка на повреден продукт и да я изпрати на чатбота, който ще помогне да се идентифицира проблемът и да предложи подходящо решение.
2. Анализ на социални медии: Мултимодалният изкуствен интелект може да анализира публикации в социални медии, които включват както текст, така и изображения и дори видеа, за да разбере какво казват клиентите за компанията и нейните продукти. Това може да помогне на компанията да разбере по-добре обратната връзка от клиентите и да реагира по-бързо на техните нужди.
3. Обучение и развитие: ChatGPT може да се използва за обучение на служители. Например, той може да провежда интерактивни обучителни сесии, които включват както текст, така и изображения, за да помогне на служителите да разберат по-добре сложни концепции.

Бъдещето на мултимодалния ИИ в бизнеса

Отличен пример за напредничав мултимодален ИИ е оптимизацията на бизнес процесите на компанията. Например, ИИ система може да анализира данни от различни източници, като данни за продажби, данни за клиенти и данни от социални медии, за да идентифицира области, които се нуждаят от подобрение, и да предложи възможни решения.

Друг пример е използването на мултимодален ИИ за организиране на логистика. Комбинирането на GPS данни, статус на склада, прочетен от камера, и данни за доставка, за да се оптимизират логистичните процеси и да се намалят разходите на бизнеса.

Много от тези функционалности вече се прилагат днес в сложни системи като автономни автомобили и умни градове. Въпреки това, те не са били на такъв мащаб в по-малки бизнес контексти.

Резюме

Мултимодалността, или способността да се обработват множество типове данни, като текст, изображения и аудио, насърчава по-дълбоко контекстуално разбиране и по-добро взаимодействие между хората и ИИ системите.

Остава открит въпросът какви нови комбинации от модалности могат да съществуват в близко бъдеще? Например, ще бъде ли възможно да се комбинира анализ на текст с език на тялото, така че ИИ да може да предвиди нуждите на клиентите, анализирайки техните изражения на лицето и жестове? Този тип иновации отваря нови хоризонти за бизнеса, помагайки да се отговори на постоянно променящите се очаквания на клиентите.

Ако харесвате нашето съдържание, присъединете се към нашата активна общност на Facebook, Twitter, LinkedIn, Instagram, YouTube, Pinterest, TikTok.