Google Genie — генеративен AI модел, който създава напълно интерактивни светове от изображения | AI в бизнеса #123

Какво е Google Genie?

Google Genie (https://sites.google.com/view/genie-2024/) е основен световен модел, разработен от DeepMind. Това е генеративен AI модел, обучен на над 30,000 часа публично достъпни видеозаписи на 2D платформени видеоигри. Неговата ключова характеристика е способността да генерира напълно интерактивни, игрални среди директно от единични изображения, снимки и дори ръчно нарисувани скици.

Източник: Genie: Генеративни интерактивни среди (https://arxiv.org/abs/2402.15391)

Как е възможно това? Genie използва техника на обучение без надзор в процеса на придобиване на способността да контролира средата точно на базата на видеозаписи. Не е необходимо етикетиране на човешки действия. Използвайки специален модул за кодиране на действия, той улавя фини промени между последователни видеокадри и ги картографира на вътрешни представяния на движение, като скачане или завиване наляво. Моделът на динамиката след това генерира следващия кадър в последователността на базата на кодирани действия.

В резултат на това Genie може да създава напълно контролируеми, интерактивни игрови среди от всякакви визуални данни. Всеки ход на играча генерира нов, уникален кадър в реално време, създавайки гладка, игрална сесия. Това е наистина голяма иновация, която ни позволява да създаваме цели интерактивни светове от изображения или текст.

Защо Genie е иновативен?

Иновацията на Genie се състои в комбинирането на няколко ключови елемента в един модел:

• генеративни видеомодели, като Phenaki (https://phenaki.video/), TECO (https://wilson1yan.github.io/teco/) или maskvit (https://arxiv.org/abs/2206.11894), които могат да предсказват бъдещи кадри от последователност на базата на входни кадри и текст, но не предлагат активни контролни възможности,
• световни модели, които се фокусират върху предсказването на бъдещи състояния на околната среда на базата на действията на агента, но изискват данни, предоставени от хора,
• обучение без надзор, което позволява на Genie да учи както динамиката на околната среда, така и пространството на действията само от сурови видеоданни, без етикети за човешки действия.

Въпреки че всяка от тези области е била изследвана преди, Genie е първият модел, който ги комбинира, за да учи контролируеми среди директно от видеозаписи. Този безпрецедентен подход за обучение на модели без човешки надзор е ключова иновация на Genie. Той отваря вратата за използването на огромното количество видео, налично в интернет, като източник на обучение за AI модели и премахва бариерите, свързани с ограничената наличност на етикетирани данни.

Комбинацията от генеративни видеомодели, световни модели и обучение без надзор в едно решение представлява основен напредък в развитието на изкуствения интелект. Genie демонстрира, че напредналите AI системи могат да учат сложни поведения и среди директно от неструктурирани данни, без ръчно етикетиране. Това е ключова стъпка по пътя към постигането на истински Изкуствена Обща Интелигентност (AGI).

Източник: Google Genie (https://sites.google.com/view/genie-2024/)

Потенциални приложения на Google Genie

Възможностите на Google Genie надхвърлят генерирането на видеоигри. Този пионерски AI модел може да намери приложения в много области:

• инструмент за аниматори – просто качете изображение, скица или кратко текстово описание и Genie ще генерира последователна анимация,
• неограничен ресурс за обучение за AI агенти – с неговата способност да обобщава в напълно нови области, Genie предлага безкраен набор от предизвикателства, на които бъдещите AI системи могат да учат. Липсата на разнообразни обучителни среди досега е била една от ключовите бариери за развитието на общи AI агенти,
• физически симулации за роботика – изследванията показват, че Genie е способен не само да контролира виртуални роботи, но и да реализира физическите свойства на деформируеми обекти. Това може да има огромни последици за развитието на роботиката и физическите симулации,
• приложения в креативните индустрии – Genie може да улесни създаването на интерактивни арт инсталации, виртуални изложби или филми. Просто качете скица и моделът ще генерира напълно контролируем 3D свят, готов за изследване.

Въпреки това, потенциалните предизвикателства и ограничения на тази технология не трябва да бъдат пренебрегвани. На текущия етап на развитие, Genie работи най-добре в тесни области, като 2D платформени игри. Разширяването до по-сложни 3D среди ще изисква допълнителни изследвания и оптимизация. Освен това, съществува риск тази технология да бъде злоупотребена за създаване на вредно или опасно съдържание. Поради това е критично важно да се разработи стабилна етична и правна рамка за регулиране на развитието и използването на такива AI модели.

Източник: Google Genie (https://sites.google.com/view/genie-2024/)

Резюме

Като позволява създаването на напълно интерактивни среди директно от визуални данни, без необходимост от ръчно етикетиране на действия, Google Genie представлява истински пробив в генеративния изкуствен интелект. Този основен световен модел дава възможност за изразяване на изображения под формата на игрални виртуални реалности, които могат да бъдат изследвани и контролирани от човек или AI агент.

Потенциалът на Genie е огромен – от инструменти за разработчици на игри, до неограничен източник на обучителни данни за AI, до физически симулации за роботика. Това е също важна стъпка по пътя към AGI. Докато модели като Genie продължават да се развиват, границата между реалния и виртуалния свят става все по-течна.

Ако харесвате нашето съдържание, присъединете се към нашата общност на активните пчели в Facebook, Twitter, LinkedIn, Instagram, YouTube, Pinterest, TikTok.