Что Meta показала на Connect: новые функции ИИ-агента Muse

Личный ИИ-агент Meta Muse, запущенный в начале сентября, стал главной темой ежегодного мероприятия Connect, которое Марк Цукерберг открыл в среду в Менло-Парке. Агент работает на мультимодальной модели Muse Spark и подключается к приложениям и сервисам пользователей, включая электронную почту, решая повседневные задачи.

Генеральный директор Марк Цукерберг начал ежегодное мероприятие Connect в Менло-Парке в среду с основной ноты, которая прояснила одну вещь: Meta выходит на Muse.

Агент Muse (физический аватар называется Jolly, по словам Цукерберга) предназначен для решения повседневных задач путем подключения к приложениям и сервисам пользователей, включая электронную почту и календари. В Connect Цукерберг представил множество новых возможностей и интеграций, чтобы сделать Muse более полезным и более глубоко вплетенным в повседневную жизнь пользователей. Muse будет везде, если пользователь выберет, в том числе и на своих очках Meta AI.

Muse, запущенная в начале сентября, взаимодействует с устройствами пользователей и цифровыми учетными записями. Агент работает на Muse Spark, мультимодальной модели ИИ Meta, созданной для агентной работы. Meta рекламирует его как более доступный агент, чем те, которые предлагают конкуренты — помощник ИИ, который с самого начала позволяет пользователям автоматизировать занятую работу в своей жизни.

«Основной элемент нашего видения того, что мы строим, — это Muse, — сказал Цукерберг, когда он запустил ключевую ноту, надев хакис и черную футболку со словами «Строительство — это мой язык любви». — В ближайшие годы я ожидаю, что Muse вырастет в личный суперинтеллект, который миллиарды людей по всему миру будут использовать для достижения своих целей и улучшения своей жизни».

Цукерберг также считает, что Muse заработает деньги для своих пользователей — и, конечно, в конечном итоге для Meta.

«Мы стоим за этим, делая Muse бесплатным для огромного количества токенов, ожидая, что со временем мы получим прибыль, взяв небольшую плату за транзакции», — сказал он.

Вот новые возможности и возможности, которые привлекли наше внимание.

Какой аватар появится у Muse?

Одним из самых забавных объявлений, сделанных в среду, является то, что пользователи Muse вскоре смогут создать отдельный цифровой аватар для своего конкретного агента, а затем видеочат с ним в режиме реального времени. Новая модель искусственного интеллекта, Muse Realtime Avatar, была разработана для обеспечения этой функции, говорится в сообщении компании.

Идея заключается в том, что ранее безликому программному обеспечению ИИ от Meta будет предоставлено лицо, тело и голос, что сделает их значительно более персонифицированными. Конечно, есть намек на метавселенную в этой функции, которая была демоирована на сцене в Connect. Пользователи смогут вести живые беседы с этим аватаром, давая ему задания и задавая ему вопросы.

Что Muse сможет делать в умных очках?

Muse также будет интегрирована с линией интеллектуальных очков Meta. Это означает, что пользователи смогут общаться со своим агентом, просто разговаривая со своими очками. Агент активируется с помощью бодрствующего слова, сказала компания, добавив, что он сможет направлять пользователей через персонализированную тренировку, записывать еду, записываться на прием и помогать им покупать продукты, которые они видят.

Мета сказал, что Muse будет работать в фоновом режиме и проверит, когда это будет сделано.

Неясно, когда именно эта функция станет доступна, хотя Meta говорит, что она должна быть запущена в ближайшие месяцы.

Как Muse будет управлять вашим Mac?

Мета говорит, что это приносит компьютерную работу Muse на Mac. Ранее компания говорила о том, что Muse приедет на Mac, и в среду провела больше времени, предоставив несколько новых деталей. Это означает, что пользователи смогут делегировать задачи агенту, и, как и другие популярные агенты ИИ из OpenAI и Anthropic, Muse сможет управлять любым приложением на рабочем столе пользователя.

«Вы можете получить его, чтобы помочь вам управлять своим малым бизнесом, или просто сделать работу за вас, — сказал в среду главный специалист по ИИ Meta Александр Ван. — Вы можете уйти от своего компьютера, и он продолжает работать на вас на всех работах, которые вы выстроили».

Зачем Muse нужен свой адрес почты?

Поскольку Muse всегда будет работать в фоновом режиме, ему, естественно, понадобится свой собственный адрес электронной почты. Компания Meta’s Wang объявила, что разрабатывает эту функцию и сделает ее доступной «скоро», не предоставляя более точную временную шкалу.

Пользователи также смогут добавлять Muse в поток электронной почты или пересылать электронные письма от агента для обработки от их имени.

Торговые партнерства и коннекторы в изобилии

Meta заключила партнерские отношения с такими компаниями, как Stripe и Shopify, что свидетельствует о том, что компания рассматривает Muse как важный инструмент для покупок.

Muse может получить доступ ко всему каталогу продуктов Shopify и использовать Lync, а теперь Shop Pay для покупки почти всего в Интернете, по словам Ван, который отметил, что Meta также добавила больше поддержки для платежей с PayPal.

Компания также объявила о ряде новых партнерских отношений с розничными торговцами, включая Best Buy, Gap, Sephora, Walmart и Wayfair. Muse сможет подключаться к этим розничным приложениям, а также к Expedia и вскоре к Instacart. Другие разъемы включают GitHub, Granola и Notion.

Ван отметил, что компания хочет, чтобы Muse также связывалась с малым бизнесом. Meta недавно открыла свою платформу, чтобы позволить разработчикам создавать свои собственные «разъемы». Компания получила более 1500 приложений менее чем за неделю, сказал он, добавив: «Я думаю, что это может быть возможность для поколений начать строительство новой платформы по мере ее взлета, и ответ до сих пор был действительно отличным».

Вопросы и ответы

Как будет называться физический аватар Muse и что он умеет?

Аватар называется Jolly. Пользователи смогут создать отдельный цифровой аватар для своего агента и видеочатиться с ним в реальном времени — новая модель Muse Realtime Avatar даст безликому ИИ лицо, тело и голос.

Как Muse будет работать на Mac?

Muse сможет управлять любым приложением на рабочем столе Mac, как агенты OpenAI и Anthropic. Пользователь делегирует задачи, уходит от компьютера, а агент продолжает работать — например, помогает вести малый бизнес.

С какими компаниями Meta заключила партнёрства для Muse?

Среди партнёров — Stripe и Shopify, а также Best Buy, Gap, Sephora, Walmart, Wayfair, Expedia и скоро Instacart. Muse получит доступ к каталогу Shopify и сможет покупать почти всё в интернете через Shop Pay и PayPal.