Хотите более умное понимание в вашем почтовом ящике? Подпишитесь на наши еженедельные информационные бюллетени, чтобы получить только то, что имеет значение для искусственного интеллекта предприятия, данных и лидеров безопасности. Подписаться сейчас
Исследователи Apple представили новый инструмент ИИ под названием «KeyFramer», который использует силу крупных языковых моделей (LLMS) для анимирования статических изображений с помощью подсказок естественного языка.
Это новое приложение, подробное в новом исследовательском документе, опубликованном на arxiv.org, представляет собой гигантский скачок в интеграции искусственного интеллекта в творческий процесс — и оно также может намекнуть на то, что будет в более новых поколениях продуктов Apple, таких как iPad Pro и Vision Pro.
Исследовательская статья под названием «KeyFramer: расширение прав и возможностей дизайна анимации с использованием крупных языковых моделей» исследует неизведанную территорию при применении LLM для индустрии анимации, представляя уникальные проблемы, такие как эффективное описание движения на естественном языке.
Представьте себе это: вы аниматор с идеей, которую вы хотите исследовать. У вас есть статические изображения и история, но мысль о бесчисленных часах, наклоняющихся над iPad, чтобы вдохнуть жизнь в ваши творения, в общем, утомительна. Введите KeyFramer. С лишь несколькими предложениями эти изображения могут начать танцевать по всему экрану, как будто они читали ваш разум. Или, скорее, как будто есть крупные языковые модели Apple (LLMS).
Как «KeyFramer» улучшает процесс анимации благодаря отзыву пользователей
KeyFramer оснащен большой языковой моделью (в исследовании они используют GPT-4), которая может генерировать код анимации CSS из статического изображения и подсказки SVG. «Большие языковые модели могут повлиять на широкий спектр творческих областей, но применение LLM к анимации недостаточно исследовано и представляет новые проблемы, такие как то, как пользователи могут эффективно описать движение на естественном языке»,-объясняют исследователи.
Чтобы создать анимацию, пользователь загружает изображение SVG, типа текстовой подсказки, например, «Сделайте облака медленно дрейфу влево», а KeyFramer генерирует код, чтобы эта анимация произошла. Затем пользователи могут усовершенствовать анимацию, напрямую редактируя код CSS или добавляя новые подсказки на естественном языке.
Согласно документу, «KeyFramer поддерживает разведку и уточнение анимаций посредством комбинации подсказки и прямого редактирования сгенерированного вывода». Этот подход, ориентированный на пользователя, был проинформирован о нескольких интервью с профессиональными дизайнерами анимации и инженерами, которые предоставили обратную связь по инструменту исследования, все из которых подчеркивали итеративный дизайн и творчество.
«Я думаю, что это было намного быстрее, чем многие вещи, которые я сделал… я думаю, что делать что -то подобное раньше заняло бы часы», — сказал один из участников исследования, опрошенных для статьи.
Расширение горизонтов крупных языковых моделей
Исследователи обнаружили, что большинство пользователей приняли итеративный, «разложившийся» подход для быстрого проектирования, добавив новые подсказки для оживления отдельных элементов один за другим. Это позволило им постепенно адаптировать свои цели в ответ на результат ИИ.
«KeyFramer позволил пользователям итеративно усовершенствовать свои проекты посредством последовательного подсказки, а не учитывать весь свой дизайн заранее», — объясняют исследователи в статье. Функции прямого редактирования кода также включили гранулированный творческий контроль.
В то время как инструменты анимации ИИ могут демократизировать дизайн, исследователи признают обеспокоенность по поводу потери творческого контроля и удовлетворения. Но, объединяя подсказку с редактированием, KeyFramer стремится обеспечить доступное прототипирование при сохранении агентства пользователей.
«Благодаря этой работе мы надеемся вдохновить будущие инструменты дизайна анимации, которые сочетают в себе мощные генеративные возможности LLM для ускорения прототипирования дизайна с динамическими редакторами, которые позволяют создателям поддерживать творческий контроль», — заключают исследователи.
Более широкое влияние «KeyFramer» на творческие индустрий
KeyFramer обещает преобразовать анимационный ландшафт, что делает его более доступным для широкого спектра создателей. В том, что рассматривается как значительное выравнивание игрового поля, KeyFramer предлагает неэкспенсированную способность оживить истории через анимацию-задачу, которая когда-то требовала значительных технических навыков и ресурсов. Это свидетельствует о растущей роли ИИ в качестве совместной силы в творческом процессе, предполагая изменение того, как технологии используются в различных секторах.
Последствия KeyFramer распространяются на ожидаемый культурный сдвиг, где ИИ становится более интуитивной и неотъемлемой частью человеческого творческого опыта. Это не просто технологический скачок, а потенциальный катализатор для переосмысления самой ткани нашего взаимодействия с цифровой сферой. Движение Apple с KeyFramer вполне может стать предшественником новой эры, когда границы между создателем и творением становятся все более плавными, руководствуясь невидимой рукой искусственного интеллекта.
Источник
