Apple ha aggiunto un altro tassello alla sua offerta di intelligenza artificiale con la creazione di uno strumento che sfrutta i modelli linguistici di grandi dimensioni (LLM) per animare immagini statiche in base alle istruzioni di testo dell’utente.
Apple descrive questa novità in un nuovo documento di ricerca intitolato “Keyframer: Empowering Animation Design Using Large Language Models”.
Mentre le interfacce di prompt one-shot sono comuni nei sistemi commerciali text-to-image come Dall·E e Midjourney, noi riteniamo che le animazioni richiedano una serie più complessa di considerazioni da parte dell’utente, come tempistica e coordinazione, che sono difficili da specificare completamente in un unico prompt: pertanto, potrebbero essere necessari approcci alternativi che consentano agli utenti di costruire e perfezionare in modo iterativo i progetti generati, soprattutto per le animazioni.
Abbiamo combinato i principi di progettazione emergenti per la guida basata sul linguaggio degli artefatti di progettazione con le capacità di generazione di codice degli LLM per creare un nuovo strumento di animazione basato sull’intelligenza artificiale chiamato Keyframer. Con Keyframer, gli utenti possono creare illustrazioni animate da immagini 2D statiche tramite la guida del linguaggio naturale. Utilizzando GPT-4 3, Keyframer genera codice di animazione CSS per animare un input Scalable Vector Graphic (SVG).”
Per creare un’animazione, l’utente carica un’immagine SVG – ad esempio quella di un razzo spaziale – quindi digita un messaggio come “genera tre disegni in cui il cielo sfuma in diversi colori e le stelle brillano”. Keyframer genera quindi il codice CSS per l’animazione e l’utente può quindi perfezionarlo modificando direttamente il codice o inserendo ulteriori istruzioni di testo.
“Keyframer consente agli utenti di perfezionare in modo iterativo i propri progetti attraverso suggerimenti sequenziali, anziché dover considerare in anticipo l’intero progetto”, spiegano gli autori. “Attraverso questo lavoro, speriamo di ispirare futuri strumenti di progettazione di animazioni che combinino le potenti capacità generative degli LLM per accelerare la prototipazione del design con editor dinamici che consentono ai creator di mantenere il controllo creativo.”
Secondo l’articolo, la ricerca è stata basata su interviste con designer e ingegneri professionisti dell’animazione.
Questa è solo l’ultima di una serie di tecnologie sull’intelligenza artificiale realizzate da Apple. La settimana scorsa, i ricercatori Apple hanno pubblicato un modello di intelligenza artificiale che sfrutta la potenza degli LLM multimodali per eseguire modifiche a livello di pixel sulle immagini.
Importanti novità e funzioni sull’IA dovrebbero poi essere integrate su iPhone e iPad grazie a iOS 18, che sarà presentato in anteprima a giugno.