In collaborazione con l’Università Aalto in Finlandia, i ricercatori Apple hanno presentato ILuvUI, un modello AI capace di comprendere e ragionare su schermate di app proprio come farebbe un essere umano.
A differenza dei classici modelli AI che si basano solo su testo o su immagini naturali (come paesaggi o animali), ILuvUI è stato istruito specificamente per analizzare interfacce utente. Sa leggere schermate, riconoscere checkbox, menu, campi di testo e interpretare il contesto visivo in abbinamento a comandi vocali o testuali.
Un esempio? Puoi chiedere “Come faccio ad ascoltare l’ultimo episodio del podcast?” e ottenere una risposta dettagliata, con i passaggi visivi da seguire sull’app.
I ricercatori hanno adattato LLaVA, un modello open source multimodale, e l’hanno rieducato su un dataset sintetico fatto di:
- Schermate di app
- Domande e risposte in stile conversazionale
- Descrizioni dettagliate dell’interfaccia
- Previsioni sulle azioni dell’utente
- Piani multi-step per compiti complessi
Il risultato? ILuvUI supera LLaVA sia nei test automatizzati sia nelle preferenze degli utenti reali. E senza nemmeno dover indicare una zona precisa dello schermo.
Apple intravede diverse applicazioni per questa tecnologia, come accessibilità migliorata per utenti con disabilità, test automatici di interfacce in fase di sviluppo e assistenti smart capaci di automatizzare interazioni complesse all’interno delle app
E se consideriamo i recenti studi Apple sull’anticipazione delle conseguenze delle azioni compiute nelle app, ILuvUI potrebbe diventare un tassello chiave per un iOS sempre più intelligente e proattivo.
News