Poche ore fa, Apple ha aggiornato la sua pagina dedicata alle funzioni di accessibilità presenti su iOS e macOS. A margine della Giornata internazionale delle persone con disabilità, due ingegneri Apple hanno discusso dei miglioramenti apportati da iOS 14 in questo ambito.
L’ingegnere specializzato in accessibilità iOS Chris Fleizach e l’ingegnere del team AI/ML dell’azienda Jeff Bigham hanno parlato con TechCrunch di come Apple ha pensato di migliorare le funzionalità di accessibilità da iOS 13 a iOS 14 e di come sia stata fondamentale la collaborazione tra i vari team per raggiungere questi risultati.
Uno dei più importanti miglioramenti di iOS 14 per quanto riguarda l’accessibilità è la nuova funzione di riconoscimento dello schermo. Va oltre il VoiceOver e ora utilizza “l‘intelligenza sul dispositivo per riconoscere gli elementi sullo schermo e migliorare il supporto di VoiceOver per le app e le esperienze web“.
Ecco come Apple descrive il riconoscimento dello schermo: “Screen Recognition rileva automaticamente i controlli dell’interfaccia per facilitare la navigazione nelle app“. Questa tecnologia funziona anche “per rilevare e identificare suoni importanti come gli allarmi o il pianto di un bambino e ti avvisa tramite notifiche“.
Fleizach descrive così l’approccio di Apple al miglioramento dell’accessibilità su iOS 14:
Abbiamo cercato aree in cui potevamo fare breccia nell’accessibilità, come le descrizioni delle immagini. In iOS 13 abbiamo etichettato le icone automaticamente e ora Screen Recognition fa un altro passo avanti. Possiamo guardare i pixel sullo schermo e identificare la gerarchia degli oggetti con cui puoi interagire, e tutto questo avviene sul dispositivo entro pochi decimi di secondo.
Bigham osserva quanto sia stata cruciale la collaborazione tra i team Apple per andare oltre le capacità di VoiceOver con Screen Recognition:
VoiceOver è stato il portabandiera dell’accessibilità visiva per così tanto tempo. Se guardi i passaggi nello sviluppo per creare Screen Recognition, è stata fondamentale la collaborazione tra i team: accessibilità, raccolta e annotazione dei dati, AI/ML e, naturalmente, progettazione. Lo abbiamo fatto per assicurarci che il nostro sviluppo di machine learning continuasse a spingere verso un’esperienza utente eccellente.
E il lavoro non è stato semplice:
Il tutto è stato fatto prendendo migliaia di screenshot di app e giochi popolari, per poi etichettare manualmente i vari dati come uno dei numerosi elementi dell’interfaccia utente standard. Questi dati etichettati sono stati inviati al sistema di apprendimento automatico, che presto è diventato abile nel cogliere gli stessi elementi da solo.
TechCrunch ritiene che la funzione Screen Recognition non arriverà sui Mac, almeno non nell’immediato.