En app, der er i stand til at oversætte billeder af tegnsprog til lyd gennem telefonens kamera og mikrofon, er netop sendt i test på to specialskoler i Randers og et uddannelsescenter i Holstebro.

Appen, der er udviklet af Sign2me i samarbejde med Alexandra Instituttet, skal testes blandt børn og voksne med kognitive udfordringer, som bruger en mere simplificeret version af tegnsprog, der består af håndtegn, som støtter deres sprog.

Det er Gabriel Andersen og Brian Klindrup, som står bag Sign2me. De to iværksættere håber, at appen kan fungere som sprogtolk og lette kommunikationen mellem elever, pædagoger og andre, som ikke behersker den form for tegnsprog.

Appen kan på nuværende tidspunkt oversætte stillestående tegn til tale ved brug af telefonens kamera og mikrofon. Det fungerer ved, at brugerne selv indlæser de tegn, som de benytter, og giver tegnet en betydning eller oversættelse.

Kompliceret at oversætte tegnsprog

Sign2me arbejder i øjeblikket på at videreudvikle appen, så den også kan oversætte tegn med bevægelse. Det er dog væsentligt mere kompliceret, når kameraet skal opfange bevægelse. Brian Klindrup forklarer:

“Udfordringen er, at tegnsprog er kompliceret og anvender en anden syntaks. Det bruger både hænder og ansigtsmimik, som skal oversættes til et sprog. Det har vi endnu ikke løst. Men i stedet for at vente til appen kan alt det, vi ønsker, så har vi valgt at frigive den nuværende version. Vi kan se, at den kan være anvendelig for personer, som bruger simple håndtegn til støtte af deres tale.”

Ideen til appen opstod, da Brian Klindrup var til fødselsdag hos sin nevø, der er talehandicappet og kommunikerer med tegn som støtte. Men ligesom 98 procent af verdens befolkning, så behersker Brian ikke tegnsprog. Han forsøgte at downloade en app, der kan tegnsprog. Da det ikke fandtes, besluttede han selv at udvikle én. Her nåede de to grundlæggere hurtigt frem til, at de skulle have fat i nogle, som kunne noget med videogenkendelse og kunstig intelligens. Han forklarer:

”En af vores udfordringer er, at vi bevæger os på kanten af, hvad der teknisk kan lade sig gøre. Det, vi har lavet nu, kunne ikke lade sig gøre, da vi fik ideen. Her har teknologien været med os. Det har været en kæmpe fordel at samarbejde med en partner som Alexandra Instituttet, som er up-to-date med, hvad der er af teknologier.”

Indlæser tegn på videoer

Sign2me styrer efter en trinvis udvikling, hvor der løbende vil blive frigivet versioner af appen, som bliver gradvist bedre og mere sofistikeret i oversættelsen. Næste skridt, som de arbejder på, er en version, der kan oversætte tale til enkle tegn. Slutmålet er at udvikle en motor, som ved hjælp af kunstig intelligens kan fodres med videoer af tegnsprog, og som så selv finder ud af at oversætte.

Du kan den fulde artikel på Alexandra Instituttets hjemmeside her