Automatische hiërogliefherkenning

Automatische hiërogliefherkenning
Met behulp van moderne technologieën kan iedereen toegang hebben tot de Oudegyptische hiërogliefen. Je maakt een foto van de tekst, waarna een app de vertaling en verdere achtergrondinformatie van deze tekst weergeeft. Maar hoe werkt het automatisch herkennen van de eeuwenoude hiërogliefen?
Er kleeft mysterie en spanning aan Oudegyptische hiërogliefen. Vijfduizend jaar geleden gebruikte een verloren beschaving deze ‘heilige groeven’ (hieros glyphoi) om hun maatschappij te verbeelden. De betekenis van deze beeldtaal is volledig verloren gegaan in de vierde eeuw na Christus, en pas na de ontdekking van de Steen van Rosetta in 1799 konden onderzoekers de hiërogliefen beter bestuderen. De betekenis van het schrift bleef echter nog geheim tot 1822 toen Thomas Young en Jean-François Champollion de hiërogliefen wisten te ontcijferen en hun betekenis werd prijsgegeven. Tegenwoordig zijn de meeste teksten vertaald, maar de mysterieuze sfeer die rondom de Egyptische cultuur heerst is gebleven. Huidige films, boeken en games met hoofdrollen voor archeologen, zoals Indiana Jones, Lara Croft of Robert Langdon wakkeren het idee van magische spreuken en mummies alleen maar verder aan. Alleen experts zijn tegenwoordig in staat om het Oudegyptische schrift te lezen. Andere geïnteresseerden, zoals toeristen in Egypte of museumbezoekers, zijn aangewezen op een indirecte ervaring. Een museumcurator plaatst vaak grote borden met vertalingen, maar er moet een afweging gemaakt worden wat er precies op de borden komt te staan. Een ander optie is om een persoonlijke gids te vragen, maar deze is niet altijd beschikbaar. Met behulp van moderne technologieën is het mogelijk om iedereen persoonlijk en direct de mysteries van de oude Egyptenaren te laten ontdekken. Dit kan in de vorm van een app, waarbij toeristen alleen maar een foto hoeven te maken van de desbetreffende tekst, waarna de app de vertaling en verdere achtergrondinformatie van deze tekst weergeeft. Figuur 1 geeft kort weer wat deze app kan.
Figuur 1. Middels een foto maakt de app de vertaling en achtergrondinformatie van een Oudegyptische tekst snel toegankelijk
 
Computer Vision
Voor dit project wordt veel gebruikgemaakt van Computer Vision, een methode voor het analyseren en verwerken van afbeeldingen in ofwel numerieke data of in symbolen. Computer Vision wordt gerekend tot het domein van de Artificial Intelligence. De methode is erop gericht om computers inzicht te geven in het juist interpreteren van beelden. In tegenstelling tot ons biologisch vermogen om schijnbaar vanzelf visuele informatie te verwerken, hebben computers moeite om afbeeldingen te interpreteren. Dit is ook niet zo vreemd aangezien een afbeelding in de ogen van een computer alleen maar uit een reeks pixel-nummers bestaat. In de afgelopen jaren is er veel onderzoek gedaan op het gebied van Computer Vision en proberen onderzoekers te achterhalen hoe de hersenen in staat zijn om visuele informatie efficiënt te verwerken. Men probeert dan ook verscheidene manieren om de hersenen na te bootsen. Alhoewel Computer Vision nog in de kinderschoenen staat, zijn er al veel technieken in gebruik genomen voor verschillende applicaties. Zoals bijvoorbeeld handschriftherkenning bij het lezen van de adressen op een brief. Verder is gezichtsherkenning, ook wel gebruikt bij bewakingscamera’s, een bekend voorbeeld van Computer Vision. Recentelijk heeft Google een app gelanceerd onder de naam ‘Google Goggles’, waarmee gezocht kan worden naar informatie in plaatjes, zoals tekst, bekende schilderijen, bekende gebouwen, et cetera.

 

Hoe werkt het?

Het programma om automatisch hiërogliefen te herkennen bestaat uit drie stappen (figuur 2) . Als eerste worden de hiërogliefen gedetecteerd in een foto. Hierbij worden alle individuele hiërogliefen apart uitgesneden en doorgestuurd naar het tweede onderdeel, de classificatiestap. In deze stap worden alle hiërogliefen geclassificeerd op basis van de meest vergelijkbare hiëroglief in de dataset. In de laatste stap maakt het systeem gebruik van de statistische patronen in de Egyptische taal om naar woorden te zoeken in de tekst, en mogelijk fouten uit de vorige stap te corrigeren.
Figuur 2. Het programma om automatisch hiërogliefen te herkennen bestaat uit drie stappen
 
Dataset
Voordat een systeem automatisch iets kan leren, is er een dataset nodig. Deze applicatie gebruikt een aantal foto’s die zijn genomen in de piramide van Oenas. Hiervoor zijn handmatig meer dan vierduizend hiërogliefen uitgeknipt en voorzien van een label. Naast de visuele dataset, is een tekstuele dataset gebruikt om het statistische taalmodel te trainen. Deze bestaat uit een corpus van meer dan twaalfduizend Egyptische woorden en 158 gedigitaliseerde Egyptische teksten.
 
Hiërogliefdetectie
In de eerste stap wordt gezocht naar hiërogliefteksten in een foto. Nadat de hiërogliefen zijn gedetecteerd, weet de computer nog niet in welke volgorde ze gelezen moeten worden. Het hiërogliefenschrift kan namelijk in verschillende volgorden geschreven worden. Egyptenaren schreven van zowel links naar rechts, rechts naar links of van boven naar beneden. De enige manier om erachter te komen in welke horizontale richting de hiërogliefen gelezen moeten worden, is door te kijken in welke richting de figuurtjes van mensen en dieren kijken. Deze kijken namelijk altijd naar het begin van de regel. Met behulp van de positie van de gevonden hiërogliefen kan de leesvolgorde bepaald worden.
 
Hiërogliefclassificatie
Als alle hiërogliefen gedetecteerd zijn, is de volgende stap om te bepalen tot welk type de gevonden hiërogliefen behoren. Dit gebeurt door elke gevonden hiëroglief te vergelijken met alle plaatjes van hiërogliefen in de dataset. Elke vergelijking resulteert in een score die aangeeft hoeveel de twee plaatjes op elkaar lijken. Aan het eind van de berekening sorteert het systeem alle plaatjes op basis van deze score. Figuur 3 toont de meest vergelijkbare hiërogliefen voor het plaatje van een haas. Het vergelijken van twee plaatjes van hiërogliefen is met vijftien verschillende methodes getest. De best en snelst werkende methode kijkt naar de kansverdeling van lijnrichtingen. Door deze kansverdelingen te vergelijken met die uit de database, kunnen de meest lijkende hiërogliefen worden teruggevonden.
Figuur 3. De meest vergelijkbare hiërogliefen voor het plaatje van een haas
 
Statistisch taalmodel
In de laatste fase heeft het systeem de mogelijkheid om fouten te corrigeren op basis van een taalstatistiek. Door te zoeken naar woorden of veel voorkomende reeksen van hiërogliefen, kunnen fouten van het Computer Vision-gedeelte worden gecorrigeerd. Figuur 4 is een voorbeeld waarbij Computer Vision een fout maakt en de tweede hiëroglief als een adder classificeert, terwijl er in werkelijkheid een waterhiëroglief is afgebeeld. Het taalmodel zoekt naar mogelijke woorden en weet dat hier het woord Oenas (naam van een Farao) kan staan. Naast het woordmodel is er ook nog gebruik gemaakt van een ander soort taal-model, wat kijkt naar hoeveel kans een bepaalde reeks van hiërogliefen heeft om voor te komen in een Oudegyptische tekst. Deze methode maakt gebruik van zogenaamde trigrams, wat de kans aangeeft dat drie hiërogliefen achter elkaar voorkomen.
 
Figuur 4. Het systeem corrigeert fouten op basis van een taalstatistiek
 
Conclusie
Alhoewel er nog veel moet gebeuren voordat het zover is dat deze technieken beschikbaar zijn voor een smartphone-app, is het werkelijkheid aan het worden. Het huidige systeem kan ongeveer 70 procent van de hiërogliefen correct classificeren in een foto. In figuur 5 is weergegeven waar het systeem op dit moment toe in staat is. De groengekleurde hiërogliefen zijn correct gedetecteerd en geclassificeerd, terwijl de geelgekleurde hiërogliefen, ofwel verkeerd zijn gedetecteerd, ofwel verkeerd zijn geclassificeerd.
Figuur 5. Het huidige systeem classificeert ongeveer 70 procent van de hiërogliefen correct
 
Het Allard Pierson Museum in Amsterdam, Technologiestichting STW en het Intelligente Systemen Lab Amsterdam (ISLA) van de Universiteit van Amsterdam, werken samen aan een project waarmee bezoekers van het archeologiemuseum straks de vertaling en achtergrondinformatie van een Oudegyptische tekst kunnen opvragen door er simpelweg een foto van te maken. Speurtochten waarbij alle hints zijn opgeschreven in hiërogliefen, zouden speciaal kinderen moeten interesseren. En er kunnen magische spreuken worden verzameld om een mummie tot leven te wekken. Zodoende kan iedereen zich eventjes Indiana Jones voelen (figuur 6) .
Figuur 6. Speurtochten zijn een mogelijke toepassing
 
Morris Franken
Franken is een van de twee tweedeprijswinnaars van de Ngi Informatie Scriptieprijs 2013. Jan van Gemert was zijn scriptiebegeleider. E-mail: morrisfranken@gmail.com Ga voor meer informatie of vorderingen van het project naar: http://tombreaderapp.com/
 
 
 
 

Tag

Onderwerp



Niet gevonden? Vraag het de redactie!

Heeft u het antwoord op uw vraag niet gevonden, of bent u op zoek naar specifieke informatie? Laat het ons weten! Dan zorgen we ervoor dat deze content zo snel mogelijk wordt toegevoegd, of persoonlijk aan u wordt geleverd!

Stel uw vraag