Begripsvoorspelling

  1. Hoe werkt begripsvoorspelling?
  2. Leesbaarheidsformules voor het Nederlands
  3. Problemen met leesbaarheidsformules
  4. Tools voor automatische begripsvoorspelling

1. Hoe werkt begripsvoorspelling?

Het lijkt haast te mooi om waar te zijn: de computer die je vertelt hoe moeilijk een tekst is, of die zelfs kan bepalen voor welke lezer een tekst geschikt is. Er zijn al tientallen jaren programma’s op de markt waarvan de makers beweren dat dit is wat ze kunnen, of die in ieder geval de indruk wekken geschikt te zijn voor dit doel. Om beter te begrijpen wat deze programma’s werkelijk kunnen (en niet kunnen) moeten we kijken naar het ontwikkelproces van een dergelijke tool.

Terminologie

Meestal hebben we het niet over begripsvoorspelling, maar over leesbaarheidsvoorspelling. Of het terecht is dat deze twee begrippen aan elkaar gelijk worden gesteld, is nog maar de vraag. De moderne leesbaarheidsvoorspellers voorspellen zeker niet altijd de mate van begrip van de lezer op een bepaalde tekst. Dit hangt vooral af van het gehanteerde criterium: sommige voorspellers zijn gebaseerd op de resultaten die lezers hebben behaald op begripstoetsen, terwijl andere formules werken met bijvoorbeeld lezers- of expertoordelen. Wat ons betreft is tekstbegrip wel het meest zinvolle criterium: het gaat er immers om dat een lezer de boodschap van een schrijver begrijpt. Of die lezer een tekst fijn vond om te lezen of dat een expert denkt dat een lezer een tekst zou kunnen begrijpen, is eigenlijk niet waar het om gaat. Dat er toch vaak met criteria als "lezersoordeel" en "expertoordeel" gewerkt wordt, zal vooral uit economisch motief gebeuren: het afnemen van begripstoetsen is een enorm tijdrovend (en dus duur) proces.

Hoe wordt een leesbaarheidsvoorspeller gebouwd?

De meest gebruikte programma’s om leesbaarheid of tekstbegrip te voorspellen zijn nog altijd de leesbaarheidsformules. De leesbaarheidsformule is de klassieke tool om leesbaarheid mee te voorspellen en stamt van ver voor het computertijdperk. Vogel & Washburne (1928) kwamen al in de jaren 20 van de vorige eeuw met een formule waarmee aan de hand van simpele tekstkenmerken (zoals gemiddelde woordlengte) een leesbaarheidsscore aan een tekst kon worden toegewezen.

De methode die Vogel & Washburne hanteerden is in de loop der jaren (de laatste 10 jaar niet meegerekend) nauwelijks veranderd. Het constructieproces van een leesbaarheidsformule ziet er grofweg als volgt uit. Van een flinke verzameling teksten wordt op experimentele wijze de leesbaarheid vastgesteld bij een grote groep lezers. Van al deze teksten worden de waardes van tekstkenmerken (automatisch) berekend, waarna via een statistische analyse (regressie) een vergelijking verkregen wordt waarin de tekstkenmerken als onafhankelijke variabelen worden gebruikt om de resultaten van de leesbaarheidsmetingen (de afhankelijke variabele) te voorspellen. Voor de klassieke leesbaarheidsformules waren de tekstkenmerken altijd erg simpel van aard: ze moesten eenvoudig te berekenen zijn met de hand, en later door de computer. Woord- en zinslengte komen in de meeste formules voor als tekstkenmerken, en woordfrequentie vaak ook. Nieuwe tools voor leesbaarheidsvoorspelling werken vaak met tekstkenmerken die niet direct uit de tekst zelf gehaald kunnen worden: een voorbeeld van een "nieuw" tekstkenmerk is bijvoorbeeld de afstand tussen onderwerp en persoonsvorm. Die kunnen we automatisch berekenen doordat we voor talen als het Engels en Nederlands tegenwoordig de beschikking hebben over automatische zinsontleders. We kunnen in dit opzicht dus meer omdat de taaltechnologie zich de afgelopen 20 jaar enorm ontwikkeld heeft.

Er zijn enkele keuzes die gemaakt moeten worden bij het ontwikkelen van een leesbaarheidsformule, die bepalend zijn voor de kwaliteit en bruikbaarheid van de formule. Allereerst is er de keuze voor de teksten die in het leesexperiment gebruikt worden. Deze bepaalt voor welke teksttypen de formule gebruikt mag worden. Wanneer alleen kinderverhalen meegenomen worden in het onderzoek, is de formule hoogstens bruikbaar om de leesbaarheid van kinderteksten te voorspellen. Wanneer een formule breed gebruikt moet worden, zal het domein van de bij de ontwikkeling van de formule gebruikte teksten dat ook moeten zijn.

Ten tweede bepaalt het gekozen leesbaarheidscriterium wat je leesbaarheidsvoorspeller uiteindelijk voorspelt. Vogel & Washburne vroegen 37.000 kinderen in het Amerikaanse lager onderwijs welke boeken ze het afgelopen jaar met plezier hadden gelezen, en veronderstelden dat een kind een tekst alleen leuk kan vinden als het die tekst ook begrepen heeft. Strikt genomen voorspelt hun formule dus geen tekstbegrip, maar leesplezier. Veel leesbaarheidsonderzoekers zijn later overgestapt op het meten van tekstbegrip door middel van begripstoetsen, zoals begripsvragen of de clozetoets (Taylor, 1953), en gebruiken de resultaten op deze toetsen als te voorspellen criterium.

Ten derde is er de lezer. Bij een leesexperiment zijn de gekozen lezers van invloed op het domein waarop de formule uiteindelijk van toepassing is – net als bij het selecteren van de teksten. Wanneer een leesbaarheidsformule de leesbaarheid van teksten voor lezers met verschillende leesvaardigheidsniveaus moet kunnen voorspellen, moeten die niveaus ook goed gerepresenteerd worden in de lezerspopulatie. Wanneer bijvoorbeeld zwakke lezers niet meegenomen zijn in de experimenten, kan de formule ook geen voorspellingen doen over de leesbaarheid van teksten voor zwakke lezers.

In het ontwikkelingsproces van een leesbaarheidsvoorspeller bepalen tekst- en lezersselectie en het gekozen leesbaarheidscriterium wat de uiteindelijke voorspeller precies voorspelt en voor wie (welke lezer) de voorspeller voorspellingen doet. Vervolgens is het belangrijk te weten of de voorspeller nauwkeurige voorspellingen maakt. In een validatie-experiment zal aangetoond moeten worden dat voor een aantal teksten die niet meegenomen zijn in het constructieproces van de voorspeller het leesbaarheidscriterium nauwkeurig voorspeld kan worden. In het geval van de leesbaarheidsformule wordt deze nauwkeurigheid altijd uitgedrukt in hoeveel variantie er door het model verklaard wordt.

Wanneer niets bekend is over het tekst- en lezersdomein waarvoor de formule geldt, of over het gehanteerde leesbaarheidscriterium of de nauwkeurigheid, is het gebruik van een leesbaarheidsformule bij voorbaat al zinloos. Als gebruiker weet je in zo’n geval niet of het voorspelde niveau van de tekst betrouwbaar is. Ook voor de nieuwe generatie begripsvoorspellers geldt dat er duidelijkheid moet zijn hierover naar de gebruiker toe. We zullen bij de bespreking van leesbaarheidsformules en andere tools op deze website er dan ook op letten in hoeverre dit gebeurd is. 

Literatuur

  • Taylor, W.L. 1953. Cloze procedure: A new tool for measuring readability. Journalism Quarterly, 30, 415–433.
  • Vogel, M. & Washburne, C. 1928. An objective method of determining grade placement of children’s reading material. Elementary School Journal, 28, 373-381.

← Ga terug                                                                                                                                                Lees verder →