Begripsvoorspelling

  1. Hoe werkt begripsvoorspelling?
  2. Leesbaarheidsformules voor het Nederlands
  3. Problemen met leesbaarheidsformules
  4. Tools voor automatische begripsvoorspelling

2. Leesbaarheidsformules voor het Nederlands

Het leesbaarheidsonderzoek dat zich richt op Nederlandstalige teksten is altijd van een bescheiden omvang geweest. Wij kennen slechts drie klassieke leesbaarheidsformules voor het Nederlands, wat schraal afsteekt tegen de vele tientallen formules die in de loop der jaren voor het Engels ontwikkeld zijn.

We bespreken de drie formules hieronder kort. We zeggen iets over het totstandkomingsproces van de formule: dat zou duidelijk moeten maken op welke teksten en lezers de formule zich richt. Indien er gerapporteerd is over de betrouwbaarheid van de formule, zeggen we daar ook kort iets over.
 

Reading Ease (Brouwer)


Formule

Reading Ease = 195.00 - 0.67 WL - 2.00 GZW

Leesbaarheidscriterium

Geschiktheid volgens een expert

Tekstkenmerken

GZW =  gemiddelde zinslengte in woorden
WL =  aantal lettergrepen per 100 woorden

Validatie experimenten

Brouwer (1974) bouwt een corpus uit 25 boeken en selecteert teksten uit 12 categorieën. Hij kiest boeken waarvan hijzelf of een lerares aan een opleiding voor leeszaalassistenten de schrijver typerend vindt voor een categorie. Annie M.G. Schmidt wordt toegevoegd omdat ze zo eenvoudig schrijft. Vervolgens berekent hij de laagste en hoogste waarden voor zijn tekstkenmerken in het corpus: 1.27 en 2.06 voor gemiddelde woordlengte en 5 en 30 voor gemiddelde zinslengte. Tot slot probeert hij alle uitkomsten voor teksten op een schaal van 0-100 te plaatsen en de waarden voor coëfficiënten in de formule te bepalen door het volgende stelsel van drie vergelijkingen op te lossen:

100 = c + 1.27 WL + 5 GZW
5    = c + 1.27 WL + 30 GZW
0    = c + 2.06 WL + 30 GZ

Reading Ease (Douma)


Formule

Reading Ease (Douma) = 206.835 - 0.770 WL - 0.930 GZW

Leesbaarheidscriterium

geen (zie toelichting)

Tekstkenmerken

GZW = gemiddelde zinslengte in woorden
WL = aantal lettergrepen per 100 woorden

Validatie experimenten

Geen. Douma neemt zelf geen leesexperimenten af, maar verlaagt de coëfficiënten in de Flesch formule voor het Engels met 10%, omdat hij meent dat zinnen en woorden in het Nederlands zo’n 10% langer zijn.

CLIB (Cito)


Formule

De Cito LeesbaarheidsIndex voor het Basisonderwijs (CLIB) = 46 - 6,603 GWL + 0,474 PFREQ - 0,365 TTR + 1,425 GZW

Leesbaarheidscriterium

Gemiddelde score van basisschoolleerlingen op clozetesten over 240 teksten. 

Tekstkenmerken

GWL = gemiddelde woordlengte in letters 
PFREQ = percentage hoogfrequente woorden 
TTR = type-token-ratio (aantal verschillende woorden gedeeld op totaal aantal woorden) 
GZW = gemiddeld aantal zinnen per woord

Algemeen

De CLIB (Staphorsius, 1994), een afkorting voor Cito LeesIndex voor het Basis- en speciaal onderwijs, is is een leesbaarheidsformule die in de jaren 80 werd ontwikkeld door het Cito en tot de dag van vandaag nog steeds in gebruik is voor het voorspellen van de leesbaarheid van teksten gericht op kinderen in de leeftijd van 7-12 jaar. Naast de CLIB ontwikkelde het Cito een tweede formule, de CILT, die voorspellingen doet over de technische leesbaarheid. Bij het technisch lezen gaat het om het nauwkeurig omzetten van tekens in klanken en het samenvoegen van die klanken tot woorden. Het gehanteerde criterium is het aantal woorden dat in een vaste tijd hardop voorgelezen kan worden. De CILT doet geen uitspraken over de begrijpelijkheid van teksten en hoort dan ook niet in het rijtje leesbaarheidsformules dat we hier bespreken.

De CLIB is een mooi voorbeeld van een klassieke leesbaarheidsformule. Aan de basis van de CLIB heeft in de jaren 80 een groot leesonderzoek onder basisschoolleerlingen plaatsgevonden. Omdat de formule uitspraken moest kunnen doen over de begrijpelijkheid van alle soorten teksten waarmee kinderen in de leeftijdscategorie van 7 tot 12 jaar in aanraking komen, werd een corpus samengesteld van 240 teksten die zo goed mogelijk evenredig verspreid waren over drie doelgroepen, acht verschillende bronnen (encyclopedieën, tijdschriften, leermateriaal over taal/lezen, …) en twaalf verschillende onderwerpen (geschiedenis, natuur, gezondheid, hobby, …).

Vervolgens werden van alle 240 teksten zogenaamde clozetoetsen gemaakt. De clozetoets is al vele tientallen jaren in gebruik als begrips- en leesvaardigheidstoets. Het is een “gaatjestekst” waarbij met regelmaat woorden zijn weggelaten die door de lezer ingevuld dienen te worden. De clozeteksten zijn in het leesonderzoek van Staphorsius voorgelegd aan maar liefst 4320 leerlingen, waarbij iedere leerling twee teksten las. Dat levert dus een totaal van 8640 ingevulde clozetoetsen op, een ook naar internationale maatstaven indrukwekkende hoeveelheid data om een leesbaarheidsformule op te baseren. De leerlingen werden bovendien getoetst op leesvaardigheid, waardoor gegarandeerd kon worden dat naar verhouding evenveel sterke als zwakke lezers een clozetekst hadden gelezen.

Voor iedere clozetoets was de score het aantal correct ingevulde gaten. Voor iedere tekst werden zo 36 clozescores verkregen. De afhankelijke variabele in de regressie-analyse, waarmee de coëfficiënten voor de predictoren geschat zijn, was de gemiddelde clozescore voor iedere tekst.

Validatie experimenten

Om de CLIB-formule te valideren bouwt Staphorsius drie varianten van zijn formule: een waarbij alle data gebruikt wordt, en twee varianten waarbij het corpus in tweeën wordt gesplitst. Het ene deel wordt gebruikt voor calibratie van de formule en het andere als testset. Staphorsius vindt in deze laatste twee validatie-experimenten correlatiecoëfficiënten van 0.82 en 0.83. Wanneer alle 240 teksten worden gebruikt voor zowel calibratie als het testen, is de correlatie tussen de voorspelde en feitelijke gemiddelde clozescore 0.85. Dit komt neer op 72% verklaarde variantie.

Slotwoord

Bij de totstandkoming van de Brouwer- en Douma-formules is geen lezer aan te pas gekomen, en het is onduidelijk wat de relatie is tussen de voorspelde score en tekstbegrip. Wij zullen dan ook niemand aanraden deze formules te gebruiken om de leesbaarheid van een tekst te voorspellen. 

We mogen stellen dat de CLIB-formule de enige leesbaarheidsformule voor het Nederlands is met een degelijke experimentele basis. Lezers en teksten zijn beiden zorgvuldig gekozen en aan elkaar gekoppeld. Hoewel er niet per lezersgroep of teksttype is gevalideerd, mogen we ervan uitgaan dat de CLIB-formule breed toepasbaar is.

De correlaties tussen voorspelde en geobserveerde begripsscores zijn hoog. Dit betekent dat de CLIB-formule behoorlijk goed de gemiddelde begripsscore op een tekst kan voorspellen, of de score die een gemiddelde lezer uit de doelgroep (kinderen van 7-12 jaar) zou halen.

De kritiek op leesbaarheidsformules in zijn algemeenheid is echter ook op de CLIB-formule toepasbaar. Zo laten Kraf & Pander Maat (2009) zien dat de verklaarde variantie daalt van 72% naar ca. 30% wanneer we voor individuele lezers begripsscores willen voorspellen. De CLIB-formule geeft een goede globale indruk van de moeilijkheid van een tekst die geschreven is voor kinderen van 7-12 jaar voor kinderen in de doelgroep, maar kan ons nog steeds niet zeggen in hoeverre een tekst leesbaar is voor een individuele leerling.

Literatuur

  • Brouwer, R.H.M. (1974). Leesindex A, Leesindex B, en Leesindex AB voor de bepaling van de leesbaarheid van Nederlands proza. Pedagogische Studiën 51, 545-557.
  • Kraf, R. & Pander Maat, H. (2009). Leesbaarheidsonderzoek: oude problemen, nieuwe kansen. Tijdschrift voor Taalbeheersing 31 (2), 97-123.
  • Staphorsius, G. (1994). Leesbaarheid en leesvaardigheid. De ontwikkeling van een domeingericht meetinstrument. Cito, Arnhem.
  • Staphorsius, G. & R. Krom (1985). Predictie van leesbaarheid. Tijdschrift voor Taalbeheersing 7 (3), 192-211.

 ← Ga terug                                                                                                                                                Lees verder →