154 Nederlandse samenvatting laagste niveau de items (iteminformatie) en vervolgens de leerlingen die genest zijn binnen leraren en tijd (meetmoment). De combinatie met een GT-model maakt het mogelijk variantiecomponenten (leerlingen, leraren, tijdstippen en hun interacties) tegelijkertijd mee te schatten. Daarnaast is door een Decision study (D-studie) onderzocht wat er met de betrouwbaarheid van de metingen gebeurt als er meer of minder meetmomenten zijn of als het aantal leerlingen in de klas verschilt. Studie 1: Meten we wat we willen weten? In de eerste studie hebben we onderzocht of de Impact! vragenlijst meet wat we willen weten, namelijk de leskwaliteit van de leraar (constructvaliditeit). Dit konden we bepalen door de verschillen tussen de geschatte data (op basis van het IRT-GT-model) en de geobserveerde data te analyseren. Het absolute verschil mag niet groter zijn dan 0.1. De betrouwbaarheid van Impact! scores werd bepaald door de mate waarin de verzameling van de leerlingpercepties onder vergelijkbare omstandigheden vergelijkbare resultaten opleverde. Dit wordt vaak uitgedrukt in zogenoemde betrouwbaarheidscoëfficiënten met waarden tussen 0,00 (niet vergelijkbaar) en 1,00 (helemaal vergelijkbaar). De analyses van onze data lieten zien dat de constructvaliditeit van de Impact! vragenlijst goed is. De absolute verschillen tussen de geschatte data en de geobserveerde data zijn namelijk minder dan 0.1. De analyses lieten daarnaast zien dat de betrouwbaarheid van de leerlingenscores hoog is (0.895). De meeste variantie in scores wordt verklaard door leraren (35.6%), gevolgd door leerlingen (24.4%). De D-studie liet zien dat, om hoog betrouwbare scores te behalen (> 0.8) in ieder geval drie meetmomenten nodig zijn. Hoe meer meetmomenten, hoe kleiner het effect op de betrouwbaarheid. Het aantal leerlingen heeft geen invloed op de betrouwbaarheid van de leskwaliteitscores (bij een minimum van vijf leerlingen in de klas). We meten met de Impact! tool dus wat we willen weten. Bovendien zijn de leerlingpercepties betrouwbaar: in vergelijkbare omstandigheden geven leerlingen vergelijkbare oordelen over de leskwaliteit van hun leraar. Omdat de scores wel verschillen op zowel leraar- als leerlingniveau, is het interessant te onderzoeken welke factoren samenhangen met die verschillen. In de tweede studie hebben we dit onderzocht.
RkJQdWJsaXNoZXIy MjY0ODMw