Language testing: towards a methodology for the study of the method effect

Artykuł podejmuje kwestię metodologii badania efektu metody w kontekście testów sprawdzających. Podczas gdy w tradycyjnych badaniach efektu metody w pomiarze różnicującym stosowana jest oparta na korelacjach macierz wielu cech – wielu metod, w przypadku pomiaru sprawdzającego kluczową rolę odgrywa istotność różnicy między średnimi, ponieważ trudność zadań testowych ma bezpośredni wpływ na decyzje klasyfi kacyjne. Autor zwraca szczególną uwagę na strukturę eksperymentu oraz sposoby kontrolowania wpływu zmiennych zakłócających w planach z powtarzanym pomiarem.

This article discusses the methodology for investigating the effect of item format on test performance. While correlational procedures have traditionally been used in examinations of the method effect in the context of norm-referenced tests, the signifi cance of differences between means is more important for criterion-referenced testing because test diffi culty has a direct infl uence on classifi cation decisions. Special attention is given to ways of controlling confounding factors in repeated-measures experimental designs.