Kuratorium Illinois redukowało liczbę poprawnych odpowiedzi wymaganych do zdania Illinois Standards Achievement Tests, popularnych ISAT, a największy spadek nastąpił w testach z czytania w szkole podstawowej w porównaniu z rokiem 2006. Eksperci sugerują, by w kontekście inflacyjnych wyników ISAT, zamiast standardów poprawności posługiwać się terminem minimalnych standardów opanowania materiału.
Rezultaty testów szkolnych typu ISAT mają pierwszorzędne znaczenie dla uczniów i ich rodziców, ale przede wszystkim szkół i kuratoriów. Są podstawowym wyznacznikiem postępu akademickiego ucznia, warunkiem kwalifikacji do programów o rozszerzonym zakresie wiedzy i zajęciach dla uzdolnionych, a także obiektywnym, zdawałoby się, sprawdzianem dla poziomu nauczania szkoły. Testowaniu uczniów przez kilka dni towarzyszą zagrzewające do osiągania lepszych wyników plakaty, wezwania administratorów, informacje dla rodziców o zdrowym żywieniu swych pociech, a niektórzy ze znanych mi dyrektorów osobiście dowożą w tych dniach do szkoły rutynowo spóźniających się uczniów. Opublikowanie przez „Chicago Tribune” listy „najlepszych szkół”, sporządzonej na podstawie wyników ISAT, jest swego rodzaju sprawdzianem nie tylko dla rad szkolnych, brokerów handlu nieruchomości i lokalnych kuratorów. Okazuje się, że nic bardziej błędnego.
Kuratorium stanowe od kilku lat obniża minimalną liczbę punktów wymaganą do zaliczenia corocznych egzaminów oceniających postęp akademicki, pozwalając uczniom na więcej błędnych odpowiedzi i pomimo tego zakwalifikowanie ich jako biegłych w danym zakresie.
Oto jeszcze w roku 2006 by zdać test z czytania w piątej klasie wymagano 36 z 56 punktów, około 64%. Obecnie trzeba tylko 31 punktów, 55%. Test z czytania dla czwarto- i trzecioklasistów wymagał 61% punktów. W roku obecnym – jedynie 54%. W porównaniu z rokiem 2006, mniej poprawnych odpowiedzi potrzeba by zaliczyć test z czytania i matematyki dla klasy 11 i 12, wykazują dane stanowe, budząc kontrowersje na temat tego ile naprawdę muszą umieć uczniowie. Tymczasem statystyka wyników akademickich systematycznie rośnie, upewniając zarówno rodziców jak i społeczeństwo, że uczniowie wykazują postęp w nauczaniu.
Wznosząca się krzywa rzekomego postępu akademickiego nieprzypadkowo pojawia się w czasach, kiedy szkoły stoją przed wyzwaniem by zwiększyć liczbę zdających egzamin uczniów. Gra toczy się bowiem o wysokie stawki. W skali całego kraju zdanie testu stanowego ma zasadnicze znaczenie dla szkół i kuratoriów. W ramach federalnego prawa No Child Left Behind, szkołom grożą sankcje jeśli zbyt wielu uczniów obleje testy z matematyki lub czytania. A procent uczniów, którzy są zobowiązani do zdania egzaminu, ciągle wzrasta, wywierając większe ciśnienie na wychowawców. W roku bieżącym w Illinois 77.5% uczniów musiało zdać test ISAT, co w porównaniu z 70% wymogiem z roku 2009 było ogromnym skokiem. W niedalekiej przeszłości przez stanowym kuratorium majaczy statystyka zdawałoby się nierealna: wszyscy uczniowie muszą zdać ten egzamin w Illinois i w innych stanach. Czyż nie przywodzi to na myśl komunistyczne plany inflacyjnie zawyżonej przedsiębiorczości?
Uczniowie, którzy zdadzą testy stanowe są uważani za osiągających zadowalające wyniki akademickie, ale definicja opanowania materiału jest poddawana w wątpliwość w sytuacji, w której obniżane są minimalne liczby punktów wymagane na zaliczenie. „Jaką „doskonałość” ujawnia ósmoklasista, który z matematyki osiąga 40% poprawnych wypowiedzi na teście i jest uznany za biegle znającego materiał”, zapytuje John Wick, czołowy specjalista psychometrii z zakresu dwóch standardowych testów krajowych, były dyrektor badań i kształcenia w chicagowskich szkołach publicznych przez ponad 5 lat, a także dyrektor badań i rozwoju w North Central Association przez ponad 10 lat.
Minimalna liczba punktów wymagana na zaliczenie spadła najbardziej dramatycznie na teście ISAT z zakresu czytania dla uczniów od trzeciej do ósmej klasy, ale spadek wymagań dotyczy również minimalnej liczby poprawnych odpowiedzi z matematyki. Nie tak dawno, bo jeszcze w roku 2006, do zdania egzaminu pięcioklasista potrzebował 36 z 76 punktów. W roku 2008 wymóg ten obniżył się do 35 punktów, w roku 2009 osiągnął 33 i w roku bieżącym wyniósł 32.
Eksperci biją na alarm. Sherry Rose-Bond, zajmująca się testami członkini rady dyrektorów National Council on Measurement in Education oraz była prezydent National Association of Test Directors, uważa to za absolutnie nieuzasadnione. Tłumaczy ona, że jakkolwiek można spodziewać się nieznacznych odstępstw w wymogach dotyczących liczby poprawnych odpowiedzi z roku na rok, to nie powinno się otrzymać konsekwentnie biegnącej w dół krzywej. Podobnego zdania jest inny specjalista, Robert Linn, emerytowany profesor szkolnictwa i były prezydent American Educational Research Association, który jest zdania, że stały lub ogromny spadek minimalnych wymagań dotyczących opanowania materiału „nie byłby typowy, chyba że stan próbuje robić to celowo”.
Ale urzędnicy Illinois State Board of Education oświadczają, że zmiany wynikają ze standardowego procesu statystycznego określanego mianem “equating”, stosowanego do zapewnienia porównywalności testów z różnych lat, na wypadek gdyby różniły się one stopniem trudności. Kiedy pytania testu są łatwiejsze, więcej poprawnych odpowiedzi jest wymaganych do zaliczenia. Kiedy pytania testu są trudniejsze, do zdania potrzeba mniej poprawnych odpowiedzi.
„Equating, czyli porównanie, nie jest ani proste, ani wolne od błędu, według ekspertów testu. Tym właśnie stanowe kuratorium tłumaczyło zmianę metody stosowanej w przypadku testów z czytania i matematyki w roku 2008 na rzecz modelu, jak objaśniają urzędnicy, bardziej precyzyjnego. Członkini stanowej rady szkolnictwa i specjalistka psychometrii, Rense Lange, podkreśla fakt wykorzystywania modelu bardzo rozpowszechnionego w dziedzinie szkolnictwa. Oczywiście urzędnicy kuratorium Illinois uważają, że nowy model bardziej pasuje i że nie ma powodu do podejrzenia, że jest z nim cokolwiek złego.
Urzędnicy kuratorium zaprzeczają jakoby sposób oceny testów ISAT ilustrował stały trend zniżkowy w odniesieniu do minimalnej liczby wymaganych poprawnych odpowiedzi, podkreślając, że w latach 2008 – 2010 wymogi zaliczenia testu utrzymały się praktycznie na niezmiennym poziomie. Konkluzja administratorów stanowego kuratorium jest oparta na porównaniu średniej z minimalnej liczby punktów wymaganych do pomyślnego zdania testu z uwzględnieniem wszystkich lat nauczania, a nie w poszczególnej klasie.
Posługując się tą metodą urzędnicy lokalnego kuratorium ujawniają, że średnia wymogów pomyślnego zaliczenia testu spadła o 2.5 punkty w zakresie czytania w latach 2006 -2010 i o 2.3 punktów z matematyki.
John Wick, specjalista psychometrii, konsultant w dziedzinie testów i były doradca w zakresie testowania w stanowej radzie szkolnej, jest obeznany z procedurą porównawczą stosowaną przez kuratorium i wydaje mu się, że coś jest nie tak. Na swej witrynie internetowej pod adresem www.wickpartners.com, analizuje obniżenie wymogów dotyczących minimalnej liczby punktów określanych przez stanowe kuratorium jako wystarczający stopień opanowania materiału. Ze szczególną uwagą analizuje on stały spadek wymogów dotyczących czytania pięcioklasistów począwszy od roku 2006.
Stanowi urzędnicy kuratorium przypisują te zmiany niewinnemu z pozoru sposobowi ewaluacji porównawczej określanej mianem „equating”. Wick pozostaje sceptyczny wobec tego uzasadnienia. Jego zdaniem porównanie statystyczne obejmowałoby małe zmiany, pojawiające się przypadkowo. Tymczasem obserwowane przez niego fluktuacje statystyczne dotyczące stanowych testów ISAT nie mają, jego zdaniem, charakteru losowego.
Oto prezentowany przez specjalistę dowód manipulowania wymogami zaliczenia testów stanowych, na przykładzie wyników czytania pięcioklastów.
Otóż w oparciu o dane z czterech okręgów, w latach od 2006 do 2009 44 uczniów klasy piątej nie osiągnęło wystarczającego poziomu w zakresie czytania. We wcześniejszym okresie roku akademickiego ci sami uczniowie piątej klasy zdawali Iowa Test of Basic Skills, możliwie najlepszy i najbardziej precyzyjnie znormalizowany test w tamtym czasie. Dla tych uczniów, ocenianych poniżej oceny niedostatecznej, średni poziom procentowy w skali kraju wynosił 28. Tymczasem dla studentów, którzy nie zdali testu ISAT w latach 2006-2009 w tych czterech okręgach, średnia pozycja procentowa uzyskana w wyniku ITBS w klasie piątej wynosi 28 z czytania. W jednej ze szkół dyrektor pieje z zachwytu na portalu internetowym, że 85.9% uczniów uplasowało się powyżej standardów stanowych dzięki wysiłkowi i poświęceniu uczniów. Ponieważ stanowy standard z czytania dla piątej klasy wynosi tyle co krajowa średnia 28, to szkoła prawdopodobnie nie posiada w rzeczywistości ani jednego ucznia powyżej tego poziomu, a reszta znajduje się w przedziale od 28 do 50 punktów. Cyfra 85.9% mówi nam jedynie tyle, że około pięcioro z sześciu uczniów znajduje się powyżej krajowej średniej 28. Nie brzmi to zbyt imponująco.
Wick dowodzi, że testy ISAT wykorzystują standardy minimalnej kompetencji. Jeśli 85.9% uczniów szkoły lub nawet 99.1% osiągnęło wyniki powyżej standardów, to to oświadczenie nie ma nic wspólnego z doskonałością. ISBE, stanowa rada szkolnictwa, powinna zaprzestać posługiwania się terminem standardów opanowania materiału - „proficiency standards” wprowadzając w błąd opinię publiczną, bowiem w rzeczywistości stanowią one jedynie minimalne standardy znajomości materiału. Uczeń w wieku 16 lat osiągający wyniki z czytania na poziomie 28 punktów doświadczałby trudności będąc zatrudnionym w McDonaldzie.
Według portalu WEBsite prowadzonego przez Northern Illinois University, w stanie Illinois procent uczniów osiągających poziom czytania powyżej standardu dostatecznej kompetencji konsekwentnie wzrasta. Uniwersytet informuje, że w zakresie czytania na poziomie piątej klasy procent opanowania materiału wynosił 69, 70% w roku 2007, 74% w 2009. Minimalna liczba punktów wyznaczająca znajomość materiału wynosiła przez te cztery lata 215. Pozornie statystyka ilustruje wzrost akademicki.
Ale ogólna liczba bezwzględnych punktów z czytania w piątej klasie wynosi 56. Bezwzględny wynik do osiągnięcia 215 w roku 2006 wynosił 36 punktów. Dzieląc 36 przez 56 oznacza, że uczeń z 64% poprawnych odpowiedzi został uznany za znającego materiał w roku 2006.
Jak wykazuje John Wick, rzeczywisty procent poprawnych odpowiedzi uznany za stanowiący poziom biegłości z czytania spadał z roku na rok. W roku 2006 wynosił 64%, 59% w roku 2007, 57% w 2008 i 55% w 2009. Opanowanie materiału staje się coraz łatwiejsze z roku na rok.
Konsultanci stanowej rady szkolnictwa deklarują, że spadek bezwzględnych wyników związanych z minimalną liczbą punktów wymaganych do zdania testu 215 jest losową kwestią wynikającą z porównywania, tak zwanego „equating”. Pojawia się ono wtedy, gdy te same pytania nie mogą pozostać w tekście niezmienione przez lata, więc pewna proporcja pytań jest zastępowana. Zastępowanie ich oznacza, że stary test musi zostać porównany z nowym.
Kiedy sporządzane są nowe pytania, zwykłą praktyką jest by utrzymane były na tym samym poziomie trudności jak te, które są zastępowane. W rzeczywistości stosunek bezwzględnej liczby punktów to liczby zeskalowanej pójdzie trochę w górę lub w dół, ale te odchylenia mają charakter losowy.
Ale można sprawić by stosunek liczb bezwzględnej do wyniku zeskalowanego systematycznie się zmniejszał poprzez celowe opracowywanie znacznie trudniejszych pytań. Wick zauważa jednak bezsensowność tego podejścia biorąc pod uwagę, że procent odpowiedzi poprawnych wymagany do zdania wynosi już poniżej poniżej 50% i zbliża się niebezpiecznie do 25% poprawnych wyników, uznanych za wybór przypadkowy.
Wick przeprowadza również precyzyjny wywód dokumentujący systematyczne zaniżanie wymogów testów z zakresu matematyki, konkludując: „Jaka doskonałość ukazuje się w sytuacji, w której ósmoklasista osiąga 40% poprawnych wypowiedzi na teście z matematyki i jest uznany za biegłego w temacie?” Kuratorium Illinois obniżyło poprzeczkę na teście matematyki dla ósmej klasy w roku 2006 w wyniku reorganizacji egzaminów ISAT.
Praktyka obniżania wymogów nie jest ani czymś nowym ani specyficznie chicagowskim. Administratorzy szkolnictwa i ustawodawcy z Teksasu wyrazili sceptycyzm dotyczący postępu na egzaminach stanowych, a prasa doniosła, że tamtejsze kuratorium wymagało mniej poprawnych odpowiedzi do zdania testu. Teksas także powoływał się na standardowe metody statystyczne jako uzasadnienie. Również w Nowym Jorku urzędnicy stanowego kuratorium przyznali, że testy stanowe stały się zbyt proste, więc zwiększono liczbę poprawnych odpowiedzi wymaganych w tym roku. Wskaźniki opanowania materiału spadły.
W Illinois urzędnicy stanowej rady zarządu szkolnictwa ogłosili w ubiegłym miesiącu kolejny rok rosnących osiągnięć akademickich i wyższe statystyki opanowania materiału w większości testów administrowanych na wiosnę. Lokalne rezultaty będą podane do publicznej wiadomości jeszcze w bieżącym miesiącu, ale wielu rodziców otrzymało już wyniki testu ISAT.
Raporty testów, które są wysyłane do domu, dzielą liczbę pytań, na które uczeń odpowiedział poprawnie w danej dziedzinie przez średnią poprawnych odpowiedzi w szkole, lokalnym kuratorium i stanie.
„Chicago Tribune” dokonała rewizji tych danych i doszła do wniosku, że obecni studenci otrzymali więcej niepoprawnych odpowiedzi w kilkunastu obszarach testu w porównaniu z pięcioma latami wstecz. Pomimo tego wzrósł poziom zaliczenia testu. Z analizy wyników ISAT przeprowadzonych przez „Tribune” wynika, że na połowie egzaminów ISAT uczniowie otrzymywali mniej niż połowę ogólnej liczby punktów i wciąż zdawali.
Specjaliści od testu pouczają, że stanowy egzamin wiedzy różni się od testu w szkole, kiedy 90% zwykle oznacza ocenę A, 80% - B, a co najmniej 60%, albo D, oznacza zdanie. Próg przejścia może być nieco zaniżony na teście stanowym, który ma zwykle trudniejsze pytania w porównaniu ze zwykłą klasówką. Na egzaminie ISAT oceny są oparte zwykle na pytaniach wielokrotnego wyboru i kilku dłuższych odpowiedziach. Kuratorium stanowe przelicza wyniki bezwzględne na powszechnie określane wyniki zeskalowane, które decydują czy uczeń zdał. Wyniki zeskalowane nie uległy zmianie od roku 2006, ale zmniejszyła się liczba poprawnych odpowiedzi wymaganych do zdania testu.
Ze wszystkich testów czytania i matematyki, test z czytania w klasie szóstej jest jedynym testem wymagającym więcej poprawnych odpowiedzi, dokładnie jednej więcej, w porównaniu z rokiem 2006. Uczniowie zdają także test z nauk ścisłych, który nie ma znaczenia jeśli w grę wchodzą sankcje prawa federalnego. Nieprzypadkowo wymogi opanowania materiału w tej dziedzinie nie poruszyły się.
Czy nam się to podoba czy nie, testowanie podstawowych konceptów akademickich wypływa nie tylko z konieczności spełnienia stanowych wymogów, ale z głębokiej potrzeby ewaluowania nabytej wiedzy. Manipulowanie sposobem sprawdzania testów ISAT pozwala wprawdzie na uniknięcie konsekwencji nieskutecznego nauczania, ale poza tym wprowadza w błąd wszystkich zainteresowanych. Nie ma więc najmniejszego sensu. Kuratorium stanowe posiada wszystkie dane by dokonać rzetelnej i wiarygodnej ewaluacji wyników uczniów, ich nauczycieli i działalności szkół. Wydaje się jednak, że w dobie powszechnej inflacji nie ma co liczyć na nieskorumpowane i odporne na potrzeby polityczne ewaluacje. Nie zapominajmy, że mieszkamy przecież w Illinois.
Na podst. „Chicago Tribune” oprac. Elżbieta Zaworski