Metodologia
Co mierzą nasze testy, jak powstają zadania, jak liczymy wyniki i czego uczciwie nie potrafimy powiedzieć.
Testy i to, co mierzą
| Test | Co mierzy | Format |
|---|---|---|
| Obracanie kostki | wyobraźnię przestrzenną: śledzenie w myślach obrotów bryły | 20 zadań, 6 opcji, 8 min |
| Matryce | rozumowanie abstrakcyjne na nowym materiale (tzw. inteligencja płynna) | 16 zadań, 8 opcji, 15 min |
| Ciągi liczbowe | rozumowanie indukcyjne na liczbach | 16 zadań, odpowiedź wpisywana, 12 min |
| Pamięć robocza | przechowywanie (w przód) i przetwarzanie (wspak) informacji w pamięci | do 28 prób, ok. 10 min |
| Słownictwo | znajomość słów (tzw. inteligencja skrystalizowana); test w przygotowaniu | 20 zadań, 5 opcji, 6 min |
| Zdania | znajomość słów w kontekście zdania (tzw. inteligencja skrystalizowana); wersja próbna | 25 zadań, 5 opcji, 8 min |
Każdy test mierzy jedną wąską zdolność. Żaden nie jest „testem IQ” w sensie klinicznym. Wynik łączny z kilku testów jest lepszym przybliżeniem ogólnej zdolności niż wynik jednego testu, ale nadal nie zastępuje badania psychologicznego.
Skąd się biorą zadania
- Generator z ziarnem. Wszystkie zadania tworzy program według jawnych reguł, a nie człowiek. Każdy uczestnik danej wersji testu dostaje te same zadania, w tej samej kolejności, co pozwala porównywać wyniki.
- Klucz liczy program, a drugi niezależny program go sprawdza. W teście kostki obroty są liczone dwiema metodami, na macierzach i na permutacjach ścianek. W matrycach generator przewiduje brakujące pole, a weryfikator sprawdza wszystkie możliwe odpowiedzi. W ciągach weryfikator przeszukuje szeroką rodzinę reguł, żeby upewnić się, że żadna inna prosta reguła nie daje innej odpowiedzi.
- Odporność na zgadywanie. Sprawdzamy, czy poprawną odpowiedź da się wskazać bez rozwiązywania zadania, np. wybierając opcję, której cechy najczęściej powtarzają się wśród odpowiedzi. W matrycach takie strategie działają na poziomie losowym.
- Wersje. Każda zmiana zadań to nowa wersja testu (np.
kostka-v2). Wyniki różnych wersji nigdy się nie mieszają. - Słownictwo. Zadania tego testu powstają z otwartych zasobów językowych (plWordNet, wordfreq), ale do testu trafiają dopiero po ręcznym przeglądzie.
- Zdania. Zdania z luką napisaliśmy sami, od zera. Pozostałe opcje mają tę samą formę gramatyczną co poprawne słowo, żeby o odpowiedzi decydowało znaczenie, a nie końcówka. Do norm, tak jak w słownictwie, wchodzą tylko osoby z polskim jako językiem ojczystym. Po pilotażu sprawdzimy każde zadanie (trudność, moc różnicująca, czy któraś błędna opcja nie przyciąga dobrych uczestników) i słabe wymienimy w nowej wersji testu.
Nie kopiujemy zadań z cudzych testów. Inspirują nas opublikowane metody, a źródła podajemy wprost.
Jak powstają normy
- Kto trafia do porównań. Wyniki są zbierane tylko od osób, które ukończyły 16 lat i zaznaczyły zgodę. Liczymy tylko pierwsze podejście każdej osoby, bo przy kolejnych wynik rośnie z wprawy.
- Próba nie jest reprezentatywna. To ochotnicy, którzy sami trafili na stronę. Zwykle są młodsi, lepiej wykształceni i bardziej zainteresowani testami niż przeciętny mieszkaniec Polski. Dlatego „porównanie z innymi uczestnikami” znaczy dokładnie to, a nie „porównanie z populacją”.
- Odsiewanie przeklikanych testów. Przed liczeniem norm odrzucamy testy rozwiązane bez zaangażowania: bardzo szybkie odpowiedzi, wybieranie wciąż tej samej opcji, wynik na poziomie zgadywania albo nietypowy wzór błędów.
- Pomoc AI i inne ściąganie. Test online można rozwiązać z pomocą: skopiować zadanie do czatu z AI, zrobić mu zdjęcie albo zapytać kogoś. Nie da się tego całkiem zablokować, więc to mierzymy i takich wyników nie wliczamy do norm:
- po teście, zanim zobaczysz wynik, pytamy, czy korzystano z pomocy (odpowiedź nie zmienia twojego wyniku);
- zapisujemy, ile razy i na jak długo strona z zadaniem przestała być aktywna (przełączenie karty lub aplikacji). Do norm nie wliczamy testu, w którym zdarzyło się to więcej niż 2 razy albo łącznie na dłużej niż 20 sekund;
- treści zadań nie da się zaznaczyć i skopiować;
- odpowiedź udzielona po wyjściu z karty (na dłużej niż sekundę) nie jest liczona do wyniku. Mówi o tym instrukcja każdego testu, a ekran wyniku podaje, ile odpowiedzi nie policzono i jaki byłby wynik bez tej zasady;
- jeśli uczestnik przyzna, że korzystał z pomocy, pokazujemy wynik, ale bez porównania z innymi i bez skali IQ, bo nie mówi on o jego zdolnościach;
- w analizie sprawdzamy też wzór „bardzo wolno i prawie bezbłędnie”, typowy dla czekania na odpowiedź z drugiego urządzenia. Taki sam wzór ma jednak staranna, wolna osoba, więc tych testów nie wykluczamy automatycznie, tylko sprawdzamy, czy ich pominięcie zmienia normy.
| Liczba uczestników | Co pokazujemy |
|---|---|
| poniżej 30 | tylko wynik i informację, że zbieramy dane |
| od 30 | rozkład wyników innych, ranga centylowa z marginesem błędu i „estymacja wstępna” na skali IQ z przedziałem 95%. Przy małej próbie przedział jest szerszy, bo uwzględnia niepewność samych norm, i zawęża się z każdym nowym uczestnikiem. |
| od 400 | wynik na skali IQ względem uczestników (nadal: próba ochotnicza) |
Jeśli podasz rok urodzenia, a w twojej grupie wieku jest dość osób, porównujemy cię z rówieśnikami. Inaczej porównujemy z całą próbą i mówimy to wprost.
Skala IQ i margines błędu
- Przeliczenie. Wynik przeliczamy na skalę o średniej 100 i odchyleniu standardowym 15 względem grupy porównawczej.
- Przedział 95%. Pokazujemy go zawsze, bo pojedyncza liczba sugeruje dokładność, której nie ma. Przedział łączy dwa źródła niepewności:
- błąd pomiaru, czyli to, że ta sama osoba w innym dniu wypadłaby trochę inaczej (liczymy go z rzetelności testu w naszej próbie);
- niepewność norm, czyli to, że średnią i rozrzut wyników znamy tylko z próby.
- Wynik łączny. To znormalizowana suma wyników z kilku testów. Błędy poszczególnych testów częściowo się znoszą, więc każdy kolejny test zawęża przedział. Na razie zakładamy, jak bardzo testy są ze sobą powiązane. Zastąpimy to wartościami z danych, gdy będziemy mieć wyniki tych samych osób z kilku testów.
Czego te testy nie mówią
- Nie służą do diagnozy (np. niepełnosprawności intelektualnej, ADHD, otępienia) ani do decyzji o edukacji, zatrudnieniu czy leczeniu.
- Wynik zależy od warunków: zmęczenia, hałasu, urządzenia, znajomości podobnych zadań. Test online tego nie kontroluje.
- Zdolności poznawcze to nie wszystko, co ważne w życiu. Wynik nie mówi nic o wartości człowieka, wiedzy, wytrwałości ani umiejętnościach społecznych.
- Wynik w słownictwie i ciągach zależy też od języka i nawyków (czytanie, liczenie), więc porównywanie osób z różnym doświadczeniem językowym nie ma sensu.
Dalsze kroki
Gdy zbierzemy więcej danych, zbadamy jakość zadań (trudność, moc różnicującą, rzetelność) i wymienimy słabe zadania w nowych wersjach testów. Od około 500–1000 osób na wersję testu planujemy kalibrację zadań modelem teorii odpowiedzi na pozycje testowe (2PL). Ten próg wynika z naszej symulacji, którą opisujemy w dokumentacji projektu.