Pro zobrazení pokročilého nastavení a nastavení simulace je nutné zakliknout příslušnou volbu v ovládacím panelu.
Tyto parametry simulují to, nakolik ovlivní výsledek přijímacího řízení uchazeč (výběrem OSP/TSP a počtem pokusů).
Následující parametry simulují jednak ty aspekty přijímacího řízení, které ovlivňuje Fakulta sociálních studií nastavením přijímacího řízení, a jednak ty, které závisí na kvalitě používaných testů. Předem jsou nastavené takové hodnoty, o kterých buď víme nebo si alespoň myslíme, že odpovídají parametrům přijímacího řízení ve skutečnosti.
Následující nastavení ovlivňuje chování simulace. Nejde o parametry, které by figurovaly ve skutečném přijímacím řízení.
Přijímací zkoušky na Fakultu sociálních studií Masarykovy univerzity mají od roku 2016 novou podobu – uchazeč má na výběr, zda absolvuje test studijních předpokladů připravený MU (TSP), nebo Obecné studijní předpoklady od společnosti SCIO (OSP). V každém případě má tento test váhu 40 % na výsledný počet bodů, zbylých 60 % má test Základů společenských věd (ZSV) taktéž od SCIO.1
Kvalitní přepočet počtu bodů (percentilů) mezi OSP a TSP bez podrobných dat na úrovni jednotlivých zodpovězených položek není možný. Oba testy neměří „stejné studijní předpoklady“, ale poněkud jiné. Zároveň se pak percentil počítá z jiné „populace“ – nelze předpokládat, že uchazeči absolvující SCIO testy a testy TSP jsou „stejně dobří“.
Situaci nicméně komplikuje jedna zásadnější věc, které je věnována tato aplikace. Testy od SCIO, tedy OSP a ZSV, je možné absolvovat vícekrát, přičemž se započítává nejvyšší počet bodů. Protože každý test měří s určitou chybou, opakované testování zvyšuje pravděpodobnost, že tato náhodná chyba „zahraje ve prospěch“ uchazeče. I po odhlédnutí od toho, že při opakovaném absolvování testu pochopitelně není „pravý výkon“ uchazeče stejný (člověk se učí, připravuje atp.), uchazeči, kteří test absolvují vícekrát, jsou na základě pravděpodobnosti zvýhodněni oproti uchazečům, kteří test absolvují jen jednou.
Můžeme to připodobnit házení kostkou, kdy k přijetí je nutné, aby padla šestka. Modrá kostka je OSP, zelená TSP. Uchazeč, který si vybere modrou kostku a hodí pětkrát, má pochopitelně výrazně vyšší pravděpodobnost k přijetí než uchazeč s kostkou zelenou. Používané testy samozřejmě mají náhodnou složku výsledku menší než 100%, výsledky jsou však ovlivněny obdobným způsobem.
Tato aplikace tedy slouží ke srovnání pravděpodobnosti přijetí při výběru OSP nebo TSP a zvoleném počtu pokusů pro každý test. Protože toto vyčíslení exaktním výpočtem je poměrně komplikované, výsledky simulujeme prostřednictvím běžných statistických postupů. Ty mají určité předpoklady2, které by však platily i pro exaktní výpočet.
© 2016 Hynek Cígler a kol.
Katedra psychologie, Fakulta sociálních studií MU
Zdrojový kód je k dispozici na https://github.com/hynekcigler/prijimackyFSS.
Disclaimer/upozornění:
(1.) Autor simulace negarantuje správnost výsledků.
Zájemce si může postup výpočtu zkontrolovat na
uvedené adrese.
(2.) Simulace slouží pro napodobení reálných situací.
Zadání extrémních hodnot (váhy testů velmi blízké 1, respektive 0;
reliability velmi blízké 1 či naopak 0; korelace testů blízká 1;
korelace testů větší než maximální možná korelace na základě reliabilit)
může vést k selhání aplikace a nevalidním výsledkům.
1 Zcela v pořádku není ani samotný součet percentilů – percentilová stupnice není „lineární“, rozdíl schopností nutných k posunu z např. 50. percentilu na 55. je výrazně menší, než z 90. na 95. percentil (konkrétně 2,9krát). Součet percentilů proto poněkud zvýhodňuje uchazeče, kteří mají „vyrovnaný“ profil schopností oproti těm, kteří jsou v jedné oblasti (ZSV nebo studijní předpoklady) lepší než ve druhé. To však může být záměr a tento jev nijak výrazně neomezuje možnost srovnání OSP a TSP. I tak se tomuto jevu stručně věnujeme na záložce Součet percentilů.
2 Prvním předpokladem výpočtů je to, že populace osob, která absolvuje TSP a OSP, je stejně „šikovná“. To samozřejmě zcela neplatí, a je to jedním z omezení intepretace prezentovaných výsledků. Na druhou stranu, neshodnosti obou populací ve skutečnosti komplikují přímo samotné srovnání výsledků, a to dost možná výraznějším způsobem. Druhým předpokladem (jen pro některé z výpočtů) je to, že uchazeči o studium jsou náhodným výběrem z populace, z níž je počítán percentil. Tento předpoklad pochopitelně není zcela splněný. Další předpoklady jsou již statistického rázu (zejm. normální rozložení skórů a homoskedascita chyby měření), které by však neměly příliš ovlivňovat výsledky simulace.
Graf ukazuje, nakolik se zvýší vaše pravděpodobnost přijetí při zvoleném počtu opakování (přerušovaná čára), pokud absolvujete test OSP (červená) nebo (TSP) zelená, oproti jedinému pokusu (plná čára).
Pravděpodobnost přijetí, respektive počet přijatých, podle toho, zda zvolí OSP nebo TSP, a podle počtu pokusů u SCIO testů. Lidé, kteří testy absolvují vícekrát, mají násobně vyšší šanci na přijetí, než lidé, kteří testy absolvují jednou.
V pravém dolním rohu je velikost zvýhodnění vyjádřená jako poměr šancí; tedy kolikrát je vyšší šance na přijetí ve výhodnější kombinaci pokusů a počtu termínů oproti méně výhodné variantě.
Následuje odhad reliability celkového skóru podle toho, kterou z kombinací testů a počtu pokusů si uchazeč zvolí. Odhad reliability je odvozen z druhé mocniny korelace pravých a pozorovaných percentilů, resp. hrubých skórů. Korelace percentilů je podhodnocena z důvodu nelinearity dat; nicméně s percentily se už tak počítá jako s intervalovými skóry tím, že jsou sčítány.
Tato záložka slouží pouze k informaci, jak moc zkresluje výsledky fakt, že jsou sčítány percentily namísto hrubých skórů. Je vidět, že ve všech případech jsou mírně znevýhodněni ti nejlepší a naopak zvýhodněni ti nejhorší uchazeči. Tento jev je příčinou nižších reliabilit součtových percentilů oproti hrubému skóre, prezentovaném na záložce Správnost přijetí.
V této sekci naleznete, jaká je pravděpodobnost přijetí pro toho stejného uchazeče při výběru různých variant testu (při určité úrovni jeho schopnosti), resp. pro náhodného uchazeče (z čehož lze zjistit celkový počet přijatých za předpokladu, že všichni uchazeči zvolí stejnou variantu).
Vliv opakovaného testování na dosažený součtový percentil v přijímacím řízení se liší podle toho, jak dobrý je uchazeč. Největší zvýhodnění získají opakovanými pokusy ti respondenti, kteří jsou ve skutečnosti „těsně pod čarou“ (kteří by při jediném pokusu měli o něco menší než 50% šanci na přijetí). Slouží ke srovnání pravděpodobnosti přijetí při volbě různých variant testů (OSP vs. TSP, počet pokusů). Na ose y je pravděpodobnost, že bude ten stejný uchazeč přijat při volbě různé varianty testu. Osa x nelze adekvátně interpretovat (záleží na volbě v pokročilém nastavení simulace), všechny křivky jsou však vynesené stejným způsobem. Body křivek „nad sebou“ tak odpovídají stejným uchazečům.
První tabulka ukazuje procento přijatých při různých variantách za předpokladu nulové chyby měření. Protože v takovém případě nehraje roli počet opakování (uchazeč při opakování dosáhne stejného skóre, protože test neměří s chybou), jsou k dispozici pouze varianty OSP+ZSV a TSP+ZSV. První dvě pole ukazují pozorovaný podíl přijatý při zvolené bodové hranici nutné pro přijetí. Předpoklad je spočítán následujícím způsobem: Pokud je např. hranice 160 součtových percentilů ze dvou testů, mohli bychom předpokládat, že podíl přijatých bude 160/2 = 80 % osob. Pravděpodobnost přijetí je tedy 100-80 = 20 % (0,20). Jak vidíme, tento předpoklad neplatí, a to právě z důvodu, že jsou sčítány percentily (viz pozn. na titulní straně).
Druhá tabulka ukazuje podíl přijatých (tedy pravděpodobnost přijetí náhodného uchazeče bez ohledu na jeho schopnosti) při nastavené chybě měření v Pokročilém nastavení, a to pro různé kombinace testů a různý počet opakování nastavený v Základním nastavení. První řádek udává pravděpodobnost přijetí, druhý řádek počet přijatých při počtu simulovaných respondentů zvolených v Pokročilém nastavení. TIP: Nastavte počet respondentů např. na desetinásobek počtu uchazečů. Na druhém řádku pak naleznete desetinásobek počtu přijatých uchazečů za předpokladu, že všichni zvolí stejnou kombinaci testů a počtu opakování.
Na této záložce si můžete zjistit, kolik bodů (součtových percentilů) získáte či ztratíte odlišnou volbou testů a počtu opakování, případně rozdíl v počtu přijatých při různých volbách jednotlivých variant.
Grafy umožňují přímo srovnat bodový rozdíl při různých volbách. Černé body odpovídají jednotlivým simulovaným uchazečům. Červená přímka předkládá očekávaný vztah obou variant, zelená křivka pak skutečný vztah obou variant. Červená přímka neodpovídá plně ose prvního a třetího kvadrantu z důvodu chyby měření (přímka popisující vztah dvou testů je vždy poněkud plošší, a to tím více, čím větší je chyba měření). V legendě každého grafu je dále k dispozici bodové zvýhodnění uchazečů vyjádřené pomocí mediánu rozdílů jednotlivých uchazečů („Md = ??“). Medián rozděluje soubor hodnot na dvě stejně velké poloviny – polovina lidí je tedy zvýhodněna více, než je hodnota mediánu, a polovina naopak méně (medián je vhodnější než průměr, protože je méně ovlivněn extrémními hodnotami).
Osy grafů jsou vždy označeny typem testu a počtem opakování (např. 1x TSP a Nx ZSV znamená, že uchazeč absolvoval jeden pokus u TSP testu a všechny pokusy u ZSV testu).
TIP: Po prvním pokusu najděte svůj součtový percentil na ose x a dohledejte příslušnou hodnotu červené (OSP) resp. zelené (TSP) nepřerušované čáry na ose y. Následně na ose y vyhledejte hodnotu pro čáru stejné barvy, ale přerušovanou – rozdíl udává počet bodů, které nejpravděpodobněji získáte, absolvujete-li všechny přijímací zkoušky v počtu pokusů zvoleném v Základním nastavení.
Tabulky zobrazují stejné statistiky, jako grafy výše, a to ve stejném pořadí. Rozdíl je v tom, že tabulky obsahují souhrnné počty pro všechny simulované uchazeče (jejichž počet lze volit v oddílu Nastavení simulace). Tabulky ukazují procentuální součty řádku, tedy celkový podíl přijatých a nepřijatých pro tu kterou variantu.
V pravém dolním rohu každé tabulky je tzv. „podíl šancí“, který udává, kolikrát vyšší šanci na přijetí má průměrný respondent v případě, že zvolí výhodnější kombinaci vybraných testů a počtu opakování.
Tato záložka předkládá informace o správnosti přijetí. Pro každou ze čtyř zvažovaných kombinací typu zvoleného testu (OSP vs. TSP) a počtu pokusů u SCIO testů uvádí počty simulovaných respondentů, kteří by byli přijati, pokud by testy měřily zcela přesně, a počty skutečně přijatých respondentů. Dále pro každou z těchto čtyř variant předkládá rozložení pravých součtových percentilů uchazečů, kteří byli přijatí, a kteří nebyli.
Ukazatelem „měl být přijat“ je fakt, zda pravý percentil překročil nastavenou hodnotu pro přijetí.
Ve druhé části stránky jsou k dispozici reliability celkového výsledku pro ty stejné kombinace testů a počty pokusů. Reliabilita nabývá hodnot od 0 do 1 a čím je vyšší, tím je menší chyba měření. K dispozici jsou i grafy srovnávající skutečné a pozorované percentily. Na nich červená přímka udává předpokládaný regresní vztah na základě reliability, zelená křivka vztah skutečný.