3.9 Értékelés
Először az általános hibaforrásokat kell figyelembe venni, mielőtt az értékelés statisztikai lehetőségeit megvitatnák.
3.9.1 Az értékelés hibaforrásai
Felmérések során a hibaforrások (torz válaszok) a műszer hibáiból vagy a résztvevő hibás válaszaiból származhatnak. A műszer hibáit egy tudományosan megalapozott struktúrával lehet minimalizálni. Először azonban le kell írni azokat a hatásokat, amelyek előfordulhatnak az értékelés során, és amelyek nem közvetlenül kapcsolódnak az eszközhöz vagy a válaszadóhoz, hanem inkább magához a „dolog természetéhez”.
Olyan effektusokból áll, amelyeket figyelembe kell venni a teljesítés során és különösen az értékelés során.
Statisztikai halálozás
A statisztikai halálozásról akkor beszélünk, amikor már nem lehet mindenkivel interjút készíteni, akit eredetileg érintett az intézkedés (pl. Tanfolyam, szeminárium). Az értékelést a tübingeni üzleti adminisztráció tanfolyamon végzik, amelyen ezt a hatást példásan szemléltetik. Meglepő módon a szemináriumok értékelése gyakran váratlanul nagyon jó vagy jó osztályzatot eredményez.
Ha jobban megnézed a folyamatot, két probléma merül fel. Először a felmérésre valamikor a félév végén kerül sor az előadás során. Azokat a hallgatókat, akik olyan rossznak találták a szemináriumot, hogy már nem jöttek el, óhatatlanul nem veszik bele az értékelésbe véleményükkel. Tehát kiesik a nyomozásból.
Társadalmi kívánatosság
Az értékelés fent leírt második problémája a társadalmi kívánatosságon alapul, ebben az esetben negatív szankciókkal kombinálva. A felmérésre nem sokkal a vizsgák előtt kerül sor. Ha az értékelés rosszul alakul, akkor félni kell attól, hogy a vizsgák osztályzata hasonló lesz. A társadalmi kívánatosság alatt azt értjük, hogy "a vizsgabiztos elvárásaihoz igazodó válasz-magatartás" (Sassenberg/Kreutz 1999, 61. o.).
érlelés
A résztvevő az intézkedés során érik, de nem feltétlenül az intézkedés révén. Ez azt jelenti, hogy a változás meg lehet állapítani egy előtte és utána végzett vizsgálat során, de felmerül egy hozzárendelési probléma: Vajon a résztvevő elnyerte-e az előnyét az intézkedésből vagy más eseményekből, pl.?
Hozzájárulási tendencia (megszerzés)
Ez egyetértést jelent a kérdésekre a tartalomra való hivatkozás nélkül. Ez megfigyelhető azoknál az embereknél, akik például a következő kérdésre igenlő választ adnak: „Németországban az alaptörvényben garantálni kell a lőfegyverek birtoklását.” Ugyanakkor egyetértenek az ellenkezőjével is: „A lőfegyverek birtoklását Németországban az alaptörvénynek meg kell tiltania”. Ezzel a jelenséggel magyarázó mintázat létezik, amelyben különösen az alacsony ego-erővel rendelkező emberek hajlamosak egyetérteni.
Elsőbbség és a közelmúlt hatásai
Az elsőbbségi hatás hasonló a fent említett megállapodásra való hajlamhoz, azzal a különbséggel, hogy elvi megállapodás nincs, inkább az első válaszlehetőséget választják, amely kielégíti a résztvevőt.
Elsőbbségi hatás feltételezhető, ha a lista első válaszainak valamelyikére van hajlam. Az elsőbbségi hatás viszonylag gyakran fordul elő vizuálisan elérhető válaszlistáknál (vö. McClendon in Vogt 1999, 134. o.). Ezt a jelenséget elméletileg egy alkalmazott kielégítő elvvel lehet megmagyarázni, vagyis a válaszadó kiválasztja az első választ, amely őt „kielégíti”, a további válasz-alternatívákat figyelmen kívül hagyva. A kérdés tárgyával kapcsolatos ismeretek hiánya vagy az érdeklődés hiánya szintén meghatározó lehet (vö. Vogt 1999, 135. o.).
Ezzel szemben létezik a recidencia effektus, amelyben a válaszadási tendenciák a lista egyik utolsó pozíciójára hajlamosak. Ez történik v. a. szóbeli interjúk során, amikor a válaszadó már elfelejtette az első lehetőségeket, és így választ a legutóbb hallott pontok közül.
Halo hatás
Ha egy kérdés összefügg a korábbi kérdésekkel, akkor befolyásolhatják az előző kérdések vagy válaszok. Ezután a válaszadó útmutatóként használja az előző kérdéseket és válaszokat. Ezt a problémát halo vagy sugárzás hatásnak nevezik. Ilyen hatások főleg akkor jelentkeznek, amikor a kérdések valamilyen módon ugyanazzal a témával vagy egy témával foglalkoznak. Ezek azonban „csak elszigetelt esetekben mutathatók ki. Bizonyos szekvenciahatásokkal kapcsolatos következetes eredmények nyilvánvalóan nem állnak rendelkezésre ”(Vogt 1999, 131. oldal; vö. Schnell és mtsai 1999, 320. o.). Mindazonáltal figyelmet kell fordítani a tartalommal kapcsolatos lehetséges közvetítési hatásokra.
Központi tendencia vagy enyhe keménység hiba
A központi tendencia esetén a válaszadó kerüli az extrém megnyilvánulásokat. A válaszadók inkább a közepe felé mutatnak. Hasonló jelenséget, amely általában rendkívül pozitív, Gerl írja le: „Az egyik probléma (.) Gyakran felmerül, hogy a résztvevők általában nagyon kedvező értékeléseket és értékeléseket adnak tanfolyamukról és/vagy tanfolyamuk oktatójáról. Az egyes elemek ekkor néha rendkívül torz eloszlásokat mutatnak. "(Gerl 1983, 46. o.)
Ez a probléma egybeesik a tanfolyam munkám tapasztalatával. Az értékelésben a résztvevők 85–100% -a „nagyon jó” -ra szavaz. Gerl ennek a viselkedésnek két lehetséges okát nevezi meg: Egyrészt a tanfolyamon való részvétel, ellentétben a normális életkörülményekkel, valójában nagy elégedettséghez vezet, viszonylag függetlenül a didaktikai minőségtől. A tanfolyam felfogható a mindennapi életből származó vakációként.
Másrészt létezik a nagyon is érvényes második magyarázat: A résztvevők nem szokták megkülönböztetett kritikát benyújtani a kurzus oktatójától, aki ezen a ponton vezetői személyzet. A rossz értékelés további bonyolító tényezője, hogy a tanfolyam vezetője általában barátságos, és „szimpátiából” (vagy szánalomból) jó értékelést kap. Ily módon nagyon jó értékelések adhatók minden kérdésre, a kérdéstől függetlenül.
Gerl azt javasolja, hogy a fennmaradó, szegényebb kategóriákat számítási módszerrel összegezze, és hasonlítsa össze a nagyon jó értékelések eredményével (Gerl 1983, 46. o.).
Az összefoglaló áttekintést nyújt, és bizonyos körülmények között relativizálhatja a túl pozitív véleményeket.
3.9.2 Statisztikai módszerek
Az emberi intelligenciával ellentétben a számítógépes intelligencia sokkal nagyobb pontossággal tévedhet. (A szerző ismeretlen)
A statisztikák numerikus paraméterek, értékelési technikák és a legváltozatosabb grafikus ábrázolások, amelyek lehetővé teszik a megfigyelési adatok értelmes rögzítését és elemzését.
Matematikai értékelés leíró eljárások szerint
Először a helyszín mérete és jellemzői, valamint a szórási intézkedések benyomást keltenek a várt eredményekről. Egy másik nagyon fontos cél az, hogy „bizonyos érzékenységet teremtsünk a kutató részéről a rendelkezésre álló adatok iránt” (Maier et al. 2000, 35. o.). Ez megakadályozza azokat a hibákat, amelyek viszonylag gyorsan be tudnak csúszni a változó átalakítása során. A mindennapi életben ez a folyamat intuitív módon megy végbe, például amikor az éttermi számlát futtatja. Tehát segít "pl. valószínűtlen eloszlások, kalandos átlagértékek vagy szokatlanul sok vagy kevésbé érvényes érték felismerésekor "(Maier uo.).
Leíró eljárások
Fontos a leíró eljárások ismerete, mivel ezek az értékek később automatikusan kiszámíthatók, amikor szoftvert használnak, függetlenül attól, hogy az eredeti értékek vagy kérdések mennyire értelmetlenek. Így kerülne kiszámításra a „Milyen magas a külföldiek aránya a svájci gárdában a Vatikán Államban” kérdés.
Az alapvető megértéshez először a skála szintjének megértésére van szükség.
Először is a Névleges méretarány szükséges. Ezzel a méretezéssel csak egy van „vagy-vagy”. A kérdéseket például nemek és szavazási szándékok szerint bontják meg. A válaszok nem rendelhetők, így nincs rangjuk. Általában nincsenek köztes szakaszok.
Ban,-ben Rendes skála A névleges skálával ellentétben az adatok bizonyos sorrendbe állíthatók, ha bizonyos jellemzők formailag „értékesebbek”, mint mások. Ha például befejezi az iskolát, az Abitur többet számít, mint a Realschule, ami viszont jobb, mint a Hauptschule. Csak azt lehet mondani, hogy valami jobb, nem azt, hogy mennyivel jobb.
Nál nél Intervallum mérleg A névleges és az ordinális skála tulajdonságain kívül lehetőség van a különbség meghatározására is. Bármely statisztikai előadás klasszikus példája a hőmérséklet-különbség - a 10 és 20 fok közötti különbség ugyanolyan nagy, mint 60 és 70 fok között.
Ban,-ben Arány skála A többi méretarány tulajdonságain felül hozzáadódik a véglegesen meghatározott nulla pont. Ez lehetővé teszi az arányok kiszámítását. Tehát elmondható, hogy A személy háromszor olyan idős, mint B, aki kétszer annyit keres.
[16. táblázat: A nominális, ordinális, intervallum és arány skálák összehasonlítása Maier és munkatársai szerint. (2000, 36. o.)
A mérleg megértése az első alapvető lépés a statisztikai módszerek sikeres alkalmazásában. A szoftverbe történő integrálásával a kérdéskategóriák automatikusan létrehozhatók. A társadalomtudományi tanulmányokban főleg olyan jellemzők vannak, amelyek megfelelnek a nominális és az ordinális skálának.
A központi tendenciák is fontosak. Itt csak a számtani átlagra (átlag, átlag), módra (modális érték), mediánra (központi érték) és kvantilisra emlékezünk.
A diszperzió mértéke betekintést enged a jellemző eloszlás variálhatóságába. A diszperzió mértékei tartalmazzák a minimumot és a maximumot, a tartományt, az interkvartilis tartományt, a szórást, a szórást és a szórási együtthatót (relatív diszperzió).
Annak érdekében, hogy ne lépje túl a munka terjedelmét, hivatkozni kell a tendenciák és a diszperzió mértékének magyarázatára szolgáló statisztikai könyvekre, amelyek ezeket a kifejezéseket általában az első fejezetekben magyarázzák (lásd Maier et al. 2000).
Analitikai eljárások
Az analitikai módszer célja annak ellenőrzése, hogy az általánosítható következtetések levonhatók-e a kapott adatokból, vagy vannak-e összefüggések az egyes változók között. Az alábbiakban három fontos adatelemzési módszert vázolunk fel röviden, amelyek érdekesek lehetnek az értékelés szempontjából, és amelyeket egyes leírt szoftvercsomagok automatikusan kiszámítanak.
Kereszttábla (szinonimák: kétdimenziós frekvenciaeloszlás, kontingencia táblázat)
A kereszttábla két változó kapcsolatát mutatja. Ezeket keresztezik, és ez egy változó frekvenciaeloszlását mutatja, amelyet a második változó jellemzői határoznak meg. Íme egy egyszerű példa: Egy értékelés megkérdezheti a résztvevők elégedettségét. Ezenkívül az értékelés során meghatározzák a nemet. Ez a két változó keresztbe kerül, és megállapítható a résztvevők elégedettsége a nemtől függően.
Az állítások szignifikanciáját ellenőrizhetjük a chi 2 teszt segítségével, amelyet általában kereszttáblákhoz használnak. Ha van statisztikai szignifikancia, akkor az asszociációs mérték érdekes. Az asszociáció mértéke kifejezi a kialakult kapcsolat mértékét. Ennyi kell, hogy legyen a szoftver értékeléséhez. További és mindenekelőtt a pontos eljárási eljárásokat Maier és mtsai. (2000, 46. o.).
Korrelációs elemzés
A korrelációs elemzés során két metrikusan skálázott változó közötti statisztikai összefüggést kell számszerűsíteni, feltéve, hogy van összefüggés. Az ábrákon való ábrázolás egy pontfelhőn keresztül történik. Ha a pontok diffúzan szétszóródnak, nincs összefüggés (Pearson korrelációs együtthatója r = 0). Ha a pontok közel vannak és szinte egy képzeletbeli egyenesen vannak, akkor a korrelációs együttható r = 1 felé halad (vö. Maier et al. 2000, 62. o.).
Faktoranalízis
A faktoranalízist gyakran használják, ha ismeretlen struktúrájú adatok állnak rendelkezésre, azaz amikor nem ismert, hogy az egyes változók elméletileg hogyan kapcsolódhatnak egymáshoz. Íme egy világos példa: Az autóvásárlással kapcsolatos kérdőív a szakmát és az autó birtoklásának fontosságát kérdezi. Ezeket az adatokat faktoranalízissel értékelik. Az alábbi ábra a faktoranalízis erősségeit és a reprezentációt mutatja faktoriális térkép formájában.
[15. ábra: Példa a gépkocsi-tulajdon fontosságának értékelésére, faktoriális térképen
A faktoranalízis még messzebbre megy, mint a példában, és elképesztő lehetőségeket kínál a tudásra.
Ismét Maier és mtsai. (2000, 116. o.) További információkért.
Végső gondolkodás a statisztikákról
A statisztikai folyamatok betekintő eredményeket nyújthatnak. Az alapvető követelmény a statisztikai folyamatok alapvető megértése, és továbbra is megmarad, még akkor is, ha számítógépes felméréseket használ. A következő negyedik fejezet bemutatja, hogy a leíró és analitikai módszerek milyen mértékben támogatják a szoftveres megoldásokat.