Diagnostik für das Staats­exmane EWS - Examens­vor­be­rei­tung

Diagnostik

1. EINLEITUNG UND GRUNDBEGRIFFE

1.1. Die Beurteilung im Rahmen des Schulsystems

1.1.1. Zielsetzung des Schulsystems und Berufsaufgaben von

Lehrern

Die 3 Reproduktionsaufgaben des Schulsystems nach Fend (1980)

• Qualifikationsfunktion: Vermittlung von Fertigkeiten und Kenntnissen

• Selektionsfunktion: Reproduktion der Sozialstruktur einer Gesellschaft

  • Schulabschluss  gesellschaftliche Position reproduziert

  • Diagnostik liefert Entscheidungshilfen für Schullaufbahnberatung

• Integrationsfunktion: Reproduktion von Normen und Werten und gesellschaftlichen Interpretationsmustern  Erzieherische Funktionen

Deutscher Bildungsrat (1970): Aufgaben der Lehrer

(Heimlicher Lehrplan)

1.1.2. Bedeutung der Leistungsbeurteilung in einer demokratischen Gesellschaft

„Mit der sozialen Mobilität, der Möglichkeit des sozialen Aufstiegs, wurde die Beurteilungsfunktion des Lehrers immer bedeutungsvoller.“ (Kleber 1976)

Gründe dafür sind:

• der Ausbau des Bildungssystems

• die Erhöhung der Konkurrenz der Gesellschaft

• Allen Mitbürgern die beste schulische Ausbildung zukommen lassen

• In einer demokratischen Gesellschaft muss Chancengleichheit Ziel sein! (Lukesch 1998)

1.1.3. Zielorientierung des Unterrichts

(Artikel 131 der bayrischen Verfassung) Die Schulen sollen nicht nur Wissen und Können vermitteln, sondern auch Herz und Charakter bilden. affektive Lernziele.

Problem der Überprüfung der affektiven und sozialen Lernzielen.

1.1.4. Leistungs- und Persönlichkeitsbeurteilungen in der Schule

• Beurteilungsaufgaben machen einen wesentlichen Teil der Berufsaufgaben aus  wird vom Kultusministerium erwartet

• Leistungsbeurteilung in Form von Prüfungs- und Zeugnisnoten

• Beratungspflicht geht mit Benotungspflicht einher (Schullaufbahnberatung)  Kopplung

• Informationsrecht des Schülers über dessen Leistungsstand und die Bewertungsmaßstäbe

• Persönlichkeits- und Verhaltensbeurteilungen von Seiten des Lehrers (z

Zeugniskommentare)

1.1.5. Diagnostische Ebenen im Handeln von Lehrern (Langfeldt, 2006)

• INDIVIDUELL: Lernvoraussetzungen einzelner Schüler beurteilen (→ entsprechende

Förderung)

• KLASSENEBENE: interindividuelle Unterschiede erkennen (→ effizientes, kooperatives

Lernen durch angemessene Lehrmethoden)

• INSTITUTIONELL: Erstellen von fairen Leistungsberichten, fehlerfreie Empfehlungen für

weitere Schullaufbahn

1.2. Überblick über das Fach Diagnostik

Definition (Zimbardo, 1988)

Diagnostik ist ein Teilbereich der Psychologie, der sich mit der Theorie, der Konstruktion und der Analyse von Diagnoseverfahren befasst. Diagnose ist dabei die Feststellung des Vorhandenseins oder der Ausprägung von psychologischen Merkmalen.

Diagnose = die Feststellung des Vorhandenseins oder der Ausprägung von psychologischen Merkmalen.

Definition (Dorsch, 1982)

„Diagnostik [bezeichnet] die Lehre von der sachgemäßen Durchführung der Diagnose; auch die Ausübung der Diagnose.“

„Psychologische Diagnostik ist die Bezeichnung für alle Methoden und deren Anwendung, welche zur Messung bzw. Beschreibung inter- und intraindividueller Unterschiede verwendet werden.“

• Verschiedenste Methoden durch die man etwas erkennen will

• Feststellung von Unterschieden innerhalb einer Person

• Unterschiede zwischen mehreren Personen

„Pädagogische Diagnostik war niemals nur eine Agentur, die Klienten prüfte, ihre Merkmale kennzeichnete und sie mit diesen Kennzeichnungen an den Auftraggeber zurückgab. Vielmehr war päd. Diagnostik immer eine Dienstleistung im Rahmen von Erziehung und Unterricht.“ (Ingenkamp, 1985)

 Diagnostische Daten sind ein Teilschritt innerhalb eines pädagogischen Handlungssystems.

• Bei jeder Diagnostik geht es um Erkenntnis, also um die Feststellung von Sachverhalten, Tatsachen, Eigenschaften oder Merkmalen, Bedingungen.

• Im Gegensatz zu wissenschaftlicher Forschung ist die diagnostische Erkenntnisbemühung nicht auf Entdeckung allgemeiner Zusammenhänge gerichtet, sondern auf die nähere Kategorisierung oder Einordnung des Einzelfalls:

1.3. Arten von Diagnostik

1.3.1. Standardisierte und nicht-standardisierte Diagnostik

in der Schule: Standardisierte Tests werden meist von Testverlagen vertrieben, großen Stichproben von Schülern zur Bearbeitung vorgelegt und Gesamtpunktwert mit Normwerten einer Eichstichprobe - z. B. Gruppe gleichen Alters und Schulstufe – verglichen.  hohe Objektivität

Einteilung nach Strategien:

Diagnostische Strategien sind abstrakte Pläne, die zur Erreichung bestimmter Ziele eingesetzt werden.

1.3.2. Norm- und kriteriumsorientierte Diagnostik

Normorientierte Diagnostik  Vergleich des individuellen Ergebnisses mit einer Vergleichsstichprobe.

Definition (Pawlik, 1982)

„Unter normorientierter Diagnostik versteht man einen Untersuchungsansatz mit dem Ziel, das einzelne Untersuchungsergebnis im Hinblick auf statistische Bezugswerte, also relativ zur Verteilung der Testergebnisse in einer Bezugsgruppe (Eichstichprobe), auszudrücken und zu interpretieren.“

Bsp.: Schüler hat 60 % des Einmaleins richtig → Etwas besser als der Klassendurchschnitt

Kriterienorientierte Diagnostik  Vergleich des individuellen Ergebnisses mit einem sachlich definierten Kriterium.

Definition (Petermann, 1995):

Psychologische Diagnostik erfolgt kriteriumsorientiert, „wenn der verwendete Vergleichsmaßstab für das zu bewertende Charakteristikum eines Beurteilungssachverhaltes unabhängig von Informationen über die Verteilung der Ausprägungsgrade dieses Charakteristikums festgelegt wird.“

Bsp.: Schüler hat 60 % richtig → Das kleine Einmaleins sollte mit mind. 90%-iger Sicherheit beherrscht werden, also schneidet Schüler eher schlecht ab.

1.3.3. Individual- und Umweltdiagnostik

Individualdiagnostik (Personendiagnostik)Einzelne Personen; Selbst- oder Fremddiagnostik

Umweltdiagnostik (Bedingungsdiagnostik)  Soziales Verhalten; Gruppe

Die Umweltdiagnostik umfasst zudem Eltern- und Lehrerinterviews, Lehrerberichte, Unterrichtsbeobachtungen, Arbeitsplatzanalysen und den Einbezug anderer Bezugspersonen (z.B. Hausarzt, Verwandte oder Geschwister).

1.3.4. Schulleistungsdiagnostik

Definition (Langfeldt & Imhof, 1999)

Schulleistungsdiagnostik ist "die systematische Beschreibung und anschließende Bewertung eines aktuellen Wissens- oder Fähigkeitsstatus von Lernenden bzgl. eines umschriebenen Inhaltsbereiches".

Funktionen von Schulleistungsdiagnostik nach Heller (1984):

• Didaktische Funktion

Überprüfung unterrichtlicher Maßnahmen, Bewertung des Unterrichtserfolges, Erfassung von Lernschwierigkeiten, Überprüfung von Lernzielen → Feedback für Lehrer (evtl. Unterrichtsoptimierung)

• Evaluative Funktion

Orientierung für Schüler/Eltern über Schulleistung (Schwächen, Stärken, Lernfortschritte), z.B. underachievement → Feedback für Eltern/Schüler

• Entscheidungsfunktion

Schullaufbahnberatung (Selektion, Auslese) und beim Wechsel von Lerngruppen → äußere/innere Differenzierung im Schulsystem

1.3.5. Statusdiagnostik und Verlaufs- und Prozessdiagnostik

Statusdiagnostik  Querschnittuntersuchung, Beschreibung des IST-Zustandes, einmalige Messung,

Prozessdiagnostik  Längsschnittuntersuchung, Entwicklung und Veränderung innerhalb einer psychologischen Untersuchung, mindestens 2 Messungen,

1.4. Methoden

Überblick nach Lukesch 1998

Die Details der einzelnen Methoden sind in den folgenden Kapiteln beschrieben.

Kategorisierungsmöglichkeiten der Daten (nach Bortz und Döring 2006)

• Q-Daten (questionaire): Daten, die mittels Fragebogen oder Interview aus Selbstbeschreibungen erhoben werden

+ .....

Lienert 1967 und zahlreiche Autoren nach ihm unterscheiden 3 Arten:

2.2.1. Durchführungsobjektivität

• Gleiche Bedingungen für alle Prüflinge

• Untersuchung soll unabhängig von zufälligen und systematischen Verhaltensvariationen des Untersuchers sein.

Ist beeinträchtigt, wenn:

• es nicht gelingt alle Schüler unter vergleichbaren (fairen) Untersuchungsbedingungen zu untersuchen (Wild & Krapp 2006)

• soziale Interaktionen zwischen Testperson und Testleiter (Fragen während des Tests, Hilfestellungen)

• Situative Faktoren: Tageszeit, Hilfsmittel, Instruktion, Lärm

• Personale Faktoren: Ermüdung, vorherige Beschäftigung

Herstellung von Durchführungsobjektivität:

• maximale Standardisierung der Testsituation (Material, Situation, Testanweisung usw.)

• gleiche Bedingungen, vergleichbare situative Faktoren

• Vereinheitlichung der Aufgabenstellung, der Bearbeitungszeit, der Erläuterung der Aufgaben, der zulässigen Hilfsmittel

• Gleichheit der Instruktionen für alle Prüflinge (z.B. schriftlich oder mit Tonband). keine Interaktionen

• Strikte Beachtung von Verfahrensregeln

Schwierigkeiten:

• Personale Faktoren nur schwer beeinflussbar (z.B. Prüfungsangst, Tagesform), nur durch Individualisierung ist Objektivität erreichbar!

• Verstehensprobleme bei formelhaftem Vortragen der Anweisungen

• Bei mündlichen Prüfungen ist Durchführungsobjektivität automatisch niedriger, da keine Gleichzeitigkeit gegeben ist.

Störanfälligkeit Test ist unempfindlich gegenüber personalen und situativen Faktoren

2.2.2. Auswertungsobjektivität

Korrektur der Klassenarbeit und Punktevergabe

Maß, inwieweit ein Testergebnis von der Auswertung (samt Auswertefehler) de.....

Standardisierung  Auswertungsschablonen

Bei standardisierten Tests mit geschlossenen Antwortmustern (MC) können Probleme nur durch Flüchtigkeitsfehler des Testleiters auftreten

Scanner-Auswertung oder computergestützte Auswertung der Testbögen  USA

Schwierigkeiten:

• Bei Aufsätzen o. ä. ist die Auswertungsobjektivität eher schwierig zu erreichen

• HAWIK: manche Lösungen mit 0, 1 oder 2 Punkten bewerten

• Beispielantworten vorgegeben, um Auswertungsobjektivität zu erreichen, aber nicht immer eindeutig

• Projektive Verfahren: Tests mit auslesungsfähigem Bildmaterial z.B.: Rorschachtest, Zeichentests, Handschriften.

2.2.3. Interpretationsobjektivität

Maß, inwieweit Ergebnisse eines Tests von den interpretativen Schlüssen eines Diagnostikers abhängig sind! → Ist gegeben wenn verschiedene Diagnostiker die Befunde in gleicher Weise interpretieren.

Aus gleichen Ergebnissen sollten auch die gleichen diagnostischen Schlüsse gezogen werden. Verschiedene Beurteiler interpretieren das gleiche Auswertungsergebnis also gleich (erst hier findet in der Schule Notengebung statt!).

→ Interpretationsobjektivität ist schwieriger zu erreichen als Auswertungsobjektivität.

Ist beeinträchtigt, wenn:

• wenn Intuition und Erfahrung des Testleiters einen Schluss begründen (= Urteilsverzerrungen)

Bsp.: Bewertung abhängig von Sympathie des Lehrers gegenüber ei.....

Möglichst umfassende Dokumentation von Datenerhebungen und –analysen

Schwierigkeiten:

• Je unterschiedlicher die zu verarbeitenden Informationen und je zahlreicher sie sind, desto schwieriger ist es, sie objektiv, d.h. unter Ausschaltung intersubjektiver Einflüsse, zu interpretieren z.B. bei Übertrittsgutachten: neben Schulnoten fließen auch außerleistungsmäßige Faktoren wie Lernbereitschaft, Unterstützung der Eltern in die Diagnose mit ein.

• Affektive Beziehungen

„Intuition“ des Diagnostikers oder Meinung, dass Diagnostik eine nicht schulmäßig erlernbare Kunst sei. → große Unsicherheiten auf diesem Gebiet!

LÖSUNG für Objektivität → Möglichst gebundene Antworten oder genaue Kriterienkataloge um objektiv zu sein → aufwändig.

Objektivität ist die notwendige Voraussetzung für die Zuverlässigkeit (Reliabilität) und Gültigkeit (Validität) einer Messung bzw. eines Prüfsystems. Eine Messung, die nicht objektiv ist, kann auch nicht zuverlässig und gültig sein.

2.3. Reliabilität

= Maß für Genauigkeit, mit der der Test das zu messende Merkmal erfasst (Zuverlässigkeit) (Wild & Krapp 2006)

Definition (Liene.....

Definition (Lienert, 1969):

Der Zuverlässigkeitskoeffizient r ist ein Korrelationskoeffizient, der angibt, in welchem Maße unter gleichen Bedingungen gewonnene Messwerte über ein und denselben Probanden übereinstimmen, in welchem Maße das Testergebnis also reproduzierbar ist.

r = 0 bedeutet völlige Unabhängigkeit der Testergebnisse voneinander → keine Korrelation

Um den Grad der Genauigkeit (Reliabilität) eines Verfahrens zu optimieren, müssen Messfehler minimiert werden. Dazu unterscheidet man zunächst verschiedene Arten der Reliabilität:

Verschiedene Verfahren zur Reliabilitätsschätzung liefern verschiedene Reliabilitätskoeffizienten mit unterschiedlicher Bedeutung (keine Aussage über „die“ Reliabilität möglich)

2.3.1. Wiederholungsreliabilität (Test-Retest-Methode)

• Wiederholungsreliabilität nach Wild & Krapp 2006 = Schätzwert für die zeitliche Stabilität eines Merkmals und wird durch einen Vergleich der Ergebnisse aus wiederholten Erhebungen mit dem gleichen Instrument an der gleichen Stichprobe ermittelt

• Koeffizient der zeitlichen Stabilität

• Nach einiger Zeit wird die gleiche Personengruppe mit dem gleichen Test erneut gemessen. Es wird mit den Ergebnissen der ersten Messung verglichen - dazu ist allerdings zeitliche Stabilität des Merkmals nötig.

→ Bildung eines Reliabilitätskoeffizienten: Koeffizient der zeitlichen Stabilität nach Lukesch → gibt an wie konstant Messwerte über die Zeit ausfallen

.....