Überlegungen für die Bildungspraxis

Lieber keine als eine schlechte Kompetenzdiagnostik

Die Diagnose von Kompetenzen ist anspruchsvoll. Sie umfasst Wissen, Fertigkeiten und Einstellungen. Martin Keller, Institut für Wirtschaftspädagogik (IWP) der Universität St. Gallen, hat beobachtet, dass viele Bildungseinrichtungen Checklisten und Instrumente zur Kompetenzdiagnose verwenden, ohne grundlegende konzeptionelle Fragen geklärt zu haben. Das führt regelmässig zu Frustrationen. Keller skizziert in seinem Beitrag, den er anlässlich einer Fachtagung des Ostschweizer Kompetenzzentrums für Berufsbildung präsentierte, wie man es besser macht.

Autor Lieber keine als eine schlechte Kompetenzdiagnostik
Von Martin Keller
Martin Keller ist Mitarbeiter am Institut für Wirtschaftspädagogik (IWP) der Universität St. Gallen

Die zentrale Bedeutung der Kompetenzorientierung in der Berufsbildung darf heute als unbestritten gelten. Eine kompetenzorientierte Berufsbildung ist nicht (ausschliesslich) nach Fächern organisiert, sondern nach Arbeitsprozessen. Im Vordergrund der Berufsbildung stehen damit zusammenhängende Abläufe im Arbeitsfeld, in welche das Fachwissen eingebunden wird. Die Kluft zwischen Wissen und Handeln soll geschlossen werden. Eine kompetente Berufsausübung erfordert es, Aufgaben u.a. auch zu planen, zu kontrollieren und zu bewerten. Tun und Denken, Aktion und Reflexion, Praxis und Theorie sind miteinander zu verzahnen. Die Umsetzung von vollständigen Handlungen rückt ins Zentrum des Lehrens und Lernens.

Die Kernfrage lautet: Welche Instrumente können die geforderten Kompetenzen möglichst objektiv, zuverlässig und gültig diagnostizieren? Das ist die zentrale Frage der Kompetenzdiagnostik auf der Ebene der Instrumente!

Diesen minimalen Forderungen der Kompetenzorientierung müsste die Kompetenzdiagnostik in der Praxis gerecht werden. Unschwer erkennen wir aber die Herausforderungen, wenn wir diese Grundsätze tatsächlich erfüllen möchten. Ich sehe insbesondere zwei solche zentralen Herausforderungen: die konzeptionelle Ebene und die instrumentelle Ebene. Die konzeptionelle Ebene betrifft Fragen der Begriffsklärung, curriculare Fragen und grundlegende Fragen über die Kompetenzkonzepte. Die instrumentelle Ebene meint die konkreten Instrumente und Tools, welche für die Diagnostik eingesetzt werden können.

Nicht selten beobachte ich in der Praxis, dass die konzeptionelle Ebene ausgelassen wird. Viel zu schnell springen Bildungsinstitutionen zu den Instrumenten. Man will Checklisten, Tools und Instrumente, die man sofort einsetzen kann – ohne Verbindung zu Konzepten. Früher oder später kommt dann die Ernüchterung: Die Umsetzung funktioniert nicht so, wie man sich dies vorgestellt hat. Überforderung, Enttäuschung oder Misstrauen sind die Folge; und nicht selten wird auch die Kompetenzorientierung bzw. -diagnostik schlecht geredet. Ich möchte im Folgenden exemplarisch Voraussetzungen aufzeigen, damit eine Diagnose (überfachlicher) Kompetenzen überhaupt realisierbar wird.

Konzeptionelle Ebene

1. Wenn wir Kompetenzen diagnostizieren, also messen wollen, brauchen wir auf der konzeptionellen Ebene ein gemeinsames Verständnis von Kompetenz. Kompetenzen können wir verstehen als Potenzial eines Menschen, die unterschiedlichen (sachlichen, sozialen und personalen) Anforderungen innerhalb der Arbeitsbereiche eines Berufs zu bewältigen. Was bedeutet dies für die Kompetenzdiagnostik?

  • Kompetenzen sind nicht direkt beobachtbar! Das gezeigte Verhalten lässt eine Kompetenz vermuten – mehr nicht. Dies bedeutet, dass einmalige Messungen nicht genügend sind für eine aussagekräftige Diagnostik.
  • Kompetenzen sind situationsbezogen und können damit nicht per se auf unterschiedliche Situationstypen transferiert werden. So können wir mit einem Instrument nicht generell die «Teamfähigkeit» oder «Konfliktfähigkeit» einer Person diagnostizieren. Das Instrument kann lediglich gültige Aussagen für einen bestimmten Kontext machen.

2. Für die Diagnostik müssen den Inhaltsbezug der Kompetenz klären. Welche Kompetenzbereiche sollen also gemessen werden? Hierüber müssen wir stets klare Aussagen machen können. Eine mögliche Struktur kann wie folgt aussehen:

  • beschreiben den Umgang mit Sachen (z.B. Holz, Metall, Texte, Zahlen).
  • stellen die Herausforderungen im Umgang mit anderen Menschen (z.B. Vorgesetzte, Kolleginnen, Kunden) in den Vordergrund.
  • dienen dazu, die eigene Entwicklung des Lernenden zu gestalten (z.B. das eigene Lernen zu steuern, moralische Vorstellungen zu entwickeln).

Eine überfachliche Kompetenz kann in unterschiedlichen Handlungsbereichen auftreten und wirksam werden. Dabei wird zwischen Wissen (Kennen), Fertigkeiten (Können) und Einstellungen (Wollen) unterschieden. Die Diagnose kann nun auf unterschiedliche Handlungsbereiche fokussieren. Aus den bisherigen Überlegungen lässt sich nun eine Matrix ableiten. Diese Matrix schafft Orientierung in der Diagnostik. Mit dieser Struktur können wir genaue Aussagen machen, was konkret diagnostiziert werden soll und was nicht. Diese Strukturierung erscheint mir enorm wichtig für die Praxis.


3. Die Lehrpläne sollten das Ergebnis, also die Wirkung von Lernprozessen betonen. Es muss verbindlich gesagt werden, wozu der Unterricht die Lernenden befähigen soll. Die Curricula sind allerdings teilweise noch weit weg von diesen Überlegungen. Es genügt eben nicht, Kompetenzen semantisch zu konstruieren. In aktuellen Lehrplänen tauchen leider allzu oft Kompetenzkonstrukte auf, welche die Lehrpersonen kaum interpretieren können. Weiter sind die Abgrenzungen zwischen den Kompetenzen scheinbar willkürlich und verwirrend. Hier braucht es dringend klarere Strukturen, wenn eine Diagnostik möglich werden soll.

Instrumentelle Ebene

Auf der instrumentellen Ebene stehen prinzipiell drei Diagnoseverfahren zur Verfügung:

  • Kognitive Tests erfassen vor allem das Wissen über Kompetenzen und den jeweiligen Situationstyp.
  • Verhaltensorientierte Verfahren fokussieren auf das gezeigte Verhalten bzw. das Können (Fertigkeiten)
  • Bei den affektiv-moralischen Erhebungsverfahren stehen Aspekte des Wertens im Vordergrund, z. B. die Einstellungen im Umgang mit anderen Personen.

Diese Verfahren können die Daten mittels Befragung, Beobachtung oder Inhaltsanalyse zugänglich machen. Zur Messung von Kompetenzen in der Berufsbildung kommen vorwiegend Befragungs- und Beobachtungsverfahren zum Einsatz. Inhaltsanalytische Ansätze (z.B. Analyse von Aufsätzen, Berufsdokumentationen, selbstständige Arbeiten) sind seltener. Unabhängig davon, welche Datenerhebungstechnik wir verwenden, kann das Verfahren nur dann gezielt eingesetzt werden, wenn das Kompetenzkonstrukt auf der konzeptionellen Ebene klar ist.

Die eingesetzten Verfahren bzw. Instrumente müssen gewissen Qualitätsanforderungen genügen. Diese sogenannten Gütekriterien können hier nur beispielhaft und unvollständig aufgezeigt werden:

  • Objektivität:  Die Messergebnisse sind unabhängig von der durchführenden und auswertenden Person. Sind die Durchführungsbedingungen für alle gleich? Online-Tests haben beispielsweise eine hohe Objektivität, aber es darf keine Person bei den Testaufgaben aufgrund mangelnder Computerkenntnisse Nachteile haben. Je enger die Antwortmöglichkeiten sind, desto grösser ist tendenziell die Auswertungsobjektivität – dafür leidet oft die Gültigkeit.
  • Gültigkeit: Die Diagnose ist dann gültig, wenn sie die Kompetenzen bzw. Verhaltensweisen misst, die sie tatsächlich messen soll. Es wird das Richtige gemessen. Messe ich mit einem Instrument wirklich das Führen von Konfliktgesprächen oder etwas anderes? Sind alle relevanten Aspekte abgedeckt? Fehlt ein wichtiger Teil? Die Gültigkeit setzt eine saubere Konzeption voraus (siehe oben). Ist das Konzept unscharf oder unklar, kann keine gültige Diagnose erfolgen.
  • Zuverlässigkeit: Diese umschreibt den Grad der Genauigkeit, mit dem eine spezifische Kompetenz gemessen wird. Es wird richtig gemessen. Messen wir wirklich genau? Kommen wir mit einem Instrument zu demselben Ergebnis, wenn man kurz zweimal hintereinander misst? Wenn beispielsweise zwei Testvarianten eingesetzt werden, welche dieselben Kompetenzen messen sollen: kommen die beiden Testvarianten zu demselben Ergebnis?
     

Die Gütekriterien machen auf der instrumentellen Ebene deutlich, dass Kompetenzdiagnostik nicht einfach ist! Kompetenzdiagnostik ist anspruchsvoll und wir stossen auch aus Ressourcengründen schnell an die Grenzen. Die Hauptgütekriterien müssen wir stets im Blick haben. Eine Bildungsinstitution bzw. deren Lehrpersonen müssen sich im Klaren sein, was sie leisten können und was nicht. Es gilt die Grenzen des Möglichen zu akzeptieren.

Ich plädiere dafür, lieber keine (scheinbare) Kompetenzdiagnostik durchzuführen, als eine ungenügende Diagnostik. Besonders wichtig scheint mir auch, keine falschen Versprechungen zu machen. Die Kernfrage lautet: Welche Instrumente können die geforderten Kompetenzen möglichst objektiv, zuverlässig und gültig diagnostizieren? Das ist die zentrale Frage der Kompetenzdiagnostik auf der Ebene der Instrumente!