Erfolgskontrolle von
Weiterbildungsmaßnahmen für Manager
Wie wir unseren Kunden helfen können, die Rentabilität eines Management-Entwicklungsprogramms zu messen
von Martin Sinell
Ein Entwicklungsprogramm für die Schlüsselqualifikationen des Managements ist eine Investition. Infolgedessen wünschen sich Entscheider, im Nachhinein eine Rentabilitätsbetrachtung dieser Investition vorgelegt zu bekommen, als Grundlage für zukünftige Entscheidungen. Nach unserer Beobachtung passiert das allerdings selten. Vorstände und Geschäftsführer wissen oft nicht, dass sie sich mit Hilfe eines begleitenden Controllings vom wirtschaftlichen Nutzen einer Weiterbildungsmaßnahme überzeugen könnten. Sie kennen zwar aus ihrer eigenen Teilnehmererfahrung die gängigen Teilnehmerbeurteilungen direkt nach Seminarende, aber sie bezweifeln die Aussagekraft. Die oft hervorragenden Bewertungsergebnisse machen sie zusätzlich eher misstrauisch und verstärken die Zweifel an einem direkten Zusammenhang zwischen dem Traumnotenschnitt eines Seminars und seinem wirtschaftlichen Nutzen.
Tatsächlich geben solche Teilnehmerbewertungen in erster Linie Hinweise auf die
Sozial- und Methodenkompetenz des Trainers,
Treffergenauigkeit seiner inhaltlichen Vorbereitung auf die Erwartungen und Fragen der Teilnehmer,
Qualität des Veranstaltungsortes.
Damit Entscheider aber fundierte Entscheidungen über Weiterbildungsinvestitionen treffen können, bräuchten sie Antworten auf diese Fragen:
Welche Bewusstseins- und Verhaltensänderungen hat das Training bei den Teilnehmern tatsächlich bewirkt?
Inwieweit sind diese Veränderungen geeignet, den Teilnehmern zu einer höheren Effektivität am Arbeitsplatz zu verhelfen?
Inwieweit entspricht die Entwicklung des Teilnehmers (sofern erkennbar) den Zielen des Unternehmens?
Inwieweit ist das Training insgesamt eine betriebswirtschaftlich rentable Investition gewesen?
Für uns bedeutet echte Kundenorientierung, unseren Kunden ein Verfahren zur Verfügung zu stellen, das sich dieser Fragen annimmt, so dass die Rentabilität und somit die Qualität einer Entwicklungsmaßnahme im Soft Skill Bereich deutlich spezifischer evaluiert werden kann. Die Kernelemente dieses Verfahrens sind:
1. Zunächst den Trainingsprozess mit den Unternehmens- und Mitarbeiterzielen zu verzahnen,
2. Das Trainingsdesign und die Methodik den sich aus den Zielen ergebenden Nutzenerwartungen zu unterwerfen,
3. Die Veränderungen im Verhalten des Managements und deren Wirkung auf den Unternehmenserfolg zu messen bzw. zu bewerten.
1 Die Dienstleistung beginnt mit der Schaffung der Grundlage
1.1 Zielorientierung
Unsere Arbeitshypothese lautet:
Die Veränderungen, die das Programm bei den teilnehmenden Führungskräften und in ihrem Verantwortungsbereich bewirkt, haben wahrnehmbare, positive Auswirkungen auf relevante Unternehmensziele.
Ausgehend vom eigenen Verantwortungsbereich definiert jede einzelne Führungskraft in Zusammenarbeit mit dem Gesamtverantwortlichen (Auftraggeber) konkrete Entwicklungsziele. Wichtig ist, dass nicht einfach Erwartungen an den Trainer gerichtet werden, sondern dass sich der Kunde bereits hier konstruktiv mit der Frage auseinandersetzt, welche Kausalität sich zwischen den Soft Skills des einzelnen Teilnehmers und dem Geschäftserfolg insgesamt herstellen läßt. Wir als Coaches unterstützen diesen Prozess und werden über die gesteckten individuellen Ziele informiert. Teilnehmer mit der Haltung „ich lasse mich überraschen; man nimmt immer etwas mit“, werden möglichst nicht zum Training zugelassen.
1.2 Nutzenorientiertes Trainingsdesign
Aufgabe unseres Trainingsprogrammes ist es nach dieser Vorarbeit nicht mehr primär, die Teilnehmer gut zu unterhalten und sie mit aktionsorientierten Methoden zu beschäftigen, sondern sie bewusst bei der Erreichung ihrer Ziele – letztlich Business Results – zu unterstützen. Dazu ist ein Trainingsdesign erforderlich, das sich mit Ursachen und Wirkungen beschäftigt und jeden Teilnehmer aktiviert, bereits während des Trainingsprozesses auf seinen Verantwortungsbereich in veränderter Weise einzuwirken. Erste Erfahrungen des Kunden mit seinem durch Training veränderten Wirken und das Abgleichen mit seinen zu Prozessbeginn gesetzten Zielen steuern und verstärken den Entwicklungsprozess in die vom Kunden gewünschte Richtung. Insofern ist ein auf Interaktivität zwischen Arbeitswelt und Trainingsprozess angelegtes Trainingsdesign wichtiger Bestandteil der Qualität des Programms .
2 Datenerhebung
Um der Vielschichtigkeit der Messgrößen und der Subjektivität im Bereich der Soft Skills gerecht zu werden, werden in unterschiedlichen Phasen des Trainingsprozesses Daten erhoben. Dies geschieht auf vier unterschiedlichen Ebenen, wobei die einzelnen Ebenen nicht unmittelbar kausal oder hierarchisch verbunden sind, sondern unterschiedliche Arten von Informationen liefern, die ineinandergreifen.
Ziele der Datenerhebung:
Herausfinden, inwieweit das Training geeignet ist, die gesetzten Ziele zu verfolgen.
Stärken und Schwächen des gesamten Personalentwicklungsprozesses erkennen.
Entscheiden, wer an zukünftigen Tainingsprogrammen teilnehmen sollte.
Analysieren, welchen vorwiegenden Nutzen unterschiedliche Teilnehmerarten haben.
Den Wert einzelner Trainingsmethoden, Übungen oder Fragen testen.
Von Teilnehmern als wichtig empfundene Punkte des Trainings verstärken.
Das Kosten/Nutzen-Verhältnis von Trainingsprogrammen bestimmen.
2.1 Ebene 1: Messung der Teilnehmerzufriedenheit
Damit auf dieser Ebene zielrelevante Informationen erhalten werden können, arbeiten wir mit zwei Instrumenten:
2.1.1 Fortschrittsbericht
Wie bereits bei der Schaffung der Grundlagen erwähnt, setzen sich Teilnehmer zusammen mit dem Auftraggeber vor Trainingsbeginn mit denjenigen Zielen auseinander, zu deren Erreichung das Training einen Beitrag liefern soll und kann. Diese Ziele werden im Fortschrittsbericht dokumentiert und dem Trainer rechtzeitig vor Beginn des Programms zur Verfügung gestellt. Den Teilnehmern werden vier Zielbereiche vorgegeben, die sie mindestens zu je einem persönlichen Ziel spezifizieren.
Die vier Zielbereiche:
Führung
Kommunikation
Selbstsicherheit
Selbstmanagement
2.1.2 Bewertungsbogen
Im Gegensatz zu üblichen Zufriedenheitsbögen werden die Teilnehmer hier weniger nach der Bewertung dessen gefragt, was sie erlebt haben, sondern vielmehr, was sie glauben erreicht zu haben und welche Trainingsaktivitäten und Methoden dafür besonders nützlich waren.
Die Teilnehmer antworten in vorgegebenen verbalen Abstufungen, die nach unserer Einschätzung eine höhere Aussagekraft haben als abstrakte Zahlenskalen.
Beispiele für Fragen im Bewertungsbogen:
Ich habe mein Trainingsziel 1 (bzw. 2, 3, 4) in folgendem Umfang erreicht: (Vollständig, beinahe vollständig, zur Zufriedenheit, kaum, gar nicht)
Das Training hat mein Leistungsvermögen für heutige und künftige berufliche Aufgaben verbessert. (trifft zu, trifft beinahe zu, trifft nicht zu, trifft absolut nicht zu, kann ich nicht beurteilen)
Der Trainer war darauf vorbereitet, mich in meinen Zielen zu unterstützen. (trifft zu, trifft beinahe zu, trifft nicht zu, trifft absolut nicht zu)
Coaching und Unterstützung durch den Trainer waren: (Hervorragend, überdurchschnittlich gut, gut, ungenügend, schlecht)
Zusätzlich enthält der Bogen Raum für freie Kommentare der Teilnehmer für weitere ihnen wichtige Erkenntnisse.
2.2 Ebene 2: Lernerfolg
Ziel dieser Ebene ist festzustellen, was von den im Training präsentierten und geübten Inhalten die Teilnehmer zu welchem Anteil rein kognitiv behalten und verdaut haben. Dies geschieht durch schriftliche Tests. Gewöhnlich reicht den Teilnehmern eine Bearbeitungszeit von 30 bis 40 Minuten. Um hierbei sicher den Lernfortschritt messen zu können, muss eine Differenz gemessen werden. Der erste Test erfolgt daher vor Beginn des Trainingsprogramms, der zweite, identische Test, ca. 2 Monate nach Trainingsende. Hierfür müssen noch einmal alle Teilnehmer zusammengeholt werden, was einen gewissen Aufwand darstellt, bei einem unternehmensinternen Trainingsprogramm aber organisatorisch gut machbar ist, wenn die Geschäftsleitung den gesamten Prozess positiv begleitet.
2.3 Ebene 3: Anwendung am Arbeitsplatz
„non scolae discimus sed vitae“. Was und wie wird das Gelernte am Arbeitsplatz angewendet? Diese Ebene ist am stärksten nicht nur mess- sondern auch steuerungsorientiert. Messinstrument ist der Aktionsplan: Nach jeder Trainingseinheit formuliert jeder Teilnehmer auf der Grundlage seiner Ziele im bereits oben erwähnten Fortschrittsbericht eine Aktion, eine Idee, eine vorzunehmende Änderung innerhalb seines Verantwortungsbereiches, über deren Umsetzung er sich später im Trainingsprozess Rechenschaft ablegt. Die Teilnehmer kommunizieren ihre Aktionen und Erfahrungen regelmäßig in der Trainingsgruppe und bilden ggf. auch Fokusgruppen. Dadurch erhalten die Teilnehmer zusätzliche Unterstützung und der Prozess gewinnt an Dynamik.
2.4 Ebene 4: Resultate aufgrund von Anwendung
Der für diese Ebene nötige Aufwand hängt von der Qualität des Berichtswesens ab, das bereits im Unternehmen installiert ist. Es werden alle Informationen zusammengetragen, die als Indikatoren für Veränderungen im Unternehmen dienen können.
Neben gängigen Prozesskennzahlen sind qualitative Indikatoren nützlich:
Beurteilung durch Mitarbeiter, Kollegen und Vorgesetzen (z.B. als 360% Feedback)
Selbstbeurteilung
Beurteilung durch Kunden
Liste durchführter Maßnahmen (Fortschrittsbericht)
Vorgenommene Organisations- und Prozessänderungen
3 Anteil der Trainingswirkungen an den
Gesamtveränderungen identifizieren
Die gesammelten Daten und Informationen sind natürlich zum Teil das Ergebnis einer Vielzahl von Einflüssen. Mit folgenden Mitteln können die spezifischen Wirkungen des Trainingsprogramms isoliert und somit deutlich gemacht werden.
Werte aus Kontrollgruppen
* Trendlinien-Analyse
*
* Prognosemethoden
*
* Teilnehmerschätzung der Trainingswirkung (%)
*
* Vorgesetztenschätzung der Trainingswirkung (%)
*
* Aussage von Experten
*
* Mitarbeiterbeurteilung
*
* Kundenbeurteilung
*
* Die Summe aller übrigen Einflussfaktoren kalkulieren
*
Im konkreten Fall wählen wir gemeinsam mit den Controlling-Experten des Kunden nur die Instrumente aus, die bezogen auf die jeweilige Situation besonders aussagekräftig bzw. praktikabel erscheinen. Natürlich liefert jedes dieser Instrumente mehr oder weniger fehlerbehaftete Informationen. Dies ist aber kein Argument gegen die Methode an sich. Entscheidend ist, dass unser Auftraggeber diesen Bewertungsschritt mitgestaltet, gutheisst und nicht als Black Box empfindet.
Durch folgende Ansätze und Maßnahmen kann zusätzlich eine hohe Glaubwürdigkeit der Bewertungen erzielt werden:
Bei Teilnehmern, die im Trainingsprozess keine verwertbaren Aktionen definiert haben, wird unterstellt, dass keine Trainingswirkung erzielt wurde.
Es werden nur Trainingswirkungen innerhalb eines Jahres quantifiziert, auch wenn ein Nutzen über mehrere Jahre erkennbar ist.
Bei jeder Schätzung und Annahme wird jeweils der ungünstigste Wert innerhalb des Fehlerbereichs angenommen.
Es werden nur Schätzungen aus Quellen akzeptiert, deren Integrität von keinem Beteiligten angezweifelt wird.
Jeder Schätzwert wird von den Beteiligten auf seine Glaubwürdigkeit eingestuft und gemäß einer Skala noch einmal reduziert.
4 Bewertung des Trainingsnutzens insgesamt
4.1 Trainingswirkungen in Geldwerte konvertieren
Die isolierten und quantifizierten Wirkungen des Trainingsprogramms auf das Unternehmensgeschehen stellen einen Geldwert dar. Dieser lässt sich folgendermaßen herleiten:
Gewinne und Einsparungen aus größerem Output
Reduzierte Kosten durch Qualitätsverbesserung
Eingesparte Arbeitszeit
Kostenvergleich mit einem Referenzzeitraum
Schätzung interner und externer Experten
Externe Studien
Schätzung durch Teilnehmer, Vorgesetzte, Management und Personalbereich
4.2 Die Programmkosten erfassen
Den durch das Trainingsprogramm erzielten und identifizierten Umsatzerlösen sind folgende Kosten gegenüberzustellen:
Entwicklung des Trainingsprogramms
Material für das Programm
Trainerhonorare
Räume und Medien
Reise, Unterkunft und Verpflegung
Gehälter der Teilnehmer
Administrativer Overhead
4.3 Berechnung der durch das Training erzielten Umsatzrendite
Aufwände = Summe aller Programmkosten
Umsatz = Summe aller geldwerten Trainingswirkungen
Programmergebnis = Umsatzerlöse - Aufwände
Umsatzrendite = Programmergebnis / Umsatz
4.4 Der Nichtquantifizierbare Nutzen
Ein nichtquantifizierbarer Nutzen läßt sich nicht oder nur sehr vage in Geldwerten ausdrücken. Obgleich solche als positiv empfundenen Veränderungen nicht in die Berechnung der Umsatzrendite einfließen, sind sie trotzdem oft wichtig für die Ziele des Kunden. Teilnehmerkommentare in unseren Bewertungsbögen weisen auf solche Qualitäten:
Erhöhte Arbeitszufriedenheit
Höhere Identifikation mit dem Unternehmen
Bessere Teamarbeit
Allgemein besserer Kundenservice
Weniger Konflikte
Verbesserte Kommunikation
5 Fazit
Die hier beschriebene differenzierte Messung der Qualität von Managemententwicklungsprogrammen ist zweifellos aufwändig. Diese Art des Controllings dient jedoch nicht nur einer nachträglichen Wirtschaftlichkeitsbewertung, sondern ist Ausdruck einer Dienstleistung, die die Unternehmensziele des Kunden zum Ausgangspunkt eines interaktiven Prozesses hat. Die auf Managementebene heruntergebrochenen Ziele werden zum Steuerungsinstrument des Trainings und bilden einen wichtigen Bewertungsmaßstab. Das Trainingsdesign basiert auf Interaktion vom Training mit der Unternehmenswirklichkeit. Dadurch können unternehmensrelevante Geschäftsentwicklungen den Trainingswirkungen zugeordnet, isoliert und als Ausdruck der Trainingsqualität herangezogen werden.
<< Publikationen