Weitsicht Umfragen planen und durchführen

Was ist schon landläufig über die Branche der Marktforscher bekannt, die vor allem dann sichtbar wird, wenn sie beim „Politbarometer“ Umfrageergebnisse präsentiert oder per Pressemitteilung Studienergebnisse verteilt?

Am einfachsten erfährt man etwas über die Marktforscher, wenn man sich in ihre Lage versetzt – und selbst zum Analysten wird. Wie die Marktforscher nutzt man bei einer Umfrage das Werkzeug Statistik. Die Statistik ist nur dann ein neutrales und aussagekräftiges Werkzeug, wenn man ihre Unwägbarkeiten kennt. So wird sie zum nützlichen Instrument für die Auswertung und Analyse von Umfragen. Richtig ausgewertet kann die Umfrage Verbesserungen bringen und neue Impulse in das Unternehmen tragen. Die häufigsten Themen bei Umfragen sind

• Prozesse (Qualität, Optimierung, Projekt-Evaluation)
• Mitarbeiter und Kunde (Ideen, Feedback, Anforderungen, Zufriedenheit),
• Konkurrenz (Image, Marke, Kooperation),
• Markt (Werbung, Preisstrategie, Produktpositionierung) und
• Neuausrichtung der Unternehmensstrategie.

Beispiel: Umfrage bei Mitarbeitern

Je weniger die Unternehmensleitung mit ihren Mitarbeitern kommuniziert, desto eher führt sie eine Umfrage bei ihnen durch - lautet eine provokante These.

Würde das Management über die Anliegen der Mitarbeiter Bescheid wissen, bräuchte es ja nicht zu fragen. Doch in größeren Firmen hat ein Manager keine Zeit den ganzen Tag im Unternehmen umherzugehen, um Ideen und Anliegen der Mitarbeiter aufzugreifen. Und auch der offenherzigste Manager kann aufgrund seiner Führungsposition kein Mitarbeiter wie jeder andere sein, „dem man alles erzählen kann“. Es gibt also immer Informationslücken im Management, die sich mit einer Umfrage zumindest teilweise beheben lassen.

Anonyme Umfragen haben den Vorteil, dass der Personalentwickler von Mitarbeitern Informationen erhält, die diese sonst vielleicht nicht preisgeben; neue Ideen, aber auch Kritik an der Unternehmensleitung. Dann ist genauso wichtig, dass diese Informationen als Ergebnis auch genutzt werden.

Aber vorsicht: Soll eine Befragung wie die von Mitarbeitern neue Erkenntnisse und Impulse für unternehmerische Entscheidungen geben, ist wichtig

• die Befragten Vertrauen mitbringen: absolute Anonymität und Zusammenarbeit mit dem Betriebsrat stehen bei einer Umfrage bei Mitarbeitern im Vordergrund;
• für die Umfrage geworben wird, damit möglichst alle mitmachen;
• die Umfrage so vorbereitet und durchgeführt wird, dass die erfassten Informationen neue Erkenntnisse überhaupt hergeben.

Anwendungsfalle: Wen befragen?

Man kann nicht immer „alle“ befragen und oft ist das auch gar nicht sinnvoll. Wenn Sie eine Umfrage zum Tempolimit auf Autobahnen in einer ganzen Stadt durchführen, erhalten Sie auch Antworten von Führerscheinlosen und S-Bahn-Fahrern. Fragen sie dagegen auf dem Parteitag der Grünen, ist das Ergebnis genauso eindeutig, als wenn Sie die Besucher eines Formel-1-Rennens befragen.

Die Ergebnisse hängen davon ab, welche Personen an der Umfrage teilnehmen. Das müssen Sie auch beachten, wenn Sie ihre Kunden befragen. Wer beliebige Adressen aus seiner Datenbank stichprobenartig auswählt und an diese Kunden einen Fragebogen sendet, wird möglicherweise nur von denen eine Antwort erhalten, die ihm wohlgesonnen sind. Die Umfrage ist dann nicht repräsentativ. Die Meinung der Unzufriedenen oder derjenigen, die schon zum Wettbewerber abgewandert sind, bleibt unberücksichtigt. Dieser systematische Fehler führt zu einer Abweichung des Umfrage-Ergebnisses von der Realität. Die Größe des Fehlers nennt man Bias.

Die Repräsentativität ist ein zentraler Aspekt bei der Vorbereitung von Umfragen. Darüber hinaus müssen aber weitere Fragen geklärt werden:

1. Ziele: Was will ich herausfinden? Wonach frage ich genau? Gibt es dazu irgendwo schon Antworten?
2. Instrumente: Erstelle ich einen Fragebogen oder einen offenen Interviewleitfaden? Führe ich die Umfrage schriftlich, telefonisch oder persönlich durch?
3. Durchführung: Führe ich selbst die Umfrage durch oder beauftrage ich einen externen Marktforscher?
4. Auswahl: Ist eine repräsentative Stichprobenbefragung nützlich oder will ich eine Vollbefragung eines bestimmten Personenkreise durchführen?
5. Umstände: Welchen Aufwand an Zeit und Geld ist mir die Analyse Wert? Gibt es woanders schon Daten, die ich nutzen kann?
6. Rücklaufquote: Wie viele Personen muss ich befragen? Werden genügend davon mitmachen, um aussagekräftige Ergebnisse zu erhalten? Wie kann ich das sicherstellen?
7. Aussagekraft: Wie repräsentativ ist das Ergebnis? Kann ich Vergleiche zu früheren Daten oder Umfragen ziehen?
8. Lebensdauer: Wann muss ich die Umfrage wiederholen, um aus ihr dauerhaft die richtigen Schlüsse ziehen zu können?

Aufbau eines Fragekatalogs

Viele Analysen werden mit Hilfe vorgegebener Fragen durchgeführt. Schon die Form des Fragens fällt ganz unterschiedlich aus. Ob nun der ausgedruckte Fragebogen verteilt wird, Interviews persönlich oder per Telefon geführt werden, Formulare im Internet genutzt werden (Online-Befragung). Wichtig ist, dass der Befragte Interesse daran bekommt zu antworten. Hat er das Gefühl, dass ihn die Fragen nicht direkt betreffen, hilft zu Beginn eine „Eisbrecherfrage“, die nicht unbedingt mit dem Thema zu tun haben muss, die aber für möglichst viele von Interesse ist.

Das bedeutet, dass ein Fragebogen möglichst individuell für die Gruppe der Befragten entwickelt werden muss. Nur mit logisch aufgebauten Fragekomplexen, die auf das spezielle Umfragethema oder Umfrageziel zugeschnitten sind, erhält man auswertbare Ergebnisse. Diese Punkte sind wichtig:

• Grundaufbau: Einleitungsfragen („Eisbrecher“), dann Sachfragen, Kontrollfragen und Fragen zur Person oder zum Unternehmen (wegen der Anonymität nicht in der Präsentation enthalten);
• Sachfragen: zustimmende und ablehnende Fragen abwechseln und Fragetechniken variieren, damit keine Langeweile beim Ausfüllen aufkommt;
• Filterfragen: erfüllt ein Befragter bestimmte Voraussetzungen nicht, muss er sich mit den Fragen nicht befassen;
• Besondere Skalierungen für die Fragen, die zu möglichst objektiven Antworten führen;
• mit Feingefühl und vor allem verständlich und eindeutig formulieren, damit es beim Befragten nicht zu Fehlinterpretationen oder Missverständnissen kommt; (Die Kunst der richtigen Frageformulierung bei Umfragen ist eine sehr anspruchsvolle; zur Unterstützung eventuell spezialisierte Berater heranziehen.)
• Kontext der Fragen und des Befragten beachten.

Wird der Fragebogen sehr umfangreich, ist das ein Zeichen dafür, dass man die Fragen besser noch einmal in Unterkategorien aufteilt. Zum großen Teil besteht er aus geschlossenen Fragen, die Antwortmöglichkeiten sind vorgegeben. Sie können leicht computergestützt ausgewertet werden. Als alleiniges Mittel sind sie aber selten sinnvoll. Ideen und Anliegen der Befragten muss mit offenen Fragen extra Platz eingeräumt werden, damit sie diese individuell und ausführlich formulieren können.

Geschlossene Fragen basieren auf Multiple-Choice-Verfahren wie den „Likert“-Skalen, auf denen fünf Bewertungsstufen von „sehr gut“, über „neutral“ bis „sehr schlecht“ zur Auswahl stehen. Nachteilig wirkt sich die starke Polarisierung der Antworten auf das Ergebnis aus. Die Befragten antworten auf Likert-Skalen oft extrem positiv oder extrem negativ. Das entspricht nicht der Realität. Aber es gibt Alternativen wie die „Thurstone-“ oder „Guttmann“-Skalen.

Jeder Fragebogen wird um einige Erläuterungen über Hintergründe, Zweck und Ziele der Umfrage, aber auch mit dem Nutzen, den der Befragte haben soll, ergänzt. Bei einer schriftlichen Umfrage ist dies ein freundliches Begleitschreiben, im Gespräch sind es nette Worte vorneweg.

Analyse der Daten

Schon vor der Datenerhebung muss ein Analyseplan angefertigt werden, der festlegt, in welcher Form die Daten analysiert werden sollen. Denn manche Analyseformen erfordern einen bestimmten Rohdatensatz, der von der Umfrage geliefert werden muss. Kann die Qualität der Daten den Anforderungen des Analyseplans nicht standhalten, war die ganze Umfrage vergeblich.

Die eigentliche Analyse erfolgt mit spezieller Statistik-Software. Beispiele sind:

• SPSS (Statistical Package for Social Sciences),
• SAS (Statistical Analysis System),
• Minitab,
• Statistica,
• Stata.

Auch mit einem einfachen Tabellenkalkulations-Programm wie Excel können statistische Analysen durchgeführt werden. Dafür gibt es auch spezielle Ergänzungen (Addons) wie etwa XLStat oder WinStat.

Die Auswertung von Umfragen setzt einiges Wissen zur Statistik, zu den statistischen Verfahren und zur Mathematik (Wahrscheinlichkeitsrechnung) voraus. Viele beschränken sich deshalb aurf die einfache Auszählung von Häufigkeiten: „X Personen oder Prozent der Befragten haben die Frage Y mit Z beantwortet.“ Das ist korrekt und mag die eine oder andere Erkenntnis bringen – richtig interessant und spannend sind solche Ergebnisse selten. Deshalb haben Statistiker zahlreiche mathematische Verfahren entwickelt, um aus Rohdaten Informationen abzuleiten, die man auf den ersten Blick nicht sieht.

Am bekanntesten sind:

• Mittelwert (arithmetisches, geometrisches Mittel)
• Median,
• Standardabweichung,
• Streuung.

Weitere Erkenntnisse ergeben sich durch Clusteranalysen und statistische Testverfahren. Dadurch lassen sich aus der Gruppe der Befragten beispielsweise spezifische Unter-Gruppen und ihre besonderen Merkmale erkennen.

Präsentation der Daten

Die Zahlenkolonnen und die statistischen Ergebnisse, die sich aus der Umfrage ergeben, werden am Ende analysiert, interpretiert, bewertet und in einer aussagekräftigen Präsentation den Auftraggebern der Umfrage erläutert. Wichtig ist eine kurze und präzise Darstellung des Wesentlichen durch Grafiken.

Der eigentliche Umfrageablauf ist damit am Ende. Jetzt müssen die Erkenntnisse wirken. Basierend auf den Erkenntnissen sollte ein Maßnahmenkatalog erarbeitet werden, der die Zahlen in Taten übersetzt. Gerade nach Mitarbeiterbefragungen erwarten diese, dass ihre Aussagen aufgegriffen werden. Dann sind sie bereit, auch beim nächsten Mal mitzumachen – und die nächste Umfrage kommt bestimmt.

Checklisten

Positive Effekte einer Mitarbeiterbefragung

1. Partizipation: Die Mitarbeiter können Erfahrungen über ihren eigenen Arbeitsplatz anonym einbringen.
2. Prozessoptimierung: Sie erkennen als erste Schwachpunkte und haben oft Ideen für Optimierungsmaßnahmen.
3. Motivation: Die Akzeptanz neu eingebrachter Maßnahmen durch die Mitarbeiter steigt.
4. Evaluation: Neu eingebrachte Maßnahmen werden über längere Zeiträume evaluiert.
5. Feedback: Die Mitarbeiter geben direktes Feedback über das Verhalten der Führungskräfte.
6. TQM: Die Mitarbeiterbefragung ist eine Bedingung für Qualitätsmanagementsysteme nach ISO 9004.
7. Arbeitsschutz: Die Forderung des Arbeitsschutzgesetzes nach Mitarbeiterbeteiligung wird erfüllt.

Wie interpretiere ich Studienergebnisse?

Bei Studien von professionellen Marktforschern, wie bei den eigenen Umfragen ist wichtig, dass die Datengrundlage richtig ist. Um das festzustellen, sollte man die Umstände einer Studie kennen, um dann Aussagekraft und Lebensdauer der Ergebnisse richtig einzuschätzen. Nicht ohne Grund verlangt der Pressekodex „bei der Veröffentlichung von Studienergebnissen [...] die Zahl der Befragten, den Zeitpunkt der Befragung, den Auftraggeber sowie die Fragestellung mitzuteilen.“ Und man sollte noch mehr Hintergründe kennen:

1. Ziel: Was war das genaue Ziel der Befragung? Wie lautete die genaue Fragestellung?
2. Instrument: Wurden die Daten online, schriftlich, im Interview oder aus vorhandenen Statistiken oder Quellen gewonnen?
3. Auswahl: Wer wurde befragt? Gab es eine repräsentative Stichprobe, eine Vollerhebung, eine gezielte Auswahl oder wurde die Auswahl zum Beispiel durch fehlende Adressen und Einträge im Branchenbuch eingeschränkt?
4. Umstand: In welchem Zeitraum, wo und von wem wurde die Befragung durchgeführt? Hat jemand die Studie in Auftrag gegeben oder stammen die Daten aus amtlichen und unabhängigen Quellen?
5. Rücklaufquote: Wie viele Personen oder Unternehmen wurden befragt? Wie viele davon gaben Antworten, die auswertbar waren?
6. Aussagekraft: Lassen sich die Ergebnisse der Studie mit vorigen vergleichen? Sind die Umstände die selben?
7. Lebensdauer: Wie lange und für wen oder was behalten die Ergebnisse ihre Aussagekraft?

Nachteile der schriftlichen Umfrage

• hohe Kosten (pro Antwort) bei geringem Rücklauf
• eingeschränkte Repräsentativität bei geringem Rücklauf
• keine Verwendung von Hilfsmitteln möglich
• Beschränkung auf einfache Fragestellungen
• lange Rücklaufzeiten
• keine Kontrollmöglichkeiten bezüglich Ernsthaftigkeit, Antwortdauer, Reihenfolge, Informationsbeschaffung, Fragenverständnis und Einfluss Dritter

Vorteile der schriftlichen Umfrage

• Personen sind leichter erreichbar
• geringe Kosten (pro Kontakt)
• kein Interviewereinfluss
• freie Wahl der Beantwortungszeit

Nachteile der telefonischen Umfrage

• keine Verwendung von Hilfsmitteln - außer akustischen - möglich
• Beschränkung auf einfache Fragestellung notwendig
• eingeschränkte Repräsentativität, da Telefonanschluss Bedingung

Vorteile der telefonischen Umfrage

• kurzfristig durchführbar
• relativ geringe Kosten
• führt zu schnellen Ergebnissen
• Beeinflussung durch Dritte ausgeschlossen

Nachteile eines persönlichen Interviews

• Interviewerbias (Interviewereinfluss)
• hohe Kosten
• Problem der Kontaktaufnahme bei schwer erreichbaren Auskunftspersonen

Vorteile eines persönlichen Interviews

• hohe Repräsentativität
• flexibles Eingehen auf Auskunftspersonen möglich
• kaum Abbruch (hohe Erfolgsquote)
• Bereinigung von Missverständnissen möglich
• Antwortverhalten kontrollierbar
• Einsatz von Hilfsmitteln möglich
• Beeinflussung durch Dritte ausgeschlossen
• führt zu schnellen Ergebnissen

[Quelle: fretutorials.de]

Weiterführende Links

Viele interessanten Statistiken stellt das Internetportal Statista zur Verfügung. Dort finden Sie auch Hintergründe zu Statistik und zur Verwendung und Interpretation von Umfragen allgemein.

Mehr zu den Begriffen und Grundlagen der Statistik:

• http://www.statistics4u.info/fundstat_germ/
• http://www.elektronikinfo.de/grundlagen/statistiken.htm

Bücher

• Jahn, Detlev; Sarcander, Steve; Wagner, Ralf: Basiswissen Marktforschung, 2004
• Domsch, Michel E.; Ladwig, Désirée H. (Hrsg.): Handbuch Mitarbeiter-Befragung, 2000