Im einfachsten Fall liegt bei einer Testentwicklung für den relevanten Teil der zu messenden Merkmale bereits ein Fragebogenverfahren vor, möglicherweise jedoch in einer nicht direkt einsetzbaren Sprache. Sollte ein Testverfahren in einer Fremdsprache vorliegen, lässt sich nach Rücksprache mit den AutorInnen in der Regel über eine Übersetzung und/oder Adaptierung auf dem schnellsten Weg ein „neuer“ Fragebogen „entwickeln“.
Bei der Übersetzung und Adaptierung von Items in eine andere Sprache gelten dieselben Leitlinien zur Formulierung von Items wie bei einer Neuentwicklung (vgl. Kapitel 3.3). Die Zusammenstellung von Subtests, die Itemreihenfolgen und die formale Vorgabe müssen sich eng am Originalfragebogen orientieren.
Um die Qualität einer Übersetzung zu prüfen, empfiehlt sich bei Fragebogen eine Rückübersetzung durch eine unabhängige Person, die den Originaltest nicht kennt (Tanzer & Sim, 1999). Diskrepanzen in einer Übersetzung können unter anderem auf Übersetzungsfehlern beruhen oder kulturelle Besonderheiten widerspiegeln. Bei Diskrepanzen sollte unter Einbeziehung von „Native Speakern“ das Problem aufgedeckt werden und eine sinngemäß adäquate Übertragung des Items vorgenommen werden. An dieser Stelle ist es wichtig, das Item vollständig, d. h. Frage- und Antwortoptionen, in die Betrachtung einzubeziehen und auch die anderen Items des Subtests zu betrachten.
Bei der Übertragung eines Fragebogens in eine andere Sprache dürfen formale Kennzeichen nur dann verändert werden, wenn mit dem Sprachwechsel formale Änderungen zwingend sind, wie beim Wechsel von der lateinischen Schriftart auf Kyrillisch oder Griechisch. Die formalen Aspekte betreffen unter anderem Schrifttyp, Schriftgröße, Itemreihenfolge, Anzahl der Items pro Seite, Anordnung der Antwortskalen, Instruktionen, Beispiele etc.
In vielen Projekten ergibt sich durch die Fragestellung oder die Operationalisierung der zu messenden Merkmale eine teilweise inhaltliche Überlappung oder Überschneidung mit bereits vorliegenden Fragebogenverfahren. In diesem Fall ist die einfache Übersetzung oder der Einsatz eines vorliegenden Instruments nicht ausreichend, sondern die vorliegenden Verfahren müssen ergänzt oder neu konzipiert werden. Relativ unproblematisch ist meist die Kombination neuer Teilbereiche mit bestehenden Fragebogen oder Subtests anderer AutorInnen. Wichtig bei diesem Vorgehen wie auch bei den im Folgenden besprochenen Vorgehensweisen ist neben einer korrekten Angabe der Quellen eine Rücksprache mit den AutorInnen. Mögliche Verletzungen des Copyrights sind ebenso zu beachten wie wirtschaftliche Schäden durch Plagiate.
Bei der Übernahme von Subtests aus vorhandenen Verfahren sind Änderungen und Adaptierungen nur mit größter Behutsamkeit und immer nur in Absprache mit den AutorInnen der Originalversionen vorzunehmen. Änderungen in der Anzahl der Items für Subtests sind in der Regel nach Rücksprache mit den AutorInnen der Originaltests problemlos vorzunehmen. Zur Durchführung der Änderungen lassen sich Informationen aus den Manualen oder den Publikationen zu psychometrischen Kennwerten wie Schwierigkeit, Streuung und Trennschärfe heranziehen. Einschneidende Änderungen sind jedoch zu vermeiden, insbesondere wenn die Änderung den Antwortmodus im Hinblick auf die Anzahl der Stufen oder gar Skalierungsdimension betrifft. Diese Art der Änderung macht eine psychometrische Überprüfung und/oder vollständige Neuentwicklung notwendig.
Auch wenn Items aus bestehenden Verfahren an einen neuen Antwortmodus angepasst und reformuliert werden, sollten die Quellen stets angemessen zitiert werden. Bei der Fragebogenentwicklung ist eine Dokumentation über die „Herkunft“ der Items ein theoretisch, praktisch und juristisch notwendiger und normativ wertvoller Schritt.
Items sollten wo immer möglich theoriegeleitet anhand vorliegender Modelle, Konzepte oder Taxonomien erstellt werden. Dies ist im Bereich der Wissenschaft unerlässlich. Der Abgleich der Items und Subtests mit vorliegenden Modellen, Konzepten und Theorien kennzeichnet hochwertige Fragebogen auch bei den weiter unten beschriebenen Optionen zur Entwicklung des Itempools. Bei der theoriegeleiteten Formulierung von Items wird entweder ein Modell als Grundlage ausgewählt oder es werden mehrere verwandte Konzepte herangezogen. Zu den in der Theorie dargestellten Facetten werden Items gebildet, die möglichst repräsentativ die Facetten im Verhalten und Erleben von Personen abbilden können. Für jede Facette werden mindestens sechs bis acht Items für einen potenziellen Subtest formuliert. Die Formulierung von Items orientiert sich immer konkret an der Perspektive der Antwortenden. Items können auch dann theoretischen Konzepten folgen, wenn sie konkret formuliert sind. Theoretisch formulierte Items sind typische „Anfängerfehler“. Die Frage „Sind Sie bei Ihrer Arbeit primär erfolgsmotiviert?“ (ja/nein) sollte besser lauten „Lob spornt mich besonders an“ (ja/nein). Es hat sich besonders bewährt, die Merkmalsbereiche möglichst konkret auf der Verhaltens- und Erlebensebene oder durch Beschreibung konkreter Situationen oder Zustände aus dem Merkmalsbereich abzubilden.
Das theoriegeleitete Vorgehen bei der Zusammenstellung von Subtests/Items sei am Beispiel des Erholungs-Belastungs-Fragebogens (EBF; Kallus, 1995) kurz dargestellt. Der Beanspruchungsbereich wurde ausgehend von der Taxonomie für Stressoren bei Janke (1976) in die Bereiche „äußere Belastungen“, „Belastungen durch Deprivation primärer Bedürfnisse wie Schlaf “, „Leistungsüber/-unterforderungen“, „soziale Belastungen“ und „sonstige Belastungsfaktoren wie Konflikte und Ungewissheit“ gegliedert. Für jede Facette wurden anschließend mindestens acht Items formuliert. Zuvor war festgelegt, dass sich der aktuelle Beanspruchungszustand aus der Häufigkeit von Belastungen „in den letzten Tagen“ ergeben sollte. Als Annahme galt zudem, dass sich besonders intensive Stressereignisse in vielen Teilbereichen niederschlagen und sich intensive Belastungen daher auch in Häufigkeitsangaben relativ gut abbilden lassen. Ergänzend wurde die Annahme einbezogen, dass Belastungen dann besonders bedeutsam für den Beanspruchungszustand einer Person sind, wenn nur unzureichende Möglichkeiten zur Regeneration der Ressourcen vorliegen. Initial stand der Versuch, die Erholungsbereiche komplementär zu den Belastungsbereichen in Items abzubilden.
Während sich für den Beanspruchungsbereich die theoretisch abgeleiteten Belastungsdimensionen weitestgehend abbilden ließen, konnten aufgrund hoher Überlappung der Merkmalsbereiche nur einige korrespondierende Regenerationsbereiche abgebildet werden. Interessanterweise konnten, passend zu kognitiven Stressmodellen (z. B. Lazarus, 1966, 1991), überwiegend positiv bewertete Ereignisse und Zustände als „gute Items“ für Erholung in die Endform des Erholungs-Belastungs-Fragebogens übernommen werden.
Weitere Beispiele für eine theoriegeleitete Entwicklung von Itempools finden sich im Instrument zur Erfassung der Konflikteskalation am Arbeitsplatz (IKEAr; Kolodej, Voutsinas, Jiménez & Kallus, 2005), im EBF-Sport (Kellmann & Kallus, 2000, 2016), im Test zur Erfassung des Mobbingrisikos am Arbeitsplatz (TEMA; Kolodej, Essler & Kallus, 2010), in der Profilanalyse zur Arbeitszufriedenheit (PAZ; Jiménez, 2008) und auch in einer Vielzahl von Verfahren anderer Arbeitsgruppen, wie dem bereits erwähnten arbeitsanalytischen Fragebogen (ISTA; Semmer, Zapf & Dunckel, 1999), im Trierer Inventar zu chronischem Stress (TICS; Schulz, Schlotz & Becker, 2004) oder beim Verfahren zu Beanspruchungsmessung bei der Arbeit (BMS; Debitz, Plath & Richter, 2016). Bögel und Rosenstiel (1997) empfehlen auch für MitarbeiterInnenbefragungen ein stärker theoriegeleitetes Vorgehen.
Eine theoretische Konzeption zur „Messung“ der Facetten eines hypothetischen Konstrukts oder eines hinreichend klar operationalisierten Merkmals stellt die Generalisierbarkeitstheorie (Cronbach, Gleser, Nanda & Rajaratnam, 1972) dar. Danach sollten Items in einem Fragebogen möglichst in „paralleler“ Form Informationen zur Ausprägung einer Facette des Merkmals erfassen. Mehrere dieser Items lassen sich dann zusammenfassen und spiegeln Unterschiede zwischen Personen in der Facette wider. Die Generalisierbarkeitstheorie betont auch die Bedeutung von Situationen, in denen sich das relevante Merkmal widerspiegeln sollte. Situationen sollten bei der Itemzusammenstellung nicht unbeachtet bleiben. Wenn möglich, sollte die jeweils relevante Situation für die Formulierung der Frage berücksichtigt werden. Die Berücksichtigung von Situationen stößt an Grenzen, weil gerade Situationen oft spezifisch oder typisch für bestimmte Bevölkerungs- oder Berufsgruppen sind. Dadurch ergibt sich der unerwünschte Fall, dass der Einsatzbereich eines Fragebogens dann auf spezifische Gruppen einzugrenzen ist oder dass hypothetische Situationen einzubeziehen sind. Hypothetische Situationen erhöhen die Komplexität von Fragen und müssen sehr geschickt formuliert werden, damit alle Antwortenden eine angemessene Vorstellung entwickeln können. Aufgrund dieser Schwierigkeiten reduzieren hypothetische Situationen oft die Qualität des Fragebogens (vgl. Faulbaum, Prüfer & Rexroth, 2009; Porst, 2009). Reaktionen auf hypothetische Situationen lassen sich allerdings nicht ohne Weiteres mit realen Verhaltensweisen und solchen in realen Situationen „mischen“.
Wichtig ist die Generalisierbarkeitstheorie für die Entwicklung von Fragebogen insoweit, als ein Item als Beispiel für eines von vielen möglichen Items betrachtet wird und als solches eine Stichprobe aus dem zu messenden Merkmal darstellt. Daher kann bei einer Prüfung des eigenen Itempools die aus der Generalisierbarkeitstheorie ableitbare Frage „Ist dieses Item typisch für das zu messende Merkmal?“ eine wesentliche Hilfe darstellen. Bei der Itementwicklung sollten nach der Generalisierbarkeitstheorie die TestentwicklerInnen für jeden Subtest ein Bild der möglichen Items vor Augen haben und aus den „möglichen“ Items einige „günstige“, am besten „repräsentative“ Items auswählen. Dabei ist eine ähnliche Varianz für unterschiedliche Facetten (Subtests) anzustreben, wenn die Items (wie im Regelfall) zu einem ungewichteten Mittelwert (oder einer ungewichteten Summe) zusammengefasst werden sollen.
Wenn möglich, sollte zudem ein Pretest an einer größeren Stichprobe durchgeführt werden. Dieser Pretest erlaubt (n ≥ 50) eine erste Einschätzung der psychometrischen Eigenschaften und eine Identifikation von „Ausreißeritems“. Ausreißeritems entstehen durch unerwartete Varianzeinschränkung und z. B. durch missverständliche (mehrdeutige) Formulierung der Iteminhalte, die nicht von der gesamten Stichprobe als Merkmal der zu messenden Facette verstanden werden. Beispiel: Die Selbstbeschreibung mit der Ausprägung von „gar nicht“ bis „sehr stark“ zu dem Zustand „dösig“ wird in Deutschland oberhalb der Main-Linie im Sinne eines Desaktivierungszustandes verstanden. Südlich der Main-Linie ist das Item z. T. „unverständlich“.
Pilotstudien erlauben Schätzungen zur Reliabilität und damit die Schätzung einer sinnvollen Itemzahl für jeden Subtest bzw. jede Merkmalsfacette. Inhaltlich inhomogene Facetten sollten durch mehr Items abgebildet werden, um eine hinreichende „gemeinsame“ Varianz zu erhalten.
Zentral für die Testentwicklung ist zudem, dass Items als Frage-Antwort-Einheiten auch in Bezug auf ihre sprachlich-grammatikalische Struktur, das Rating-Format und die Wortwahl als Stichprobe aus einem Pool möglicher ähnlicher Items gedacht werden. Items mit ähnlichem Inhalt, aber geändertem Antwortformat oder geänderter grammatikalischer Struktur gehören nicht zwingend in dieselbe Gruppe.
Ein wichtiges Beispiel betrifft die mit Negationen formulierten Items. Sprachliche Negationen stellen keine „einfache“ logische Umkehrung dar und sind daher nicht geeignet, Antworttendenzen wie die Tendenz zur Zustimmung abzufangen. Bei einfachen Aussagen wie „Ich mag Skifahren“ („gar nicht“ … „sehr stark“) und „Ich mag Skifahren nicht“ („gar nicht“ … „sehr stark“) wird die Problematik der Negation bereits deutlich. Der Satz „Ich mag Skifahren nicht“ mit der Antwort „gar nicht“ stellt keine angemessene Reformulierung zu „Ich mag Skifahren sehr“ dar. Die Diskussionen über Arbeitszufriedenheit und -unzufriedenheit als zwei relativ unabhängige Dimensionen (Herzberg, 1966) zeigen auf, dass Zufriedenheit und die sprachliche Negation Unzufriedenheit psychologisch kein bipolares Konstrukt darstellen. Interessanterweise zeigen Analysen von Fragebogen in linearen Strukturmodellen immer wieder, dass positiv und negativ formulierte Items dazu tendieren, eigene Faktoren zu bilden (Eid & Schmidt, 2014). Ein empirisches Beispiel dazu liefert die aktuelle Diskussion zur Frage „Engagement als Gegenpol von Burnout“ (Maslach & Leiter, 2008). Mit den methodischen Problemen bei der Messung von bipolaren Merkmalen haben sich z. B. Marsh (1996) und Dunbar, Ford, Hunt und Der (2000) auseinandergesetzt. Auch hier ergibt sich für die negativ formulierten Items ein eigener Faktor. Insbesondere Häufigkeitsskalen tendieren dazu, „scheinbare“ Bipolaritäten aufzulösen. Beanspruchung und Erholung können innerhalb eines Tages „gemeinsam“ variieren. Bestimmte Sportaktivitäten können sogar gleichzeitig (körperlich) hoch beanspruchend und psychisch-emotional extrem erholsam sein.
Als klassische Ansätze zur Präzisierung von Merkmalsbereichen haben sich neben der Operationalisierung, die auf theoretischen Modellen basiert, eine ExpertInnenbefragung mittels Interview oder die Strukturierung des Problemfeldes durch Interviewstudien etabliert.
Ein vorbildlich nach diesem Modell entwickeltes Fragebogenverfahren ist das FIMEST (Fragebogeninventar zur Messung der Angst vor Sterben und Tod) von Wittkowski (1996). Aufgrund des schwierigen und komplexen Gegenstandsbereichs war hier eine intensive Vorarbeit mit Tiefeninterviews sinnvoll (Wittkowski, 1994).
Wissenschaftliche Interviewstudien haben den ersten Schritt zur theoretischen Aufarbeitung des Merkmalsbereiches bereits vollzogen, wenn die Interviewthemenbereiche und der Interviewleitfaden festgelegt sind. Aus den Interviews lassen sich dann weitere Facetten und Ergänzungen oder Einschränkungen des Themenbereichs ableiten. Einen wesentlichen Vorteil der Interviewmethodik für die Fragebogenentwicklung stellt der aus den Interviews ableitbare Pool der „prägnanten Aussagen“ dar, der für die Formulierung von Items eine hilfreiche Ressource darstellt. Eine inhaltsanalytische Auswertung trägt zudem wesentlich zur Präzisierung des Merkmalsbereiches bei und bringt automatisch die Perspektive der Befragten in die Testentwicklung ein. Wittkowski hat sowohl die Interviewtechnik in der Arbeit „Das Interview in der Psychologie“ (1994) sehr gut dokumentiert als auch die auf Basis von Interviewdaten erfolgte Fragebogenentwicklung beispielhaft im Manual zum „Fragebogeninventar zur Messung der Angst vor Sterben und Tod“ (FIMEST; Wittkowski, 1996) dargestellt.
Insbesondere die Frage zum Einsatz von Interview und/oder Fragebogen ist in vielen Fällen nach den initialen Interviews deutlich leichter entscheidbar. Viele Problemfelder haben sehr weitgehende privat-persönliche Facetten, die in Interviews aufscheinen und nicht in Fragebogen gehören. Sie sollten dort ausgeklammert werden oder lediglich in ihren indirekten Äußerungsformen erfragt werden. Dies begründet sich in der anonymen Befragungssituation der Fragebogenbeantwortung.
Der oben skizzierte Erholungs-Belastungs-Fragebogen erfasst beispielsweise neben Beanspruchung auch den Erholungszustand. Erholung und Regeneration finden zu erheblichen Anteilen in nichtöffentlichen Bereichen des individuellen, zum Teil intimen Privatlebens statt. Diese Facetten von Erholung sind im Fragebogen nicht erfassbar. Stattdessen sind (ggf. in strukturierter Form) persönliche Interviews die geeignetere Methode zur Untersuchung der eher „privaten“ Facetten von Erholung. Andere Methoden sind für den persönlichen Bereich berufsethisch aus Sicht der Psychologie kaum vertretbar (dies gilt auch für anonyme Interviewformen wie Telefon- oder Internetinterviews).
Im Bereich der angewandten Forschung erlauben Interviews zudem eine Anpassung und Konkretisierung von theoretischen Konzepten an das jeweilige Arbeitsfeld. Zu diesem Zweck bietet sich an, im Anwendungsfeld mit Betroffenen, AusbilderInnen und Vorgesetzten gezielt Interviews durchzuführen. Dabei sind unstrukturierte Vorgehensweisen zu vermeiden, und es empfiehlt sich der Einsatz eines zweistufigen halbstrukturierten Interviews.
In der ersten Stufe werden gezielt Fragen zu den zu erfassenden Konzepten gestellt, die den Charakter offener Fragen mit wenigen Entweder-oder-Antworten haben. Wichtig ist dabei, den Bereich gezielt einzugrenzen. Diese Eingrenzung ist wie beim arbeitsanalytischen (Rekonstruktions-)Interview mit dem Critical-Incident-Ansatz (vgl. Flanagan, 1954) in einfacher Weise umsetzbar.
Die Critical-Incident-Technik erfragt von ExpertInnen, wie ein Ablauf unter optimalen Bedingungen aussieht und worin sich ungünstige, problematische oder falsche Abläufe davon abheben. Nach 4 bis 6 Interviews findet eine inhaltsanalytische Zwischenauswertung statt.
Eine Methode zur Analyse der Interviewdaten stellen an die Grounded Theory (Strauss & Corbin, 1996) oder an verwandte Ansätze (Mayring, 2009) angelehnte „Auswertungen“ dar, die jedoch in diesem Stadium noch ergänzt und präzisiert werden können.
Bei der Auswahl der ExpertInnen sollten die entscheidenden Zielgruppen mindestens durch eine qualifizierte/typische Person vertreten sein. Die Interviewfragen werden dann entsprechend der Perspektive (Leitung/Management/MitarbeiterInnen/ KundInnen/Administration/Qualitätsmanagement/Sicherheits- und Gesundheitsbeauftragte/LehrerInnen – Schulleitung/Administration – SchülerInnen – Eltern/BeraterInnen) formuliert. Die unterschiedlichen Perspektiven sind zur Eingrenzung des Merkmalsbereiches auch dann sinnvoll, wenn der Fragebogen nur für ausgewählte Personen (z. B. SchülerInnen) entwickelt werden soll. In einem frühen Stadium sollten die unterschiedlichen Merkmalsfacetten möglichst umfassend abgebildet werden. Dabei sind nicht nur Übereinstimmungen von Bedeutung, sondern auch unterschiedliche und widersprüchliche Sichtweisen. Arbeiten zum 360°-Feedback werden gerade deshalb vorgenommen, um die unterschiedlichen Sichtweisen zu erfassen. Die Aussagen von Vorgesetzten und MitarbeiterInnen zeigen in der Regel unterschiedliche Sichtweisen und damit verbunden auch unterschiedliche Validitäten.
In der zweiten Stufe werden dann mehr Personen in die Interviews einbezogen, wobei hier der Leitfaden für die Interviews insgesamt stärker strukturiert ist und durch Hauptfragen mit optionalen Unterfragen sicherstellt, dass die relevanten Bereiche für die Auswertung im Interview auch angesprochen werden. Als Beispiel sei auf den Test zur Erfassung von Mobbingverhalten am Arbeitsplatz verwiesen (TEMA; Kolodej, Essler & Kallus, 2010).
In der Praxis steht oft nur eine kurze Zeit für die Entwicklungsarbeit eines Fragebogens zur Verfügung. Um in kurzer Zeit die relevanten Merkmalsfacetten zu erfassen, ist der Einsatz von Gruppeninterviews oder Workshops die Methode der Wahl. Über die Workshop-Methodik lässt sich ein Prozedere ableiten, das von ExpertInnen erfolgreich zur zeitgerechten Entwicklung von kundInnenorientierten Fragebogen eingesetzt werden kann. Die Ergebnisse aus den Workshops und daraus abgeleitete Items und Subtests erlauben eine systematische Entwicklung von Fragebogen für die Anwendung in Industrie und Organisationen.
Der erste Schritt in einem solchen Vorgehen ist theorieorientiert und beantwortet die Frage, welche Kenntnisse zum zu messenden Merkmalsbereich bereits vorliegen. Damit wird es auch möglich, im Fragebogen Informationen für Optimierungsansätze, Unternehmensführung, Interventionen und Entwicklungsprozesse aus der Arbeits- und Organisationspsychologie einzubeziehen. Diese Aspekte gehen bei direkten Fragen nach einem umgangssprachlich definierten Konzept oftmals verloren. Workshop-Arbeiten sind eng am Common Sense und an der Oberfläche von Merkmalen orientiert. Tiefer greifende theoretische Aspekte aufzubereiten und einzubeziehen, obliegt den psychologisch geschulten Fachleuten als Vorbereitung für den Workshop (oder ggf. als Nachbereitung).
Innerhalb von MitarbeiterInnenbefragungen sind Ergebnisse aus Fragebogendaten oft nur sinnvoll umzusetzen, wenn die Konzepte auf unternehmensspezifische Aspekte bezogen werden und/oder allgemeine Fragenkomplexe durch unternehmensspezifische Facetten ergänzt werden. Besonders für die Formulierung von Items zu den unternehmensspezifischen Aspekten hat sich die Durchführung von moderierten Workshops bewährt. In diesen Workshops sammeln Führungskräfte gemeinsam mit betroffenen MitarbeiterInnen typische Verhaltensweisen oder Äußerungsformen für das Thema der Befragung. Diese werden über Moderationstechniken (Kärtchenabfragen, Mindmaps etc.) dokumentiert. Für die ModeratorInnen stellt die Eingrenzung der Merkmalsbereiche über die Critical-Incident-Technik von Flanagan (1954) auch hier die Methode der Wahl dar.
Die Workshop-Methode erfordert ein Vorgespräch mit den AuftraggeberInnen (Leitung, MitarbeiterInnenvertretung, Qualitätsmanagement) mit dem Ziel einer ersten Klärung des Problemfeldes sowie der relevanten Verhaltensbereiche (Führungskompetenz, Kooperation, Arbeitsunfälle, Unzufriedenheit, Fehlzeiten, Motivation, Mobbing, Verfügbarkeit bei Bereitschaftstagen, KundInnenbeschwerden über Verspätungen, Materialschwund etc.). Für den Erfolg des Workshops ist die Anwesenheit von RepräsentantInnen aller (!) relevanten Zielgruppen, EntscheidungsträgerInnen und Organisationseinheiten entscheidend. Wünschenswert ist die gleichzeitige Anwesenheit eines Mitglieds aus der Unternehmensleitung und eines Mitglieds der MitarbeiterInnenvertretung.
Im Workshop werden, gegliedert nach den Problemfeldern/Merkmalsbereichen, die relevanten Verhaltensweisen, Situationen und Manifestationen gesammelt und diskutiert. Gemäß der Critical-Incident-Technik werden immer wieder sowohl die Verhaltensweisen und Zustände bei ungünstigen oder kritischen Abläufen beleuchtet als auch im Kontrast dazu die Verhaltensweisen bei optimalen/wünschenswerten Abläufen.
Die Ergebnisse sind als Basis für die Formulierung von Items besonders ergiebig, wenn nicht nur „Extreme“ angesprochen werden, sondern vor allem auch der „Alltag“ und „kleine Anzeichen“. Extreme Verhaltensweisen dienen zur Klärung des Feldes, sind für die unmittelbare Umsetzung in Items aber nur selten brauchbar. Zudem sollte die Äußerungsform (Häufigkeit/Wahrscheinlichkeit/Intensität/Valenz etc.) für jedes Problemfeld diskutiert werden und geklärt werden, worin sich eine Verbesserung eindeutig zeigen würde.
Aus dem Pool der gesammelten Verhaltensweisen und Manifestationen werden anschließend per ExpertInnenurteil diejenigen ausgewählt, die sich aus der Sicht der Betroffenen gut beantworten lassen und die für das Projektziel sinnvolle Informationen liefern. Hierbei ist es in vielen Fällen besonders wichtig, den Aspekt der Veränderungsmessung einzubeziehen. Zudem sollen mehrere Facetten einen Merkmalsbereich abbilden. Insbesondere bei themen-, unternehmens- oder projektspezifischen Fragebogenentwicklungen ist abschließend ein (erneuter) Abgleich der Merkmalsbereiche mit theoretischen Modellen sinnvoll und notwendig. Für die konzeptuelle Analyse ist entscheidend, eine angemessene Festlegung im Detaillierungsniveau zu finden. Nur solche Aspekte, die der Selbst-/Fremdbeobachtung gut zugänglich sind, gehören in die Konzeptarbeit eines Fragebogens. Weitere Details sind relevant für komplexe Mehrebenenanalysen mit wissenschaftlichem Anspruch, die weit über die psychometrisch fundierte Befragung (z. B. bei Maßnahmenevaluationen) hinausgehen können.
Für die Zusammenstellung der Frage-Antwort-Einheiten zu einem Fragebogen liegen durch die Spezifizierung innerhalb des Workshops Informationen darüber vor, worin sich unterschiedliche Merkmalsausprägungen manifestieren. Dabei sind die unterschiedlichen Ebenen der erlebten psychischen oder körperlichen Reaktionen, des Verhaltens, der sozialen Interaktion, der Organisation ebenso wie Manifestationen in Prozessmerkmalen wesentliche Kategorien zur Systematisierung der Merkmalsfacetten.
Ergänzend zu den Workshops können Items auf Basis von Vorwissen der einbezogenen ExpertInnen, durch Arbeitsanalysen, Reanalysen empirischer Unternehmensdaten, Interviews mit externen ExpertInnen und Schlüsselpersonen formuliert werden. Im Anschluss an die Protokollierung des Workshops kann das Fragebogenentwicklungsteam die Konstruktion der Items und Subtests in Angriff nehmen. Vor der Itemformulierung ist zu klären, wie diese Verhaltensweisen, Befindlichkeiten, Prozesse und Manifestationen bei den Zielpersonen sprachlich repräsentiert sind. Repräsentative Merkmalsfacetten werden (immer aus Sicht der Befragten!) in Frage-Antwort-Komplexen formuliert und aufgelistet. Dabei sollte das Prinzip „So einfach und konkret wie möglich“ insbesondere bei den ersten Operationalisierungsschritten streng befolgt werden. Nur wer konkret fragt, kann auch konkrete Antworten erwarten!
Bei der ersten Operationalisierung der Items ist die Entscheidung für den Antwortmodus immer explizit zu fällen. Häufigkeiten von Merkmalen, Verhaltensweisen oder Symptomen sind abzugrenzen von Intensitäten und Bewertungen. Von extremer Bedeutung für gute Frage-Antwort-Komplexe ist deren eindeutige Skalierung!
Weitere Details zur Formulierung von Items finden sich im Kapitel über Prinzipien zur Formulierung von Items (Kapitel 3.3). Nach der Itemformulierung werden die Items zu den unterschiedlichen Facetten in Subtests zusammengestellt (s. Kapitel 4.1).
Бесплатный фрагмент закончился.