Die Sex & Tipps-Broschüren der BZgA

Methoden zur Broschüren-Evaluation

Um Broschüren oder andere Informationsmittel zu evaluieren, gibt es zwei grundlegende Teststrategien: Qualitativpsychologische Forschung mit kleinerer und quantitative Forschung mit größerer Fallzahl.

Qualitative Forschung wird vor allem diagnostisch eingesetzt. Dabei wird überprüft, wie verschiedene Aspekte, also beispielsweise Inhalt, Gestaltung, Tonalität, Schreibstil oder auch Wortwahl einer Broschüre, bei der oder dem Befragten ankommen. Dies geschieht in psychologischen Einzel- oder Gruppengesprächen, denen ein offener Gesprächsleitfaden zugrunde liegt. Dieser gibt den Interviewerinnen und Interviewern genügend Raum, auf Antworten der Befragten vertiefend und individuell einzugehen. Dabei ist es ideal, wenn zu den zu überprüfenden Aspekten Alternativen (z. B. unterschiedliche Designentwürfe oder Schreibstile) vorgelegt werden können, denn Befragungspersonen fällt es leichter, Stärken und Schwächen von Informationsmitteln bei einer Vorlage von Alternativen herauszuarbeiten.

Dieser Forschungsansatz führt zu konkreten und detaillierten Handlungsempfehlungen, wie eine Broschüre inhaltlich und gestalterisch sein sollte. Er kommt idealer weise zum Einsatz, wenn eine Broschüre noch nicht fertig ist. Dann kann sie noch vor ihrer Publikation optimal auf die Bedürfnisse der Zielgruppe abgestimmt werden, sollten die Testergebnisse Optimierungen notwendig erscheinen lassen. Außerdem können damit natürlich auch bereits bestehende Broschüren optimiert werden. Sollte erst in Zukunft die Konzeption von Broschüren anstehen, liefern bereits vorliegende Forschungserkenntnisse ebenfalls wertvolle Hinweise.

Für quantitative Befragungen mit hoher Fallzahl wird hingegen ein (teil-)strukturierter Fragebogen eingesetzt. Diese Art des Fragebogens lässt nicht zu, dass die/der Interviewende individuell auf die Antworten eingeht oder in vertiefender Form nachfragt.

Quantitative Befragungen dienen primär dazu, eine Broschüre als Ganze zu evaluieren. Zusätzlich können aber auch diagnostische Fragen in den Fragebogen integriert werden, um herauszufinden, wie einzelne Aspekte wie etwa die Gestaltung bewertet werden.

Bei der Evaluation der Sex & Tipps-Broschüren der BZgA, die das auf junge Zielgruppen spezialisierte Forschungsinstituticonkids & youth durchgeführt hat, sollte primär ein bereits existierendes, neu konzipiertes Broschürenset evaluiert werden. Daher bot sich eine quantitative Untersuchung an. Das Erkenntnisinteresse lag vor allem bei Fragen wie Akzeptanz und Relevanz der Broschüren sowie dem Thema Sexualaufklärung allgemein. Weitere Inhalte der Befragung waren die projektive Nutzung, der Zugang zu den Broschüren, Fragen zu Inhalt, Verständnis, Vollständig keit sowie zur Sensibilität im Wording (Stichwort »gender gerechte Sprache«).

Jugendliche als Zielgruppe

Die primäre Zielgruppe für die Broschüren sind Jugendliche. Ihre adäquate Ansprache und Befragung ist äußerst anspruchsvoll, besonders für Broschüren zum Thema Sexualaufklärung. Jugendliche machen in vielen Lebensbereichen eine rasante Entwicklung durch. Das gilt insbesondere auch in puncto Liebe, erste festere Partnerschaften und Sexualität. Nur wenige Jahre Altersunterschied können ganz unter schiedliche Welten in den Einstellungen und im Verhalten bedeuten. Während 14-Jährige vielleicht gerade voller Aufregung den ersten Zungenkuss erleben, befinden sich 17-Jährige möglicherweise schon in einer Partnerschaft. Und selbst bei Gleichaltrigen können Erwartungen und Erfahrungen individuell ganz unterschiedlich ausgeprägt sein.

Durch die Heterogenität junger Menschen in Bezug auf ihre Einstellungs- und Verhaltensmuster muss das Informationsmedium unterschiedlichen Anforderungen gerecht werden, etwa in Bezug auf den Inhalt, den Schreibstil oder die Gestaltung. Erschwerend kommt hinzu, dass die für die Entwicklung von Broschüren und Befragungsinstrumenten verantwortlichen Personen naturgemäß wesentlich älter sind als ihre junge Zielgruppe. Was in der eigenen Jugend gut und richtig war, kann heute falsch sein. Die medialen Inhalte waren andere und sie folgten visuell und sprachlich anderen Konzepten. Das prägt. Die Herausforderung bei der Entwicklung von Broschüren und Befragungsinstrumenten für junge Zielgruppen liegt also auch darin, den »richtigen Ton« zu treffen.

Methodische Herausforderungen

Die Evaluierung der Sex & Tipps-Broschüren geschah quantitativ mit einer Online-Befragung. Die Teilnehmen den wurden durch einen Online-Panel-Anbieter mithilfe von Screening-Fragen rekrutiert und beantworteten die Interviewfragen selbstständig schriftlich.

Dabei wurden die Screening-Fragen (Alter, Geschlecht etc.) bei den 14- bis 15-Jährigen an die Eltern gestellt, da bis zu einem Alter von 15 Jahren für Online-Befragungen die Erlaubnis der Eltern benötigt wird. Bei den 16- und 17-Jährigen beantworten die Jugendlichen selbst diese Fragen. Aufgrund des etwas »heiklen« Themas wurden die Eltern bzw. die älteren Jugendlichen vorab über den Befragungsgegenstand und die Auftraggeberin informiert.

Bei dem Fragebogen selbst muss bei Online-Panels darauf geachtet werden, dass sie von den Jugendlichen möglichst schnell ausgefüllt werden können: Sie sind Pragmatiker, und damit sind in der Theorie sinnvolle Instrumente wie Gamification (spielerische Befragungselemente) in der Praxis dann kontraproduktiv, wenn sie keinen zusätzlichen Erkenntnisgewinn bringen und die »spielerische« Beantwortung von
Fragen mehr Zeit kostet als die Beantwortung konventioneller Fragen.

Zu den Besonderheiten einer Online-Befragung, wie sie auch für die Überprüfung des Broschürensets zum Einsatz kam, gehört, dass die Befragungspersonen völlig selbstständig und ohne Beisein einer Interviewerin bzw. eines Interviewers die Fragen beantworten. Umso wichtiger war es deshalb, bei der Fragebogenerstellung ein besonderes Augenmerk auf eine präzise Formulierung der Fragen zu
achten, die Unklarheiten und Missverständnisse seitens der Befragungspersonen möglichst ausschließt. Der gleiche Anspruch galt natürlich für die Formulierung der Antwortvorgaben. Sie müssen trennscharf sein, d. h. klare Zuordnungen ermöglichen. Um zu schauen, inwieweit der Fragebogen diese Ansprüche erfüllte, wurden drei Pre-Test-Interviews mit Jugendlichen durchgeführt. Denn nur der »richtige« und nicht zu lange Fragebogen gewährleistet eine hohe Teilnahmebereitschaft und eine hohe Datenqualität.

Aufgrund des bestehenden Zeitlimits von einer halben Stunde wurde vor dem Start der Feldarbeit entschieden, dass jede Befragungsperson zwei der insgesamt zehn Broschüren ausführlich beurteilt. Die Pre-Test-Interviews haben gezeigt, dass bei drei oder mehr vorgelegten Broschüren die 30 Minuten deutlich überschritten werden.

Jede Broschüre wurde von mindestens 86 Jugendlichen bewertet. Um diese Fallzahl zu erreichen, wurden insgesamt 459 Jugendliche im Alter von 12 bis 17 Jahren (14- bis 15-Jährige: 235, 16- bis 17-Jährige: 224; Mädchen:225, Jungen: 234, divers: 0) für die Befragung rekrutiert. Die Feldzeit erstreckte sich vom 7. bis zum 27. Mai 2021.

Da sich die Befragten die Broschüren gründlich anschauen sollten, wurden Smartphones für die Befragung nicht erlaubt, sondern ausschließlich Notebook/PC oder Tablet. Die Broschüren, die als PDF vorlagen, wurden in Online-Folder/Blätterkataloge umgewandelt. Die Befragten sahen dabei zuerst das Cover und durch »Weiterblättern« die jeweils folgenden Doppelseiten, die zudem vergrößert werden konnten.

Akzeptanz der Sex & Tipps-Broschüren

Die evaluierten Sex & Tipps-Broschüren kommen alles in allem sehr gut an: Über alle zehn Broschüren hinweg vergeben 79 Prozent der Jugendlichen bei einer 5er-Skala einen Top-2-Wert (»gefällt gut/sehr gut«, siehe Abbildung 1). Die besten Beurteilungen erreichten mit über 80 Prozent Top-2-Werten die vier Broschüren »Gemeinsam Verhüten«, »Pille, Kondom & Co.«, »Mädchenfragen« und »Meine Rechte«. Die übrigen Broschüren scorten zwar schwächer, aber immer noch befriedigend. Selbst die schwächeren Broschüren lagen über der Top-2-Mittelwert Akzeptanz in unserer Werbemittel und Zeitschriften-Datenbank, die bei 65 Prozent liegt. 

Die hohen Gefallenswerte sind ein wichtiger Indikator, noch bedeutender sind allerdings die persönliche Relevanz und die projektive Nutzung. Auch hier können die Sex & Tipps überzeugen: Über alle zehn Broschüren hinweg finden im Schnitt 71 Prozent der Jugendlichen die Inhalte für sich persönlich wichtig (Abbildung 2). Die mit über 80 Prozent Top-2-Werten und über 50 Prozent Top-1-Werten höchste Relevanz erreichen die beiden Broschüren zum Thema Verhütung. Dagegen werden die Broschüren zum Thema Diversität/Homosexualität »nur« von etwas mehr als der Hälfte als persönlich wichtig erachtet.

Da die Broschüren gefallen und persönlich relevant sind, erreichen sie eine hohe Lesebereitschaft: Im Schnitt geben 75 Prozent der 12- bis 17-Jährigen an, sie lesen zu wollen (Abbildung 2). Interessant ist der Blick auf die beiden Broschüren zu Diversität/Homosexualität: Sie besitzen zwar nur eine relativ geringe persönliche Relevanz, würden aber von fast zwei Dritteln der Befragten gelesen werden. Es ist ein Thema, mit dem sich Jugendliche offenbar beschäftigen. Mit im Schnitt 66 Prozent fällt die Bereitschaft auch recht hoch aus, die Broschüre mitzunehmen, wenn sie ausgeteilt werden.

Die Abfrage wichtiger Eigenschaften der Broschüren mittels Statements unterstreicht, wie sehr die Broschüren der BZgA überzeugen (Abbildung 1): 88 Prozent sehen sie als glaubwürdig an, 87 Prozent als verständlich, 85 Prozent als informativ und für 75 Prozent verbessern sie das eigene Wissen. Und nur eine kleine Minderheit von 6 Prozent wird durch die Inhalte verängstigt. Dazu findet die Gestaltung der Broschüren im Schnitt über alle Ausgaben hinweg bei 72 Prozent Anklang.

Die projektive Zielgruppe (»In welchem Alter sind wohl Personen, die diese Broschüre richtig gut finden?«) liegt bei der Broschüre »Meine Rechte« und denen zum Thema Verhütung sowie Geschlechter/Diversität bei den 14- bis 19-Jährigen, für die übrigen bei den 10- bis 16-Jährigen.

Außer »Mädchenfragen« und »Jungenfragen« erscheinen alle Broschüren unisex. Einzig »Die erste Liebe« mit dem rosa Dreieck auf der Titelseite wirkt aus der Sicht mancher weiblicher Befragten eher als Broschüre für Mädchen. Zusätzlich erscheint der großen Mehrheit der Jugendlichen der Umfang der Broschüren »gerade richtig« und die unterschiedlichen Geschlechter bei der Wortwahl genügend berücksichtigt. Ebenfalls ein spannendes Ergebnis: Über 60 Prozent würden sie am liebsten als Print lesen (Abbildung 3).

Fazit der Evaluation

Die Broschüren sind damit in ihrer jetzigen Form gelungen. Die Evaluation hat gezeigt, dass sie keiner prinzipiellen Veränderungen bedürfen. Dennoch gibt es einige wenige Optimierungsansätze, die bei einer Neuauflage berücksichtigt werden könnten:

So könnten die Inhalte von »Wo die Liebe hinfällt« und »Geschlechterfragen« zu einer LBGQ+-Broschüre zusammengefasst werden.

Weitere mögliche Optimierungen betreffen die Farbcodes (es sollte darauf geachtet werden, dass die Farben nicht gelernten Farbcodes widersprechen, z. B. kein Rosa bei genderneutralen Inhalten) und den Schrifttyp der Titelbilder.

Schließlich sind die Ergebnisse eine Aufforderung dafür, das Broschürenset weiterhin als Printmedium anzubieten und im Schulunterricht zu verteilen. Die Internet-Präsenz allein genügt nicht. Aber natürlich sollen die Broschüren zusätzlich im Internet zu lesen und als PDF herunterzuladen sein.