Alle Pre-Conference Workshops finden am 21. September ab 9:00 Uhr statt (ganztägige Workshops). Die Workshops werden ab einer Mindestteilnehmendenzahl von 10 Personen durchgeführt. Die Höchstzahl der Teilnehmenden pro Workshop beträgt 20, sofern nicht anders angegeben.

All pre-conference workshops will take place on September 21, starting 9am (full-day workshops). Pre-conference workshops will be held with a minimum of 10 participants. The maximum number of participants per workshop is 20 if not otherwise specified.

Introduction to Processing Digital Footprints of Behavior

Instructor(s): Larissa Sust (LMU München)

Over the past decades, personality research has been dominated by questionnaire-based assessments, leaving the study of actual “in situ” behavior largely unexplored. While field research on behavior was once practically infeasible, the rise of digital platforms and devices – such as social media, streaming services, smartphones, and fitness trackers – has changed this. Today, people generate behavioral data continuously, offering researchers unprecedented opportunities to study everyday life in real-time. However, this wealth of digital footprints also introduces new methodological challenges.
In this workshop, I will tackle one key challenge: transforming unstructured, high-resolution digital data into meaningful behavioral variables for modeling psychological constructs. The first part of the workshop will provide a non-technical, conceptual introduction to processing digital data. Drawing on my own experience, I will demonstrate how to derive variables from various types of digital data and discuss how to navigate the researcher’s degrees of freedom in this process (e.g., choosing aggregation methods and time frames). Additionally, I will show how external data sources, such as song-level audio features, can be used to enrich raw digital data (e.g., music-listening logs). In the second part, participants will work hands-on with a smartphone-sensing dataset to practice variable extraction from digital data. Under supervision, participants will use the statistical software R to extract their own variables, with a focus on scaling up the process for large samples.
By the end of the workshop, participants will have the foundational tools to initiate their own projects using digital behavioral data for personality research.

Requirements: Basic knowledge of R is required, and participants should bring their own laptop.

Established and Innovative Methods to Evaluate Model Fit in Structural Equation Modeling

Instructor(s): Melanie V. Partsch & David Goretzko (Utrecht University)

Individual difference researchers frequently use Structural Equation Modeling (SEM) to specify latent measurement models of individual difference constructs and to test their theories. Thereby, the researchers evaluate how well their data fits the specified model. While being a crucial step in SEM, model fit evaluation is non-trivial, and researchers often apply simplified error-prone methods (e.g., fixed cutoff values for model fit indices). Recently, more sophisticated methods have been introduced, such as dynamic cutoffs for fit indices (McNeish & Wolf, 2023) and a machine learning (ML) model predictive of model (mis-)fit (Partsch & Goretzko, 2024).
In this workshop, we start with a theoretical input on model fit evaluation in SEM, discussing global and local model misfit and how it is reflected in the χ2-difference test, various goodness-of-fit indices (e.g., CFI, RMSEA, and SRMR), and modification indices. Based on this, we recap established methods of model fit evaluation in SEM, that is, the χ2-difference test and fixed cutoffs for goodness-of-fit indices (e.g., Hu & Bentler, 1999), and illustrate their application using the R package lavaan (Rosseel et al. 2024). We then give an overview of the methodological literature showing the shortcomings of these methods. Thereby, we raise awareness of how dependent goodness-of-fit indices are on various model and data conditions (e.g., model size, loading size, and sample size) and why therefore the application of predetermined fixed cutoff values is prone to error (e.g., Goretzko et al., 2024).
In the second part of the workshop, we introduce methodological innovations in SEM fit evaluation that advancements in computer hardware have enabled. First, we introduce the dynamic cutoffs for fit indices by McNeish and Wolf (2023) and illustrate how they can be applied using the R package dynamic (Wolf & McNeish, 2022). Second, we introduce the ML-based approach to model fit evaluation by Partsch and Goretzko (2024) and showcase two pre-trained ML models to detect and classify model misspecifications (i.e., neglected factors, neglected cross-loadings, neglected factor correlations, and neglected residual correlations).
In the third part of the workshop, participants will apply all introduced and illustrated methods themselves including the ML models. For this purpose, we provide public-domain sample data, and participants can also use their own data. Together, we discuss how to interpret the (possibly inconsistent) results regarding model fit.

Requirements: Laptop with latest versions of R (R Core Team, 2024), RStudio (Posit team, 2024) and the R packages tidyverse (Wickham, 2023), lavaan (Rosseel et al. 2024), dynamic (Wolf & McNeish, 2022), and mlr3verse (Lang et al., 2024) installed. Participants should have worked with R before. Prior knowledge of SEM is helpful.

Introduction to Machine Learning in R

Instructor(s): Timo Koch, Jan Digutsch & Maximilan Bergmann (University of St. Gallen)

Machine learning offers powerful tools for predicting outcomes, making it increasingly popular in psychological science. In this workshop, we provide an accessible introduction to key machine learning methods, with a focus on practical exercises using real-world smartphone sensing data. Participants will learn how to apply machine learning techniques in their own research and explore interpretable machine learning methods to understand and visualize predictor importance and effects. By the end, participants will be equipped to responsibly integrate machine learning into their research workflow.

Requirements: Laptop with R and RStudio installed, basic knowledge of R programming and statistical methods

Introduction to Large Language Modeling

Instructor(s): Björn Hommel (Universität Leipzig)

Recent progress in the field of natural language processing (NLP) has had a transformative impact on research practice and methodology in the behavioral and social sciences. Most prominently, the transformer model architecture proposed by Vaswani et al. (2017) has led to the rise of large language models (LLMs) and drastically advanced both natural language generation and understanding. While numerous studies employ methods that rely on accessible but rather limited means of interacting with modern LLMs (e.g., prompt engineering), this workshop offers a conceptual and practical deep dive into the technical foundations of transformer models. The workshop will cover a) conceptual and historical foundations (e.g., distributional semantics), b) the anatomy of the transformer model architecture (e.g., the attention mechanism), c) model training and inference, d) types of transformer models and their individual use cases, e) applications of transformer models in behavioral science (e.g., decoder models for automatic generation of personality items, encoder models for estimating social desirability at the item level, predicting survey response patterns with sentence transformers, and extracting trait information from natural language), and f) working with the Hugging Face ecosystem. The workshop combines theoretical foundations with hands-on coding examples, allowing participants to bridge conceptual understanding with practical implementation. The goal of this workshop is to empower researchers at all career stages to use state-of-the-art NLP techniques in their own research and help them make informed methodological decisions when employing LLMs.

Requirements: Participants are encouraged to bring laptops with Python 3.10 (or higher) installations or root access to follow along with practical examples, though this is not required for workshop attendance.

Datenqualität digitaler Verhaltensdaten analysieren: Einführung in die KODAQS-Toolbox am Beispiel von Social Media- und Sensordaten

Workshopleiter*innen: Fiona Draxler (Universität Mannheim), Vanessa Lux (GESIS), Yannik Peters (GESIS), Beatrice Rammstedt (GESIS)

Immer öfter werden neue Datentypen, wie Textdaten aus Social Media Posts oder mit Smartphone-Apps gesammelte Sensordaten, für innovative Forschungsfragen auch in der Persönlichkeitspsychologie und der psychologischen Diagnostik verwendet. Diese digitalen Verhaltensdaten sind reichhaltige Quellen und bieten neue Perspektiven, sind aber oft auch sehr heterogen in ihrer Datenstruktur und benötigen daher eine methodisch differenzierte Herangehensweise. Datenqualitätsanalysen der eigenen Forschungsdaten sind dabei ein wichtiges Mittel, um Studienergebnisse für sich und andere Forschende nachvollziehbar und bewertbar zu machen. Herkömmliche Datenqualitätskriterien sind allerdings nur bedingt auf die neuen digitalen Verhaltensdaten übertragbar. Konkret geht es hier nicht nur um das Erfassen der technischen Messqualität, sondern auch des Einflusses von Verhaltensmustern auf die Datenproduktion sowie der Validität und Reliabilität dieser neuen Datentypen in Anbetracht der konkreten Forschungsfragen. Entsprechend wichtig ist geeignetes methodisches Rüstzeug, um die Datenqualität dieser neuen Datentypen einzuschätzen und Datenqualitätsanalysen eigenständig und effizient durchzuführen. Im Sinne von Open Science dient die systematische Dokumentation solcher Analysen zudem der besseren Vergleichbarkeit von Studienergebnissen und trägt somit langfristig zur Überwindung der Replikationskrise bei.
Das am GESIS verortete Kompetenzzentrum für Datenqualität in den Sozialwissenschaften (KODAQS) entwickelt derzeit eine Open Source-basierte Toolbox, die eine Vielzahl von datentypspezifischen und -übergreifenden frei zugänglichen Tools für Datenqualitätsanalysen zur Verfügung stellt. Illustriert an Beispieldatensätzen, zeigen die Tools, welche Vorgehensweisen, Workflows und Indikatoren für die Erfassung der Datenqualität bestimmter Datentypen sinnvoll sind. In begleitenden Tutorials wird zudem Hilfestellung gegeben, wie diese auf die eigenen Daten angewendet und im Forschungsprozess genutzt werden können.
Der Workshop richtet sich an Forschende, die mit Social Media-Daten und/oder Sensordaten arbeiten (wollen) und die Datenqualität ihrer Daten analysieren möchten. Im Workshop wird zunächst in das Thema Datenqualität allgemein und in Datenqualitätskriterien für digitale Verhaltensdaten, insbes. Social Media-Daten und Sensordaten, eingeführt und es wird die KODAQS-Toolbox vorgestellt. In zwei anschließenden Übungssessions führen die Teilnehmenden dann unter Anleitung eigenständig Datenqualitätsanalysen mit Hilfe der Toolbox an je einem Beispieldatensatz zu Social Media- und zu Sensordaten durch. Hierbei wird auf die Besonderheiten der Datentypen eingegangen und es werden Themen wie der Vergleich verschiedener Preprocessing-Strategien und Self-Assessment-Verfahren zur Dokumentation von Datenqualität behandelt.

Voraussetzungen: Teilnehmende benötigen einen Laptop für die praktischen Übungen.

Ambulatory Assessment am Beispiel Herzratenvariabilität – Grundlagen, Methoden und praktische Anwendung

Workshopleiter*innen: Regina Schmid (Katholische Universität Eichstätt-Ingolstadt)

Im Rahmen des interaktiven Workshops steht eine Einführung in die Methode des psychophysiologischen “Ambulatory Assessments“ am Beispiel Herzratenvariabilität (HRV) im Vordergrund. Ziel des ca. siebenstündigen Workshops ist es, die Teilnehmenden mit den grundlegenden Konzepten, der Messmethodik und Datenanalyseverfahren (Multilevel Modeling) vertraut zu machen, um die Nutzung von (HRV-basierten) Ambulatory Assessments für Fragestellungen im Feld der Differentiellen Psychologie, Persönlichkeitspsychologie und Psychologischer Diagnostik zu befördern.
Ein Fokus liegt auf der praktischen Anwendung von Ambulatory Assessment-Studien – von der Konzeption, über die Umsetzung des Designs bis hin zur Aufbereitung, Auswertung und Interpretation der psychophysiologischen, ambulanten Felddaten. Die Teilnehmenden erhalten einen Überblick über die Möglichkeiten und technischen Anforderungen der Soft- und Hardware und bekommen Best Practices und häufig auftretende Fallstricke vermittelt.
Durch die Entwicklung und Diskussion eigener konkreter Studienideen ermöglicht der Workshop den Teilnehmenden, Ambulatory Assessment (mit HRV) kompetent in ihre eigene Forschung zu integrieren. Der Workshop adressiert sowohl Neueinsteiger in das Thema als auch Fortgeschrittene, die ihre Kenntnisse vertiefen möchten.

Response Surface Analyse für intensive Längsschnittdaten

Workshopleiter*innen: Sarah Humberg (Universität Münster)

Die Methode der Response Surface Analyse (RSA) wird in der psychologischen Forschung u. A. zur Untersuchung von Kongruenzhypothesen verwendet – Hypothesen, die postulieren, dass der Grad der Ähnlichkeit zwischen zwei Variablen mit der Ausprägung in einem interessierenden Kriterium zusammenhängt. Sind bspw. romantische Paare zufriedener mit ihrer Beziehung, je mehr sich die Partner:innen in ihrer Persönlichkeit ähneln? Mit der zunehmenden Verfügbarkeit intensiver Längsschnittdaten (z.B. erhoben in EMA-Studien) liegt das Interesse dabei immer stärker auf Fragestellungen, die zeitlich fluktuierende Konstrukte betreffen. Dazu gehören z.B. Kongruenzhypothesen, die sich auf within-person Effekte (z.B., „sind Personen zufriedener an Tagen, an denen sie ein ähnlich starkes Bedürfnis nach Nähe haben wie ihr:e Partner:in?“), oder auf between-person Effekte von within-person-Assoziationen beziehen (z.B., „sind diejenigen romantischen Paare zufriedener, deren Partner:innen ähnlich stark mit positivem Affekt auf gesellige Situationen reagieren?“).
Der erste Teil des vorgeschlagenen Workshops wird die Teilnehmenden zunächst mit den Grundlagen der RSA vertraut machen. In einem zweiten Teil werden Varianten der RSA vermittelt werden, die durch Kombination der RSA mit Multilevel-Modellen (within-person Kongruenzeffekte) bzw. Multilevel-Strukturgleichungs-Modellen (Kongruenzeffekte von within-person-Assoziationen) die Untersuchung von Kongruenzhypothesen im Falle intensiver Längsschnittdaten erlauben. Neben der Vermittlung der Modelle und ihrer konzeptuellen Interpretation werden dabei mögliche Fallstricke bei der praktischen Umsetzung, sowie die Implementierung in Statistiksoftware besprochen. Neben interaktiven Input-Phasen werden praktische Übungen mit Anwendungsbeispielen aus verschiedenen psychologischen Disziplinen durchgeführt.

Voraussetzungen:

  • Grundkenntnisse zur Regression; vorteilhaft aber nicht zwingend: Grundkenntnisse zur RSA
  • Grundkenntnisse zur Multilevel-Modellierung (Mixed Effects Models)
  • Grundkenntnisse in R; vorteilhaft aber nicht zwingend: Grundkenntnisse in Mplus

Literatur-Beispiele zu den vermittelten Methoden:

  • Grundlagen der RSA: Humberg, S., Nestler, S., & Back, M. D. (2019). Response surface analysis in personality and social psychology: Checklist and clarifications for the case of congruence hypotheses. Social Psychological and Personality Science, 10(3), 409–419. https://doi.org/10.1177/1948550618757600
  • Multilevel-RSA (within-person Kongruenzeffekte): Nestler, S., Humberg, S., & Schönbrodt, F. D. (2019). Response surface analysis with multilevel data: Illustration for the case of congruence hypotheses. Psychological Methods, 24(3), 291–308. https://doi.org/10.1037/met0000199
  • WPA-RSA (Kongruenzeffekte von within-person-Assoziationen): Humberg, S., Kuper, N., Rentzsch, K., Gerlach, T. M., Back, M. D., & Nestler, S. (2024). Investigating the effects of congruence between within-person associations: A comparison of two extensions of response surface analysis. Psychological Methods. Advance online publication. https://doi.org/10.1037/met0000666