Inhaltliche kurze Zusammenfassung:
Die Studie untersucht, wie empfindlich Large Language Models (LLMs) auf unterschiedliche Formulierungen von Prompts reagieren. Dafür wird mit POSIX ein Maß entwickelt, mit dem die Prompt-Sensitivität von Sprachmodellen bewertet werden kann.

-----------------------

Ergebnisse:
Die Ergebnisse zeigen, dass LLMs teilweise deutlich auf kleine Änderungen der Prompt-Formulierung reagieren. Größere Modelle sind nicht automatisch robuster. Die Verwendung von Few-Shot-Beispielen kann die Prompt-Sensitivität hingegen reduzieren. Die Studie verdeutlicht damit die Bedeutung von robusten und stabilen Prompts für die Nutzung von LLMs.