Inhaltliche kurze Zusammenfassung:
Die Studie untersucht, wie stark die Leistung von Large Language Models davon abhängt, wie ein Prompt formuliert ist. Dafür werden 12.000 Anweisungen mit insgesamt 132.000 verschiedenen Prompt-Varianten analysiert. Die Autoren untersuchen dabei unter anderem Umformulierungen, zusätzliche Informationen, unterschiedliche Schreibstile, Mehrdeutigkeiten und Tippfehler.

-------

Die Ergebnisse zeigen, dass kleine sprachliche Änderungen die Leistung eines LLM deutlich verändern können. Prompts mit einer höheren durchschnittlichen Leistung sind gleichzeitig stabiler. Besonders hilfreich sind fachspezifische Begriffe und klare Handlungsanweisungen, da sie den Interpretationsspielraum des Modells einschränken. Ein automatisch optimierendes Prompt-System konnte dadurch die Leistungsstreuung bei Code-Generierung um 40,7 % reduzieren.