Ihr innerer Jäger und Sammler steht der Problemlösung im Weg

Die Statistik hat ein Akzeptanzproblem. Und der Grund dafür sind ausgerechnet Wissenschaftler. Trotz aller Erfolge, die die statistische Versuchsplanung (DOE) in der Industrie bei der Problemlösung erzielt hat, verzichten viele Wissenschaftler und Ingenieure weiterhin darauf und verbringen ihre Zeit stattdessen mit ineffizienten und wenig wirksamen Methoden. Das ist unglaublich frustrierend. Doch Innovationen wie automatisierte Experimentierung und Bayessche Optimierung könnten die Wende bringen.

Der Grund, warum viele Wissenschaftler DOE nicht nutzen, liegt zum Teil an fehlender Vertrautheit, vor allem aber an einer Denkweise, die häufig ihren wissenschaftlichen Instinkten widerspricht. Die wirksamsten Neuerungen in DOE stammen daher von denjenigen, die diese Spannung verstanden und einen praktikablen Ausgleich gefunden haben. Ein Rückblick auf diese Errungenschaften hilft uns zu erkennen, woher die nächsten Innovationen kommen werden.

Über den Tellerrand hinausblicken

Einer der bedeutendsten Köpfe des 20. Jahrhunderts im Bereich der datengestützten Problemlösung war George Box, und er war kein Freund von Theorie um ihrer selbst willen. Ihm war ein allgemein nützliches Werkzeug wichtiger als eine lokal optimale Lösung; er verglich diesen Ansatz mit der menschlichen Hand, die die unterschiedlichsten Aufgaben bewältigen kann.

Diese Sicht prägte Box' eigener Werdegang als Experimentierender. Er begann seine Karriere als Chemiker und stieß während seiner Tätigkeit an der Chemical Defence Experimental Station in Porton Down im Zweiten Weltkrieg auf die statistischen Prinzipien der Versuchsplanung. In den 1950er Jahren entwickelte er bei ICI Dyestuffs die Wirkungsflächenmethodik (RSM), die später in der Prozessindustrie allgemein zur Optimierung eingesetzt wurde. Sein praxisnaher Ansatz war erfolgreich, weil er echten Chemikern bei echten Problemen half: „Ich musste die Details der Prozesse kennen […] kletterte jeden Tag Leitern hinauf und hinunter, sprach und diskutierte mit technischen Mitarbeitern und Produktionskräften – und brachte ihnen ein wenig statistische Planung und Analyse bei“, erklärte Box.

In den 1990er Jahren wurden statistische Methoden immer ausgefeilter. Algorithmen für optimale Versuchsplanung – die auch heute noch in moderner DOE-Software eingesetzt werden – wurden entwickelt, um Experimentierenden die Möglichkeit zu geben, maßgeschneiderte Versuchspläne zu erstellen, statt ihre Fragestellung in ein starres „Lehrbuchdesign“ pressen zu müssen.

Obwohl diese Designs nachweislich nützlich waren und (zumindest anfangs) reale Bedürfnisse der Industrie erfüllten, fanden sie keine breite Anwendung. Ganz anders verhielt es sich mit den sogenannten „Definitive Screening Designs“ (DSDs), die Forschende im Rahmen der Arbeit an optimalen Designalgorithmen entdeckt hatten – und die sich als deutlich erfolgreicher erwiesen.

Der Grund dafür: optimale Designs adressierten nicht das zentrale Problem, das Box bereits bei ICI erkannt hatte. Viele Experimentierende fühlen sich mit statistisch geplanten Experimenten unwohl. Optimale Designs verstärken dieses Unbehagen häufig noch – durch komplexe Fachsprache (D-Optimalität zielt darauf ab, die Determinante der Informationsmatrix zu maximieren!) und eine Vielzahl von Auswahlmöglichkeiten, die für die meisten Wissenschaftler und Ingenieure abschreckend wirken.

DSDs bieten eine allgemeine, sofort anwendbare Lösung, die Wissenschaftlern und Ingenieuren Einfachheit und direkten Nutzen liefert. Den Mehrwert solcher Designs habe ich selbst erlebt, als ich einen Membranfiltrationsprozess verbessern sollte. Bei fünf Variablen und begrenzter Zeit in der Pilotanlage führten die bisherigen Design-Ansätze zu keinem zufriedenstellenden Ergebnis. Mit einem DSD konnten wir die wesentlichen Zusammenhänge in nur 15 Durchläufen verstehen und die Produktivität verdoppeln!

Wissenschaftliche Jäger und Sammler

Die Verhaltensmuster, die die Einführung von DOE erschweren, sind tief verwurzelt. In seinem Blog „Apes in Lab Coats” beschreibt Dennis Lendrem eine Studie mit 69 Wissenschaftlern, die kürzlich an einer DOE-Sommerschule teilgenommen haben. Die Teilnehmenden erhielten eine Simulation einer Polymerase-Kettenreaktion und sollten deren Ausbeute maximieren, indem sie 12 Variablen gezielt veränderten. Wie zu erwarten, versuchten viele zunächst, das Problem zu vereinfachen, indem sie einige Variablen fixierten, um die Komplexität zu reduzieren. Faszinierend war jedoch die anschließend beobachtete unsystematische Erkundung des Möglichkeitsraums: die Wissenschaftler konzentrierten sich überwiegend auf Bereiche mit hoher Ausbeute und unternahmen – sobald diese sank – zunehmend längere „Ausflüge” in andere Bereiche. Lendrem erkennt darin eine deutliche Parallele zu den Futtersuchstrategien von Primaten und anderen Tieren, die sich entwickelt haben, um unregelmäßig verteilte Ressourcen möglichst effizient zu nutzen.

Es besteht eindeutig eine erhebliche Diskrepanz zwischen dieser ineffektiven, jedoch instinktiven Herangehensweise an die Nahrungssuche und der effizienteren, jedoch weniger intuitiven Strategie des DOE. Die Bayes'sche Optimierung (BO) könnte möglicherweise der Kompromiss sein, der dazu beiträgt, diese Kluft zu überbrücken. Wie andere DOE-Methoden ist auch diese eine datengesteuerte Strategie zur Untersuchung mehrdimensionaler Systeme. Der entscheidende Vorteil besteht jedoch im schnellen Feedback: nach jedem Experiment wird das Modell aktualisiert, und der Algorithmus schlägt gezielt vor, welcher nächste Schritt dem Ziel am effektivsten näherkommt.

Die große Chance von BO liegt daher in ihrer Rolle als datengestützter „Empfehlungsgeber“, der Wissenschaftler und Ingenieure bei manuell durchgeführten Experimenten unterstützt. Diese Form der Zusammenarbeit ermöglicht weiterhin eine intuitive wissenschaftliche Erkundung – jedoch mit statistischer Führung, die eine effiziente Navigation durch multifaktorielle Systeme sicherstellt.

Die Zukunft von DOE

Es zeichnet sich bereits ein Szenario ab, in dem viele der heute etablierten DOE-Methoden nicht mehr sinnvoll sein werden. Wenn Automatisierung die parallele Durchführung von Dutzenden oder sogar Hunderten von Versuchen ermöglicht, verlieren Ansätze, die auf den Informationsgewinn aus wenigen Läufen optimiert sind, an Relevanz. Die optimalen Strategien, um das Potenzial solcher umfangreichen, hochdimensionalen Experimentierräume auszuschöpfen, müssen erst noch entwickelt werden. Sie werden mit hoher Wahrscheinlichkeit aus einer engen Zusammenarbeit zwischen den Experimentierenden und den Methodenforschenden hervorgehen, die diese Ansätze konzipieren. Ideal wäre eine neue Generation von Generalisten, die sich in beiden Bereichen sicher bewegen.

Die Geschichte von DOE zeigt deutlich: wir sollten dem Beispiel von Box folgen und den dringendsten Bedürfnissen der Industrie aufmerksam zuhören, um Innovationen hervorzubringen, die wirklich Wirkung zeigen.

Dennis Lendrem sprach kürzlich darüber, wie wir unsere wissenschaftlichen Forschungsinstinkte zügeln und Werkzeuge für eine intelligentere Versuchsplanung einsetzen können. Sehen Sie sich das On-Demand-Webinar an, um mehr zu erfahren.