Testergebnisse können nur dann wirksam zur Unterstützung der Designentscheidungen beitragen, wenn sie mit konkreten Problemen in Zusammenhang stehen. Vor den Tests sollten die Hypothesen, die überprüft werden sollen, sowie die zu messenden Größen klar definiert werden.

Zuerst sollten designbedingte Probleme in Annahmen umgewandelt werden.

Vor dem Experiment sollte klar definiert werden, was mit den Daten abgeleitet werden soll – beispielsweise ob eine bestimmte Strukturänderung zu einer bestimmten Reaktion führt. Je klarer die Annahmen sind, desto einfacher ist es, die zu messenden Werte und die Vergleichsmethoden zu bestimmen. Dadurch kann vermieden werden, dass nach dem Experiment nach Daten gesucht wird, die die ursprünglichen Schlussfolgerungen unterstützen.

Ursprüngliche Daten sollten von bearbeiteten Daten getrennt werden.

Verarbeitungsverfahren wie Selektion, Umrechnung und Abschwächung können die Darstellung der Daten verändern. In dem Bericht sollten die ursprünglichen Aufzeichnungen von den Verarbeitungsergebnissen getrennt werden und die Methoden erklärt werden. Diese Trennung ermöglicht es anderen Personen, die Schlussfolgerungen zu überprüfen und auch, die bereits vorhandenen Daten nach einer Änderung der Analysemethoden wieder zu verwenden.

Bei der Zusammenfassung der Ergebnisse sollten die Testbedingungen und die Aufzeichnungen der Ausnahmen beibehalten werden. Direkte Messwerte sollten von berechneten Indikatoren getrennt werden. Vor dem Vergleich von Daten aus verschiedenen Chargen sollten die Testbedingungen überprüft werden.

Sind die Unterschiede erklärbar?

Unterschiede zwischen den beiden Gruppen können auf Designänderungen oder auf Schwankungen in den Bedingungen und Messungen zurückzuführen sein. Bei der Vergleichung sollten zunächst die gemeinsamen Bedingungen überprüft werden, um festzustellen, welche Faktoren kontrolliert werden. Bei Bedarf kann die Unsicherheit durch wiederholte Tests oder zusätzliche Überprüfungen verringert werden – anstatt nur den Durchschnittswert zu vergleichen.

Verbesserungen sollten in der nächsten Runde überprüft werden.

Änderungen am Design sollten angegeben werden, welche Ergebnisse betroffen sind und welche Veränderungen erwartet werden. In der nächsten Runde soll überprüft werden, ob die Erwartungen erfüllt wurden und ob neue Probleme entstanden sind. So können die Daten eine kontinuierliche Iteration unterstützen, anstatt nur in einem einmaligen Testbericht zu enden.

Prozessbeispiel: Erklärung der Effekte der Modifikationen unter Berücksichtigung der Kontrollbedingungen

Es wird angenommen, dass man zwei verschiedene Konstruktionslösungen vergleichen möchte. Die Planung des Experiments sollte alle anderen wichtigen Bedingungen so einheitlich wie möglich halten und diejenigen Faktoren festhalten, die nicht einheitlich sind. Nachdem die Unterschiede ermittelt wurden, sollte zunächst überprüft werden, ob diese mit den Designänderungen erklärbar sind. Anschließend kann entschieden werden, ob weitere Tests notwendig sind. In dem Bericht sollten sowohl Daten vorliegen, die die ursprüngliche Hypothese unterstützen, als auch solche, die sie nicht unterstützen. Dies hilft der Gruppe, die nächsten Schritte objektiver zu bestimmen.

Häufige Fragen: Sind unerwartete Ergebnisse ein Fehlschlag?

Solange die Bedingungen und Aufzeichnungen zuverlässig sind, können Abweichungen vom Erwartungen auch designbezogene Informationen liefern. Wichtig ist es, die Stellen im Modell oder in den Annahmen zu identifizieren, die angepasst werden müssen – anstatt nur die besten Ergebnisse zu behalten.

Punkte, die bei der Umsetzung überprüft werden können

• Die Annahmen sind klar definiert.
• Die Datenverarbeitung ist transparent.
• Die Bedingungen sind vergleichbar.
• Die Verbesserungen wurden überprüft.

Verbesserungsvorschläge sollten auf konkrete Erkenntnisse zurückgeführt werden können und durch anschließende Überprüfungen ihre Wirksamkeit bestätigt werden. Dadurch entsteht ein erklärbares Design-Iterationsprozess.