5.2 Methodik

Aufgrund der engen Zusammenarbeit der Evaluation Working Group mit der ISO entstand eine relativ detaillierte Beschreibung des Evaluationsvorgangs. Die Evaluation soll in drei Schritten vorgenommen werden und kann sowohl für komplexe System als auch einzelne Komponenten durchgeführt werden.

• Definition der Qualitätsanforderungen:
  Da keine absoluten Maßstäbe herangezogen werden sollen, muß jeder Kunde selbst für sich entscheiden, welche Anforderungen er an das System stellt.
• Vorbereitung der Evaluation:
  Typischerweise beinhaltet die Vorbereitung drei Teile:
  • Auswahl von Qualitätsmaßstäben (Metriken), d.h. wie werden Eigenschaften quantitativ bewertet
  • Festlegen, wie sich die Bewertungsklassen auf den gesamten Bereich der Metrik verteilen
  • Methoden finden, wie Einzelergebnisse zusammenzufassen sind
• Durchführung der Evaluation

Dabei sollen die Systeme nach folgenden Kriterien begutachtet werden:

• Funktionalität (Functionality):
  Fähigkeit der Software, Methoden und Techniken zu gegebenen Anforderungen des Benutzers bereitzustellen; Fähigkeit der Software, korrekte bzw. genaue Ergebnisse zu liefern
• Zuverlässigkeit (Reliability):
  Ist das System fehlerfrei? Wie werden Störungen behandelt?
• Benutzbarkeit (Usability):
  Ist das System einfach/verständlich zu bedienen? Wie groß ist die Einarbeitungszeit bzw. Umgewöhnungszeit bei Systemwechsel?
• Effizienz (Efficiency):
  Ausnutzung von Ressourcen; Reaktionszeit des Systems
• Wartbarkeit (Maintainability):
  Welche Handlungen sind zur Pflege des Systems erforderlich? Welchen Support bietet der Hersteller?
• Portierbarkeit (Portability):
  Welche Möglichkeiten zur Zusammenarbeit mit anderen Systemen bieten sich? Welche Anforderungen an vorhandene Hard- bzw. Software werden gestellt?

Hauptaugenmerk liegt vor allem auf der Frage, ob das, was der Kunde braucht und wünscht, auch gewährleistet wird. EAGLES nimmt also Evaluierungen aus Sicht des Kunden vor und hat daher einen eher pragmatischen als wissenschaftlich-theoretischen Ansatz.

Es wurden Richtlinien erstellt, auf die verschiedenen Systemattribute aufgeteilt und Methoden definiert, um diese Richtlinien zu testen. Durch diese Operationalisierungen werden diesen Aspekten Zahlen aufgrund einer Metrik zugeordnet.

Man spricht von den "7 Schritten einer Evaluation":

1. Was genau und wieso wird evaluiert?
2. Was wird mit dem System gemacht und wer benutzt es?
3. Welche Features des Systems sind die wichtigsten und müssen evaluiert werden?
4. Davon ausgehend, detaillierte Anforderungen an die Komponenten stellen.
5. Metrik für die Komponenten finden
6. Design der Evaluation: Testmaterial festlegen
7. Durchführung

Arno Erpenbeck und Timo Steffens, 29. März 2000