Umfassende Testautomatisierungs- und Regressionstestlösung für Siemens PLM Software

Kontext & Herausforderung

Siemens PLM Software ist ein weltweit führender Anbieter von Product Lifecycle Management (PLM)-Software und -Services mit 69.500 Kunden weltweit.

Ihre Top-100-Kunden nutzen diese Technologie im Schnitt seit 18 Jahren – lange vor anderen Softwareunternehmen. Alle sechs Monate werden Major Releases veröffentlicht, Patches verteilt, auch in kundenspezifischen Varianten. Darüber hinaus werden Produktaktualisierungen, basierend auf unterschiedlichen Plattformen der Kunden, für die unterschiedlichsten Betriebssysteme und Browser erstellt. Die Gesamtzahl der Testfälle für ein derart komplexes Produkt geht dabei in die Zehntausende.

Während Änderungen wie Bugfixes und neue Funktionen in jedem Release erfolgreich eingeführt werden, ist es nahezu unmöglich, Regressionstests aller Testfälle in der Zeit vor einem Release-Termin durchzuführen. Dies führte zu Qualitätsproblemen bei Endanwendern und/oder Verzögerungen bei der Auslieferung. Im Allgemeinen basierte der Testprozess auf selektiven Tests durch Fachexperten. Mit der Größe und Komplexität des Produkts reichte die Anzahl und Verfügbarkeit der Fachexperten jedoch nicht aus.

Ziel war es daher, mit Automatisierungslösungen die Herausforderungen bei den Regressionstests anzugehen. Eine Automatisierung war zuvor mit internen Ressourcen gestartet worden, die das Produkt und das Automatisierungsverfahren kannten. Ein Pilotprogramm ergab Hunderte erfolgreicher Testfälle.

Die eigentliche Herausforderung bestand jedoch darin, die Automatisierung der Regression auf Zehntausende von Testfällen zu skalieren. Siemens entschied sich, seine Aufgabenstellung mit dem Testspezialisten Expleo zu besprechen.

Lösung & Ergebnisse

Expleo stellt als Lösung das Automatisierungs-Framework über die eigene Test Automation FaQtory® bereit, die automatisiertes Testen in großem Umfang ermöglicht.

Skalierbarkeit wie am Fließband

Nach der Problemanalyse kam Expleo zu dem Schluss, dass die Skalierbarkeit durch die Verwendung des „Fließbandmodells“ aus der Fertigung erreicht werden kann. Alle Stationen haben dabei ihre Schnittstellen zu anderen Stationen klar definiert, wodurch die Gesamteffizienz des Fließbands unterstützt wird.

Die Automatisierungsarbeiten wurden in drei „Stationen“ aufgeteilt:

  • Fachexperten – kennen das Produkt, sind aber keine Automatisierungsexperten
  • Framework-Designer – Automatisierungsexperten, die das Produkt in begrenztem Umfang kennen
  • Automatisierungsteam – Automatisierungsexperten, die das Produkt nicht kennen müssen

Die Skalierbarkeit wurde durch die Erweiterung des Automatisierungsteams erreicht – für Expleo als Qualitätssicherungsexperten war dies problemlos möglich – während gleichzeitig die relativ kleinen Teamgrößen der Fachexperten und der Framework-Designer beibehalten wurden.

Auch Siemens PLM ist aktiv am Testprozess beteiligt, da die Fachexperten von Siemens PLM stammen und das Framework- Designteam aus Mitarbeitern von Siemens PLM und Expleo zusammengesetzt ist.

Output-basierte Preisgestaltung

Eines der wichtigsten Merkmale dieses Modells ist die output-basierte Preisgestaltung, die lediglich den Preis für Automatisierung, Ausführung und Pflege eines Testfalls beinhaltet. Dies bedeutet, es wird transparent in Rechnung gestellt, was geliefert wird.

Kalibrierungsphase

Dem Auftrag ging eine Kalibrierphase voraus, in der ein Mustersatz komplexer Testfälle automatisiert wurde; Zum einen zur Validierung des Tools und des Frameworks, zum anderen auch zur Kalibrierung der Stückpreise. Bei der Kalibrierung werden die Anzahl der zu automatisierenden Testfälle und der Release-Plan des Produkts, bzw. der Anwendung berücksichtigt, der die Ausführungshäufigkeit der automatisierten Regressionssuite bestimmt.

Mehrjähriges Mandat mittels agiler Methodik

Das Projekt läuft über mehrere Jahre, nutzt aber den agilen Ansatz monatlicher Sprints und einer schrittweisen Entwicklung und Bereitstellung der Automatisierungssuite. So können monatlich Testfälle für die Automatisierung ausgewählt werden und die Automatisierungssuite wird mit den neuesten Versionen des zu testenden Produkts aktualisiert.

Vorteile für den Auftraggeber

Echte Partnerschaft

Der Ansatz schuf eine echte Partnerschaft zwischen dem Kunden und Expleo, wobei sich jeder Partner auf seine Kernkompetenzen konzentrierte. Der erforderliche Umfang der Testautomatisierung war nur aufgrund der Spezialisierung von Expleo auf Testverfahren und Automatisierungslösungen, eine ihrer wichtigsten Stärken, möglich.

Risikoübertragung auf Expleo

Siemens PLM profitiert davon, indem es nur für den tatsächlich erzielten Erfolg zahlt. Das Risiko für den erfolgreichen Automatisierungseinsatz wurde somit weitgehend auf Expleo übertragen, im Gegensatz zu einem kapazitätsbasierten Auftragsmodell, bei dem das Risiko überwiegend beim Kunden liegt.

Output-basierte Preisgestaltung schafft Effizienzanreize

Der eigentliche Vorteil der output-basierten Preisgestaltung ist jedoch auf einer zweiten Ebene zu sehen. In einem kapazitätsbasierten Modell muss Effizienz nicht immer wünschenswert sein, da sie die Mitarbeiterzahl des Anbieters reduzieren kann. Im output-basierten Modell findet der Anbieter jedoch neue Wege, um die gelieferte Leistung auch kontinuierlich zu verbessern. Dieser Ansatz trägt dazu bei, Effizienz in den Prozess einzubauen. Siemens PLM kann daher von diesem Ansatz im Jahresvergleich profitieren, entweder durch einen höheren Automatisierungsgrad oder durch eine Kostensenkung bei gleichem Volumen.

Case studies