ORDINA BLOGT

Testautomatisering:niet tevreden

Testautomatisering: ruim 90% van de gebruikers is niet geheel tevreden!*

  • Kaspar van Dam
  • 4 maart 2014

Een recent onderzoek van Dorothy Graham toont aan dat maar liefst 90,42% van de mensen die te maken heeft met testautomatisering niet geheel tevreden is over hoe dit binnen hun project of organisatie ingevoerd is. Wanneer gekeken wordt naar de redenen waarom dit het geval is blijken een aantal interessante zaken.

Waar sta je momenteel qua testautomatisering?

Dit was de eerste vraag binnen de questionaire die Dorothy Graham* tot zover aan 167 deelnemers gesteld heeft. Slechts 9,58% gaf aan dat de testautomatisering op orde was en dat men volledig tevreden was, 45,51% is redelijk tevreden maar ziet nog genoeg ruimte voor verbetering. Het merendeel is dus niet geheel gelukkig met de huidige stand van zaken met betrekking tot testautomatisering. Op de vraag welke zaken verbeterd moesten worden om respondent wel gelukkig te maken met testautomatisering werden de volgende zaken genoemd:

  • Resourcing (55,84%)
  • Kennis (38,96%)
  • Ondersteuning (33,12%)
  • Visie (28,57%)
  • Kwaliteit testautomatisering (28,57%)

Resourcing

Veruit het meest genoemde issue wanneer het gaat om testautomatisering is de resourcing. Er is simpelweg niet voldoende tijd om testautomatisering (adequaat) in te richten en/of er zijn onvoldoende mensen voor beschikbaar. Veelal begint dit al met het niet inplannen van tijd voor het goed inrichten van testautomatisering. De meeste organisaties zijn zich er wel van bewust dat het automatiseren van testen tijd kost, maar desalnietemin wordt hier bij het plannen van projecten of sprints te weinig rekening mee gehouden. Zeker wanneer testautomatisering nieuw is binnen een project of organisatie zullen de eerste stappen om testautomatisering neer te zetten veel tijd in beslag nemen. Er moet nagedacht worden over een strategie en een visie (zie verderop) en er zal een geautomatiseerde testsuite opgezet moeten worden. Naarmate project of organisatie meer ervaren zijn met het inzetten van testautomatisering en de grote lijnen eenmaal staan zal het automatiseren van testen gaandeweg steeds minder inspanning vergen. Maar het blijft een taak die niet onderschat dient te worden bij het plannen van sprint of deadline. Als organisatie dient er dus meer tijd genomen te worden om (test)projecten succesvol af te ronden óf er moeten meer mensen ingehuurd worden. Bij voorkeur met voldoende kennis van testautomatisering.

Kennis

Eveneens veel aangegeven is dat er binnen project of organisatie onvoldoende kennis aanwezig is. In 36,25% van de gevallen ging het om gebruikers die de testtool waar zij mee werkten niet goed begrepen en in 35% van de gevallen werd aangeduid dat testers simpelweg niet goed bleken te kunnen automatiseren. Het is een veelvoorkomend probleem dat bij de introductie van testautomatisering niet voldoende gekeken wordt naar de mensen die er mee aan de slag moeten gaan. Zoals in een eerder blog reeds aangegeven ligt de focus te vaak op techniek en soms het proces terwijl er in feite, zeker in het beginstadium, veel aandacht moet zijn voor de mensen. Zij moeten de meerwaarde van testautomatisering inzien en een stip op de horizon hebben om naar toe te werken. Maar bovenal moeten zij de beschikking krijgen over de juiste kennis. Over testautomatisering in het algemeen en over de specifieke tooling waar zij mee zullen werken. Het is hierbij tevens een optie om het testvak los te trekken van het testautomatiseringsvak en bijvoorbeeld ontwikkelaars in te zetten om de testen van de testers te automatiseren. Risico daarbij is echter dat de testautomatiseerder de te testen functionaliteit onvoldoende begrijpt. Dit werd in 28,75% van de gevallen benoemd in het onderzoek waaruit blijkt dat er een goede balans moet zijn tussen testkennis en testautomatiserings kennis. Het laatste punt dat veel benoemd werd qua kennis was het ontbreken van de kennis om een geschikte tool te selecteren (25%). Bij een toolselectie komen vele aspecten kijken en is met name brede ervaring van belang alsmede kennis van mens, proces en techniek binnen project of organisatie. 

Ondersteuning

Mogelijk één van de belangrijkste zaken bij het invoeren van testautomatisering is het verkrijgen van draagvlak. Het is dan ook niet verwonderlijk dat een groot deel van de respondenten aangaf problemen te ondervinden op dit vlak. Veruit het meest benoemd werd het fenomeen dat met name managers een zogenaamde 'Silver Bullet' verwachtten. Maar liefst 55,26% van de respondenten gaf dit bij het onderdeel ondersteuning aan. Er is in dat geval onvoldoende besef dat testautomatisering slechts een hulpmiddel is om het werk beter, sneller en/of goedkoper en dus efficiënter te maken. Het is echter niets meer dan een hulpmiddel en zeker geen wondermiddel dat alle kwalen op het tesvlak onmiddelijk op zal lossen. Deze taak blijft liggen bij de mensen en de processen, de techniek kan hen daar enkel bij ondersteunen.

Visie

Wanneer het gaat om visie blijken er zeer uiteenlopende redenen waarom men hier problemen mee heeft, maar het meest genoemd (29,41%) is het toepassen van testautomatisering zonder strategie of architectuur. Veelal wordt testautomatisering gezien als een restpost (resourcing) of 'silver bullet' (ondersteuning) en ontbreekt het binnen project of organisatie aan een visie op het vlak van testautomatisering. Het is van belang in te zien dat test automatisering op zichzelf ook een vorm van software ontwikkeling is. Er moet dan ook goed gekeken worden naar de manier waarop dit vorm gegeven gaat worden en er moet nagedacht worden over architectuur en strategie om dit hulpmiddel zo effectief mogelijk in te zetten. Hier zal voldoende tijd aan besteed moeten worden en het is belangrijk te zorgen voor voldoende kennis over testautomatisering binnen project of organisatie. 

Kwaliteit testautomatisering

De hiervoor genoemde zaken zijn in feite vaak de aanleiding waarom men niet tevreden is over de kwaliteit van de testautomatisering. Binnen dit onderdeel gaf 49,43% van de respondenten aan de geautomatiseerde testscripts niet geheel betrouwbaar te vinden en 41,38% vond het onderhoud van de scripts te duur. Eén op de 3 deelnemers gaf dan ook aan dat er geen Return on Investments (ROI) behaald werd met de invoering van testautomatisering. Wanneer voldoende aandacht besteed wordt aan resourcing, kennis, ondersteuning en visie zal dit aantal ongetwijfeld vele malen lager uitpakken!

Concluderend

Uit een relatief simpele vragenlijst wordt pijnlijk duidelijk op welke vlakken testautomatisering geregeld faalt en hoe eenvoudig dit in veel gevallen voorkomen kan worden. Gaat (jo)uw project of organisatie binnenkort ook aan de slag met test automatisering? Dan denkt Ordina graag mee om problemen met betrekking tot resourcing en/of kennis te voorkomen. Uiteraard kunnen wij ook ondersteuning bieden om tot een gezamelijke visie te komen op het gebied van testautomatisering. Neem hiervoor contact met me op of met (jo)uw Ordina contact persoon!

 


* Dorothy Graham is een bekend spreekster en schrijfster van vele standaardwerken op het gebied van testen en testautomatisering. Met meer dan 40 jaar ervaring binnen het vakgebied is zij zeer goed in staat anderen te ondersteunen- en motiveren om het meeste uit het testvak te halen. Dorothy Graham heeft de voorlopige resultaten van haar recente onderzoek naar de praktijk van testautomatisering met mij gedeeld en toestemming gegeven deze resultaten te gebruiken binnen dit blog. Voor meer informatie over Dorothy Graham zie: http://www.dorothygraham.co.uk/ of http://dorothygraham.blogspot.nl/

Over de auteur:

Kaspar van Dam

Kaspar van Dam is test(automatisering) consultant bij Ordina en adviseert collega's en klanten over vraagstukken rondom de thema's agile testing, behavior driven development (BDD), testautomatisering en meer.