Kwaliteit en testen in de komende 30 jaar

Aan het woord is Rik Marselis. Hij is één van de thoughtleaders van deze internationale kennisbank voor kwaliteit en testen in de informatietechnologie.

Zoek de fouten en los het op. Zo begon het testen van software. De positie van kwaliteitszorg en testen is de afgelopen 30 jaar enorm veranderd. Achteraf opsporen van fouten in systemen is inmiddels bijzaak. Uiteraard is het nog steeds van groot belang dat systemen worden getest op functionaliteit, prestaties, gebruikersvriendelijkheid, veiligheid en bijvoorbeeld het voldoen aan wet- en regelgeving zoals de AVG, NIS2 en nu ook de AI-act. Veel testprocessen zijn inmiddels geautomatiseerd. Zo blijkt uit onderzoek dat het regressietesten van applicaties bij meer dan de helft van organisaties in ons land een volledig geautomatiseerd proces is. En waar eerder nauwelijks een relatie werd gelegd tussen IT-kwaliteit en de impact op bedrijfsresultaten is dat inmiddels ook steeds meer gemeengoed. Zo is bijvoorbeeld bewezen dat de reactiesnelheid van een app tot 15% meer omzet kan leiden. Het zogeheten business value based testen is daarom ook een belangrijke voorwaarde voor het hedendaagse succes van TMAP.

Onze manier van werken heeft eveneens een gedaantewisseling ondergaan. Losstaande Testing Centers of Excellence maken veelal plaats voor integratie in de Agile en DevOps werkwijze. Quality & Test Engineers werken steeds vaker in een Agile en DevOps omgeving. Kwaliteitsmanagement is op die manier integraal onderdeel van het levenscyclusbeheer.

Nieuw tijdperk dankzij AI

Met de grote hoeveelheid digitale producten die beschikbaar komt, zijn de kosten voor kwaliteitszorg en testen voor veel organisaties tot een ongewenst hoog niveau gestegen. Eindeloos blijven testen, is allang geen optie meer. Met de komst van kunstmatige intelligentie verschuift testen van kwaliteit toetsen naar kwaliteit voorspellen. De hoeveelheid historische data en het zelflerend vermogen van generatieve AI zorgt ervoor, dat de juiste testaanpak in samenwerking met GenAI tools ingevuld wordt. Algoritmes geven bovendien inzicht in de impact op software-aanpassingen. Het zogeheten Large Language Model (LLM) doet wat je vraagt. Zoals de rekenmachine de hoofdrekenaar verving, krijgt de tester nu met een slimme prompt in een handomdraai testgevallen of testdatatestsets voorgeschoteld. Een uitkomst voor het omgaan met de toenemende hoeveelheid test- en kwaliteitswerk in een samenleving die in rap tempo verder digitaliseert en waarbij (ook mede door de toepassing van GenAI) de ontwikkeltijd voor software steeds korter wordt.

Tegelijkertijd schuilt daar ook een gevaar. Zo ontwikkelen beginnende testers zich op een hele andere manier naar een ervaren kwaliteits- en testconsultant. Junior testers zijn niet langer gewend kritisch te denken omdat ze veelal blind vertrouwen op AI. Het gaat immers eigenlijk altijd goed. Net als dat rekenmachientje waar we al decennialang op vertrouwen. Echter, inmiddels hebben verschillende incidenten laten zien dat AI je ook relatief makkelijk in de luren legt. Bovendien kan AI alles op maat maken waarmee complexiteit alleen maar toeneemt. Last but not least, AI-ontwikkelingen gaan zo snel dat het nauwelijks nog bij te houden is. Wat vandaag goed lijkt, kan morgen alweer achterhaald zijn. Zo zorgt de ontwikkeling van instructies aan GenAI geven via zelf gemaakte prompts naar inzet van volwaardige autonome AI-agents voor nog meer afhankelijkheid van slimme technologie. Wat de vraag oproept wie de kwaliteit van die autonome AI-agents gaat controleren en borgen.

Hier zien we de (inmiddels al bij velen bekende) tweezijdigheid van kwaliteit en AI. Enerzijds het gebruik van AI om de kwaliteit van IT-systemen in te bouwen en te borgen. Anderzijds het inzetten van quality engineering en test kennis om de kwaliteit van de kunstmatige intelligentie zelf te borgen.

En voor beiden biedt de TMAP body of knowledge kennis en hulpmiddelen. Voor het inbouwen en borgen van kwaliteit van IT-systemen wordt TMAP gebruikt als basis voor bijvoorbeeld de GenAI Amplifier, een geavanceerde AI-gebaseerde service die inmiddels al operationeel is. En TMAP biedt een breed scala aan visies, technieken en hulpmiddelen om de kwaliteit van GenAI te testen en te verbeteren, denk maar aan het toepassen van testontwerptechnieken maar ook een gestructureerd framework voor het maken van de juiste prompts.

Kortom, inzet van generatieve AI voor kwaliteitszorg- en testtaken biedt enorm veel kansen. De interactie tussen mens en machine blijft daarbij een flinke uitdaging. Mensen worden niet vervangen door AI. Maar de grote kunst is mensen op een verantwoorde manier met AI te laten samenwerken waarbij de kwaliteiten van zowel mens als machine het beste tot hun recht komen. Met de juiste samenwerking tussen mens en machine en ondersteuning vanuit de TMAP body of knowledge gaan we zeker nog eens 30 mooie jaren met kwaliteitszorg en testen tegemoet!!