Transformation in change
ETL-Testen
Ben je op zoek naar een hoge kwaliteit van jouw ETL (Extract Transform Load) proces? Onze ervaren testprofessionals kunnen je helpen bij het voorbereiden van jouw ETL proces op een grondige, gestructureerde en voorspelbare manier zodat je bij de uitvoering representatieve resultaten krijgt. Wil je weten hoe; lees dan verder.
Hoe verhoog je de kwaliteit van het ETL-proces?
Een ETL-proces testen kan overweldigend zijn. Er is zoveel data vanuit zoveel verschillende bronnen. Er zijn zoveel business rules die je moet raken. En waar wordt alle data nou eigenlijk echt voor gebruikt? Daar komt nog eens bij dat een ETL-proces vaak bestaat uit veel legacy-code en -systemen. De ervaring leert dat de documentatie daarvan niet altijd up-to-date is. Een wankele basis om de testen op te baseren.
Daarom kiezen veel bedrijven ervoor om na een release te testen met productiedata. Ze nemen de wijziging in productie als de uitkomst plausibel is en redelijk lijkt op de uitkomst van de testrun van de vorige release. Maar je kan dan geen gevalideerde uitspraak doen over de juistheid van de wijziging. Want wie zegt dat het huidige systeem correct is? En geldt hier de wet van de grote getallen?
De doorlooptijd van een test is bovendien lang. Je moet immers het ETL-proces starten, alle productiedata verwerken (al dan niet via een batchproces) en na het oplossen van de bevindingen dat hele proces herhalen.
* ETL = Extract, Transform, Load
Wat zijn de uitdagingen?
Bij ETL-testen heb je te maken met drie belangrijke uitdagingen.
- Hoe analyseer je de code / het systeem? Je moet de code of het systeem ontrafelen met documentatie die wellicht niet helemaal up-to-date is. Wat gebeurt er nadat data is ingelezen? Welke paden kunnen gegevens afleggen binnen het proces? En welke rapporten of trends worden gegenereerd op basis van de data? Om dit te analyseren heb je kennishebbers en tijd nodig. Deze investering in tijd verdient zich zeker terug als je een test vaker uitvoert.
- Hoe genereer je een gecontroleerde testset? Het is belangrijk dat je weet welke data je precies nodig hebt voor de test, zodat de uitkomst van wijzigingen niet slechts ‘plausibel’ zijn. Met een gecontroleerde test kun je uitspraken doen over het verwachte testresultaat. Daarvoor moet je vanuit de eindproducten terug redeneren welke data nodig zijn en waar die vandaan komen.
- Hoe verhoog je de datakwaliteit? De output van een ETL-proces is zo goed als de data die je erin stopt. Er zijn vaak veel verschillende bronsystemen die data aanleveren. En waarschijnlijk hebben die bronsystemen verschillende eigenaren. Het kan daarom een uitdaging zijn om de datakwaliteit op zo’n niveau te krijgen dat je de testen zonder veel hobbels kunt uitvoeren.
- Welke testen zijn relevant?
- Hoe ga ik inzicht geven of de risico’s optreden?
- Wie en wat heb ik nodig?
.
Zo pak je het aan
Natuurlijk moet je er tijd en energie in steken, maar ook bij het testen van ETL kan je starten met unit-testen met een kleine set testdata. Dat bouw je dan via verschillende testsoorten op naar de gebruikersacceptatietesten met productiedata.
Bouw je het testen van ETL zo op, dan krijg je vroegtijdig inzicht in de juiste werking van de onderdelen van het ETL-proces. De doorlooptijd van elke test is korter en het is eenvoudiger om de plaats van een bevinding te detecteren.
Onze ervaren testprofessionals kunnen je helpen. We:
- krijgen kwalitatieve data boven tafel om mee te testen
- definiëren een teststrategie
- richten het testproces in
Zo kunnen we jouw ETL-proces op een grondige, gestructureerde en voorspelbare manier voorbereiden en uitvoeren en krijg je representatieve resultaten. Kortom: een hoge kwaliteit van het ETL-proces.
Onze ervaren professionals staan voor je klaar
Wij helpen jouw organisatie met het verbeteren en efficiënter maken van jouw testproces
Wij begrijpen hoe belangrijk het is om professionele en gestructureerde test management en transities te hebben. Ons team bestaat uit ervaren professionals die jouw organisatie graag verder helpen met het verbeteren en efficiënter maken van jouw testproces. Wij geloven dat een gestructureerde aanpak de sleutel is tot succesvolle projecten en blije klanten.
