Een reis door Data Automation Levels
Het concept van automatisering is naadloos geïntegreerd in veel aspecten van ons leven, van zelfrijdende auto’s tot geavanceerde softwaresystemen. Niet lang geleden kondigde Mercedes-Benz aan dat ze Niveau 3 hebben bereikt in de technologie voor automatisch rijden, wat aanzette tot het denken over de parallellen in de wereld van Data Warehouse Automation (DWA).
Net als in het domein van autonome voertuigen is DWA niet binair, maar bestaat het eerder uit een spectrum van mogelijkheden. In dit artikel worden de verschillende niveaus van DWA verkent. We leggen uit hoe ze functioneren en wat elk niveau betekent voor zowel bedrijven als technologen. Deze reis door de verschillende automatiseringslagen geeft niet alleen inzicht in hoe DWA zich ontwikkelt, maar ook in de potentiële impact ervan op onze datagestuurde toekomst.
Automatiseringsniveaus voor data warehouses: Van auto’s tot codering
De Amerikaanse National Highway Transportation Safety Administration heeft zes niveaus van geautomatiseerd rijden gedefinieerd, die voornamelijk verschillen door de mate van betrokkenheid van de bestuurder. Deze niveau’s van automatisering lopen van geen automatisering (niveau 0, waarbij de bestuurder alle taken uitvoert) tot volledige automatisering (niveau 5, waarbij helemaal geen bestuurder nodig is).
Dit concept van verschillende automatiseringsniveaus is niet beperkt tot de wereld van het autorijden. Het strekt zich uit tot een ander dagelijks werkterrein – Data Warehouse Automation (DWA). Net als in de auto-industrie omvat DWA een spectrum aan mogelijkheden. Deze mogelijkheden kunnen worden onderverdeeld in niveaus, net als het geautomatiseerde besturingssysteem. Hoewel het niet formeel wordt erkend zouden we, als we niveaus 0-5 voor DWA zouden definiëren, een progressie van handmatige dataverwerking en -analyse (niveau 0) tot een volledig autonoom datamanagementsysteem (niveau 5) weergeven, waarbij menselijke interventie minimaal of overbodig is.
Deze gradatie duidt op een evoluerend landschap in datamanagement, waar efficiëntie, nauwkeurigheid en snelheid voortdurend worden verbeterd door toenemende automatiseringsniveaus. Er was nog niet formeel over nagedacht, maar als we niveaus van 0-5 zouden hebben voor DWA, wat zouden ze dan zijn?
Niveau 0 – Geen automatisering
Alles wordt handmatig gedaan. Designwerk wordt op papier gedaan of met minimale hulpmiddelen. Requirements en data profiling worden handmatig gedaan. De ontwikkeling van de structuren en pijplijnen voor het opslaan en verplaatsen van data worden met de hand geschreven en vervolgens uitgevoerd in een administratieve tool voor databases.
Niveau 1 – Assistentie van de ontwikkelaar
Er wordt een entiteiten-relatietool gebruikt om het logische model van het datawarehouse te maken. Sjablonen worden gebruikt om de DDL- en DML-code te schrijven. Implementatie en documentatie zijn nog steeds handmatige processen.
Niveau 2 – Gedeeltelijke automatisering
DDL en DML worden gegenereerd op basis van metadata, maar er is geen kennis van het ontwerp van het datawarehouse of van relaties. De code wordt handmatig geïmplementeerd. Datavalidatie of -transformatie gebeurt handmatig. Diepgaande technische kennis en ervaring is vereist.
Niveau 3 – Voorwaardelijke automatisering
Ontwerp, ontwikkeling en implementatie worden gemaakt met inzicht in de architectuur van het datawarehouse. Op regels gebaseerde systemen passen automatisch attributen toe en transformeren data waar nodig. Profilering, ontwerp, het creëren van ELT-processen en het koppelen van verschillende objecttypes (zoals feiten en dimensies) worden allemaal automatisch uitgevoerd. Deployments, documentatie en taakplanning worden allemaal automatisch afgehandeld.
Niveau 4 – Automatisering op hoog niveau
DDL en DML worden gegenereerd en ingezet. Het ontwerp is volledig geautomatiseerd en relaties en datawarehousemodellen worden automatisch geïmplementeerd via datacatalogi. Er wordt heel, heel weinig code met de hand geschreven. Alle ontwikkeling en implementatie van het datawarehouse wordt beheerd door analisten in plaats van technisch personeel.
Niveau 5 – Volledige automatisering
Er worden vrije query’s ingevoerd en de benodigde data wordt uit meerdere bronnen verzameld en in real-time verwerkt. Bestaat het datawarehouse eigenlijk nog wel? Kunstmatige intelligentie kan betrokken zijn bij het cachen en berekenen van data voordat het nodig is, maar het idee van een speciaal online analysesysteem met batch jobs die data laden voor latere analyse is achterhaald. Waarom heb ik een datawarehouse nodig als ik gewoon het antwoord kan krijgen op elke vraag die ik stel?
Waarom geautomatiseerd rijden?
Bij geautomatiseerd rijden is de eerste reactie van de meeste mensen “Geweldig, ik kan me ontspannen terwijl de auto zichzelf bestuurt”. Maar volledig geautomatiseerd rijden gaat de manier waarop we auto’s gebruiken drastisch veranderen, waarschijnlijk op manieren die we niet kunnen voorspellen. Enkele voordelen zouden zijn: sneller woon-werkverkeer, minder files wat meer duurzaamheid betekent, beter gebruik van kruispunten, minder ongelukken, lagere onderhoudskosten, veel zuiniger rijden, lagere verzekeringspremies, enzovoort. Misschien verdwijnt zelfs het privébezit van auto’s en zijn ze gewoon op aanvraag beschikbaar.
Waarom Data Warehouse Automation?
Het sneller bouwen van een datawarehouse is een belangrijk voordeel van DWA. Maar net als bij autorijden zijn er onverwachte voordelen:
1. Verbeterde ontwikkeling en operationele workflows
WhereScape RED transformeert het ontwikkelingslandschap met zijn drag-and-drop aanpak, waardoor de tijd die nodig is voor de ontwikkeling, implementatie en uitvoering van de data-infrastructuur aanzienlijk wordt verkort. Deze automatisering leidt tot een gestroomlijnde workflow die niet alleen tijd bespaart, maar ook zorgt voor consistentie tussen projecten.
2. Platform-native code generatie
Een van de meest opvallende kenmerken van WhereScape RED is de mogelijkheid om tot 95% van de handmatige codering te elimineren. Door automatisch SQL en andere codes te genereren die eigen zijn aan uw doelplatform, houdt het zich aan platform-specifieke best practices, wat de productiviteit verhoogt en het risico op afwijkingen vermindert.
3. Automatisch beheer van documentatie en metadata
Documentatie up-to-date houden is een lastige taak, maar met WhereScape RED gebeurt dit automatisch. De tool onderhoudt niet alleen uitgebreide documenten, maar beheert ook metadata op een efficiënte manier. Deze functie zorgt voor een up-to-date, transparant beeld van je data-infrastructuur, essentieel voor zowel IT als zakelijke belanghebbenden.
4. Ingebouwde best practices en gestroomlijnd beheer van workflows
WhereScape RED is ingebed met best practices voor verschillende datawarehousing methodologieën zoals 3NF, Data Vault en dimensional modeling. Deze integratie vermindert de complexiteit en versnelt de ontwikkeling. Bovendien vereenvoudigt de geïntegreerde planning en workflow engine het beheer van de beslissing ondersteunende infrastructuur, waardoor handmatig scripten overbodig wordt.
5. Geavanceerde SQL code ontwikkeling en uitgebreid levenscyclusbeheer
De tool blinkt uit in het genereren van native SQL-code, waarbij gebruik wordt gemaakt van database-specifieke functies en toepassingen. Bovendien automatiseert het de volledige levenscyclus van datawarehousing, van ontwerp tot gebruik, met zijn geïntegreerde metadata opslag en ondersteuning voor agile methodologieën.
6. Snel prototypes maken en Big Data integratie
WhereScape RED stelt gebruikers in staat om snel van data naar een ingevuld schema te gaan, wat snel prototypes maken vergemakkelijkt. Het blinkt ook uit in de integratie van de big data-infrastructuur, zoals data lakes, met bedrijfsdata, waardoor een uitgebreid beeld ontstaat van het hele bedrijfslandschap.
7. Volledige ELT-ondersteuning en datalineage
WhereScape RED biedt volledige extractie-, laad- en transformatiemogelijkheden en omvat geïntegreerd beheer van afhankelijkheden en planning. De visualisatie van de datalijn helpt bij het begrijpen van de datastroom en de impact van veranderingen, een cruciaal aspect van modern datamanagement.
Waar staat de industrie vandaag?
Tegenwoordig zijn er verschillende bedrijven die datawarehouse automatiseringstools aanbieden. WhereScape 3D en WhereScape RED, waarschijnlijk de meest geavanceerde tools, bevinden zich rond niveau 3. Met de adoptie van data fabric en meer geavanceerde data catalogisering, wordt verwacht dat Level 4 automatisering in de komende drie tot vijf jaar zijn intrede zal doen. Volledige automatisering? Dit zal veel gemakkelijker zijn in een auto dan in een open technische omgeving die data-analyse vereist.
Data Warehouse Automation is een noodzaak. Als je naar DWA-tools kijkt, bedenk dan hoe geavanceerd elke tool is. Hoe flexibel is het? Hoe werkt het in mijn huidige (of toekomstige) technische stack? Hoe abstract werk ik? Vertel ik de tool WAT ik wil doen of HOE ik het wil doen? Een goed hulpmiddel weet HOE. Jij moet gewoon het WAT geven.
Automatisering in Data Warehousing omarmen met WhereScape
Data Warehouse Automatisering is meer dan een trend. Het is een belangrijke verschuiving in de verwerking van data. De progressie van niveau 0 naar niveau 5 in datawarehouse automatisering weerspiegelt onze beweging naar een meer geautomatiseerde en intelligente toekomst. Deze evolutie brengt aanzienlijke voordelen van datawarehouse automatisering met zich mee, zoals lagere kosten, snellere en nauwkeurigere dataverwerking en een hervormende benadering van zakelijke besluitvorming.
Hoewel het bereiken van de top van niveau 5 in DWA uitdagingen met zich meebrengt, opent het een wereld van mogelijkheden in datamanagement. Voor bedrijven zijn het aanpassen aan deze veranderingen en het kiezen van de juiste tools, zoals het aanbod van WhereScape, cruciale stappen in het benutten van het potentieel van DWA. Laten we deze geautomatiseerde toekomst tegemoet gaan en erkennen dat de reis net zo veel te maken heeft met visionair denken als met technologische vooruitgang.
Interesse om te zien hoe je met WhereScape jouw datastrategie kan revolutioneren? Neem contact met ons op voor een brainstorm tijdens een goede kop koffie.
