Voor datamanagement wordt steeds meer gebruik gemaakt van cloud-based technologieën. Teams werken gedecentraliseerd en er is daarom veel aandacht voor applicaties die het makkelijker maken om online samen te werken, en zo meer gebruikers de mogelijkheid geeft om met hun data te werken.

Hoe belangrijk is het als onderneming om deze trends bij te houden? Uit het onderzoek “State of Data Quality 2022” blijkt dat de twee meest invloedrijke factoren voor succesvol datamanagement verband houden met nieuwe trends als ‘automation’ en infrastructuur. Wanneer je deze trends volgt en begrijpt kan dit je helpen succesvoller te worden met datamanagement.

In dit artikel vertellen we je alles over deze laatste trends.

Whitepaper-Planning-for-Healthcare-Data-Visibility-in-2023

Downloaden

1. Data Democratisering, Data Mesh en Data Fabric

Er verandert veel en snel. Ondernemen hebben daarom dynamische dataprocessen nodig die kunnen reageren op, en zich kunnen aanpassen aan een steeds veranderende omgeving.Dit heeft organisaties ertoe aangezet om hun datamanagementsysteem gedecentraliseerd te organiseren. Datamanagement kan als “gedecentraliseerd” worden gezien wanneer data per domein wordt beheerd, waarbij meer verantwoordelijkheid bij individuele afdelingen of teams komt te liggen in plaats van bij een gecentraliseerde team. Drie benaderingen hebben betrekking op de decentrale aanpak: Data Democratisering, Data Fabric en Data Mesh.

Data Democratisering. Bedrijven die deze filosofie hanteren, stellen iedereen in de organisatie verantwoordelijk voor de productie, het gebruik en de kwaliteit van data in plaats van slechts één functie of afdeling. Het richt zich op het bieden betere toegang tot data, data literacy en data cultuur.

Data Fabric. Deze benadering van data management verbindt alle databronnen en datamanagementcomponenten via metadata. Eenmaal verbonden, vormen ze een naadloos web dat alle belanghebbenden toegang geeft tot de bedrijfsdata. Indien volledig geïntegreerd, kan Data Fabric een gebruiksvriendelijke en overwegend autonome, bedrijfsbrede, overzicht van de data creëren.

Data Mesh. Dit gedecentraliseerde architectuur- en governance concept legt de verantwoordelijkheid voor data bij de teams die de data produceren en feitelijk eigenaar ervan zijn. Onder deze architectuur wordt er nog steeds gebruik gemaakt van enkele gecentraliseerde governance principes om te voorkomen dat data alsnog in silo’s terechtkomt.

Ondernemingen evolueren veelal naar een gedecentraliseerde aanpak omdat:

  • Beslissingen sneller worden genomen, met minder vertraging voor goedkeuring van toegang tot de data
  • Het eindgebruikers meer invloed geeft
  • Het dataproducten creëert die meteen klaar zijn voor gebruik en geen verdere aanpassingen vereisen

Dankzij deze voordelen kunnen ondernemingen met een gedecentraliseerde benadering effectiever omgaan met het dynamische en steeds veranderend datalandschap. Deze benadering brengt echter ook enkele uitdagingen met zich mee als het gaat om data management. Om een gedecentraliseerd data management landschap te realiseren, heb je datamanagementtools nodig die metadata kunnen verzamelen, data voor iedereen toegankelijk en begrijpbaar kunnen maken, en verschillende toepassingen in één eenvoudig te gebruiken platform bij elkaar brengt (zodat iedereen het kan gebruiken).

2. Data observability & AI-driven DQ

Net als de hele data-industrie evolueert datakwaliteit voortdurend. Initiatieven op het gebied van Data Quality begonnen met een op data-rules gebaseerde aanpak. Naarmate het gebruik van data binnen organisaties toenam kwamen er ‘ruleless’ oplossingen die vertrouwen op  AI/ML om datakwaliteitsproblemen te vinden. En daarmee is er een nieuwe trend ontstaan met een holistische benadering voor het oplossen van datakwaliteitsproblemen. Daarbij wordt gebruik gemaakt van verschillende technieken om de kwaliteit van data te bewaken. Men noemt dit data-observability.

Data observability is het vermogen van een onderneming om de kwaliteit van data te beoordelen op basis van de informatie die verzameld wordt. Dit inzicht wordt verkregen door het geautomatiseerd volgen van de data in systemen, vrijwel zonder handmatige interventie. Organisaties die gebruik maken van Data Observability kunnen problemen met de datakwaliteit, afwijkingen (anomalies), schemawijzigingen en veel meer  in alle systemen herkennen.

De voordelen van Data Observability zijn onder andere:

  • Het bewaken van de kwaliteit van datasystemen met weinig tot geen domeinkennis
  • Het datalandschap monitoren, en problemen voorkomen met minimale inspanning
  • Problemen proactief opsporen en gebruikers verder in het proces op de hoogte stellen (voordat de problemen downstream-systemen beïnvloeden)
  • Het kunnen herkennen, omgaan met en oplossen van problemen binnen complexere datasystemen,waar domeinexperts misschien no niet aan gedacht hebben

3. Moderne Datastack

Naarmate de benadering van datakwaliteit groeit  en verbetert, zien we een vergelijkbare groei in data-integratie. De “moderne datastack” is een set tools die engineeringtijd bespaart, automatisch kan worden geschaald en analisten en ingenieurs in staat stelt zich met andere waardevollere ontwikkelingen bezig te houden. Tools  en eigenschappen die een datastack “modern” maken, zijn:

  • Cloudgebaseerd
  • Geautomatiseerde ETL-pijplijn
  • Cloudwarehouse
  • Data visualisatie
  • Data transformatie

Het belangrijkste verschil tussen moderne en verouderde datastacks is het gebruiksgemak. Moderne datastacks zijn sneller, zelflerend en hebben een betere gebruikerservaring. Omdat het cloud-native is, heeft de moderne datastack verschillende voordelen:

  • Gemakkelijker te integreren/onboarden
  • Lagere instapsdrempel
  • Werkt goed met andere cloudgebaseerde applicaties
  • Vereist geen technische configuratie

Met de moderne datastack beschikken gebruikers over laagdrempelige oplossingen  die meegroeien met de databehoeften die uniek zijn voor de organisatie.

4. De opkomst van data & analytics governance-platformen

Tot op heden waren organisaties gedwongen om meerdere tools in hun datasysteem te integreren om hetzelfde doel te bereiken. Het kon voorkomen dat een onderneming een leverancier had voor Data Catalog, een andere voor Data Quality en een andere voor MDM. Dit bracht uitdagingen met zich mee zoals:

  • De noodzaak om meerdere tools  te integreren (zeer tijdrovend)
  • Tools werken niet goed samen
  • Alles moet handmatig worden ontwikkeld voor iedere specifieke use-case
  • Uitdagingen in prestaties
  • Change management en gebruikersadoptie

Gartner zegt hierover het volgende: “Moderne data- en analyse-initiatieven hebben een uitgebalanceerde set governance mogelijkheden nodig, maar op zichzelf staande producten bieden vaak niet wat nodig is.”

Inmiddels verschuift datamanagement al meer richting een geïntegreerde aanpak. Aanbieders die gespecialiseerd zijn op één gebied breiden hun portfolio uit om te voldoen aan de behoefte aan een geïntegreerde oplossing. Een BI-leverancier die zich alleen richtte op Data Preperation, kan nu Data Integration en Data Catalog als oplossing aanbieden. Een leverancier van Data Governance kan zijn diensten uitbreiden naar Data Quality  of Data Observability. Losstaande tools raken snel achterhaald ten gunste van platforms die meer dan één functionaliteit bieden. Dit is de reden waarom Ataccama gericht is op het bouwen van een platform dat Data Quality, MDM, Reference- en masterdatamanagement, Data Catalog, Data Integration en Data Visualisatie verenigt.

5. Cloud-native technologieën en gecontaineriseerde applicaties

Zoals vermeld bij punt 3 over  Moderne Datastack, bieden cloud-native datamanagementtechnologieën verschillende voordelen. Hierdoor versnelt de acceptatie van de cloud in alle sectoren. Uit Gartners Magic Quadrant 2021 bleek dat Cloud DBMS verantwoordelijk was voor 93% van de DBMS-omzetgroei. Ze voorspelden ook dat ze in 2022 50% van de totale DBMS-omzet zouden uitmaken. We kunnen de interesse en het succes in de cloud koppelen aan vier belangrijke voordelen:

  • Schaalbaarheid
  • Lage initiële kosten
  • Gebruiksvriendelijker (goede gebruikerservaring)
  • Prijsstelling op basis van verbruik (betaal alleen voor wat u gebruikt)

Een andere groeiende trend in datamanagement is het gebruik van gecontaineriseerde applicaties. Met gecontaineriseerde applicaties kan je een app implementeren (met behulp van technologieën zoals Docker of Kubernetes) op elke hardware zonder dat je de code basis hoeft te wijzigen. Er zijn ook minder middelen nodig om de applicaties te onderhouden

Gartner verwacht daarom dat het aantal organisaties dat gebruik maakt van gecontaineriseerde apps tussen 2021 en 2027 zal stijgen van 40% naar 90%. Bovendien verwachten ze dat 25% van alle zakelijke apps in 2027 in containers zullen draaien. Naast flexibiler zijn gecontaineriseerde apps ook betrouwbaarder, robuuster en schaalbaarder.

6. Automatisering

Automatisering vindt niet alleen plaats op het gebied van datakwaliteit. We zien meer dat meer processen geautomatiseerd worden. De primaire reden? Tijdwinst! Gartner stelt dat er een verhouding is van slechts één data-engineer is voor elke vijf dataconsumenten. Resources en data-engineers zijn schaars (vooral tijdens een recessie).

Organisaties hebben kant-en-klare oplossingen nodig die sommige taken kunnen automatiseren. Op dit moment zien we dat veel processen worden geautomatiseerd met AI en metadata. Dit betreft voornamelijk

  • Data discovery en het ‘onboarden’ van databronnen
  • Monitoren van Data Quality
  • Datamatching en ‘golden record’ genereren in MDM

Naarmate ondernemingen datademocratisering meer omarmen, zullen ze veel datamanagement processen moeten automatiseren en zakelijke gebruikers eenvoudige toegang moeten geven. Over trends gesproken die databeheer toegankelijker maken…

7. Low-code/no-code data-apps

Door apps eenvoudiger te maken (waarmee minder codering is vereist), kan je datamanagement-processen beschikbaar maken voor meer gebruikers en rollen. Apps zoals MS Powerapps, Airtable en Notion zijn uitstekende voorbeelden van low-code/no-code apps die bijna elke gebruiker kan leren gebruiken.

Een praktisch voorbeeld van een low-code datamanagementapplicatie is Ataccama Data Observability, waarmee gebruikers hele datasystemen, zoals Snowflake, kunnen monitoren zonder ingewikkelde setup.

Een ander voorbeeld is ONE Data, waarmee zakelijke gebruikers gemakkelijk data kunnen onboarden, data gezamenlijk kunnen verbeteren, de kwaliteit ervan op een geautomatiseerde manier kunnen controleren en die data aan andere applicaties of gebruikers kunnen verstrekken. En dat alles in een beheerde omgeving en zonder de noodzaak van kostbare tijd van de data-engineer.

Daarnaast creëren organisaties ook hun eigen lokaal aangepaste apps met eenvoudige workflows. Lokale apps kunnen leiden tot gelokaliseerde databases die kleine lokale problemen kunnen oplossen. Dit is natuurlijk een groot voordeel voor gedecentraliseerde organisaties, omdat ze tools per team kunnen gebruiken, waarbij prioriteit wordt gegeven aan de voorkeuren van individuele gebruikers.

Conclusie

Al deze vooruitgang en updates zijn ongetwijfeld boeiend, maar hoe gaat jouw organisatie hier mee om? Systemation helpt je graag innoveren. Maak gerust een kennismakingsafspraak om te zien hoe we jouw onderneming verder kunnen helpen.

Bron: https://www.ataccama.com/blog/7-data-management-trends