De sleutel tot geavanceerde data-analyse en efficiëntie met Microsoft Fabric

Datagedreven organisaties kijken inmiddels naar Microsoft Fabric. Dit in najaar 2023 gelanceerde SaaS data-analyseplatform is een interessante enabler voor marketeers en datafunctionarissen die vanuit één plek toegang krijgen tot alle databronnen en -functionaliteit voorbereid op AI. Tegelijkertijd is deze alles-in-één ingebouwde data-infrastructuur een flinke disrupter voor menig organisatie en hun dataplatformen. 

Bezint eer ge begint

Ondanks de belofte van Microsoft dat Fabric data democratiseert en daarmee heel toegankelijk is voor de business, moet er wel wat water door de Rijn voordat implementatie een feit is. Het nieuwe data- en analyseplatform van Microsoft is vooral geschikt voor organisaties die op zoek zijn naar uniformiteit en standaardisatie. Dataverwerking, opslag, -transformatie, realtime analyses en productie van rapportages gebeuren allemaal vanuit één SaaS-omgeving. Daarmee wordt samenstelling van uiteenlopende databases en diensten van verschillende leveranciers verleden tijd. Niet alleen omdat het platform heel compleet is. Fabric is ook nog eens intuϊtief waarmee het systeem zich snel aanpast aan wat gebruikers gewend zijn. Dat zorgt er ook voor dat integratie met bestaande oplossingen relatief eenvoudig is dankzij de grote hoeveelheid ingebouwde dataconnectoren.

Het merendeel van de technologie is niet nieuw. Ondanks dat Microsoft Fabric van de grond af aan opnieuw heeft opgebouwd, is het een combinatie van bestaande technologie en beschikbare functionaliteit van Power BI, Azure Synapse Analytics en Azure Data Factory. Samen met verschillende databases of -warehouses wordt gegevensopslag gecentraliseerd op de zogeheten uniforme OneLake data-opslag laag. Bewerkte of onbewerkte gegevens zijn eenvoudig om te zetten in bruikbare inzichten ongeacht waar ze vandaan komen. En met Copilot erbij, kun je eveneens een beroep doen op de generatieve AI-intelligentie voor bijvoorbeeld de oplevering van data pipelines, Python code in het Lakehouse of verschillende type rapporten op basis van beschikbare data op OneLake. Dankzij het SaaS-model ligt het infrastructuurbeheer in handen van Microsoft. Dat scheelt flink wat interne resources. Data en diensten zijn geïntegreerd waardoor beheer, regie en veiligheid centraal geregeld worden.

Het lijkt de ultieme droom van data-engineers, – analisten en -scientists om zo volledig self-service te zijn zonder afhankelijkheid van IT. Tegelijkertijd liggen dataexplosies, wildgroei van data warehouses, ongecontroleerde gegevensverspreiding of complexe datastructuren op de loer omdat het voor business analisten immers heel eenvoudig is massaal aan de slag te gaan met Fabric. Een nachtmerrie voor IT met nieuwe compliance risico’s op de koop toe. Dus is het zaak regie te houden op het al dan niet implementeren van Fabric.

Welk probleem lost Fabric op?

Dat is de eerste te beantwoorden vraag. Iedere organisatie heeft het datalandschap immers op een eigen manier ingericht. Vaak met hele verschillende data tooling. Uiteraard afhankelijk van ambities, type activiteiten, wet- en regelgeving en bijvoorbeeld behoeften van verschillende (type) gebruikers. Omdat je met de introductie van Fabric wel wat overhoop haalt, is het van belang kritisch te beoordelen welke meerwaarde het nieuwe data- en analyseplatform biedt. En of die meerwaarde opweegt tegen de migratie-inspanningen die nodig zijn om een overstap te maken van het huidige dataplatform naar een volledig gestandaardiseerde omgeving. Het kan zelfs een overweging zijn Fabric naast andere platforms zoals Snowflake te zetten. Dat vraagt om een gedegen business case met bijbehorende risico-analyses en helderheid over de positionering binnen de bestaande data-architectuur.

Functionaliteit van Fabric

Ondanks dat Fabric een alles-in-één dataplatform is, zijn niet alle functies direct inzetbaar voor een self-service operatie binnen gestelde organisatiekaders. Zo is het van belang dat beveiliging van data op OneLake goed geregeld is via toegang tot de workspaces en de OneSecurity databeveiliging functies in Fabric.

Verder is het zaak dat architecten direct aangehaakt zijn om mee te denken over de mogelijke adoptie van Fabric binnen het bestaande datalandschap. De impact op architectuur hangt uiteraard ook af van vervanging van een bestaand platform of implementatie van een volledig nieuwe data-infrastructuur.

Waar de functionaliteit volledig bij de business komt te liggen, is het wijsheid capaciteitsvraagstukken en regie centraal te beleggen bij IT. Een manier om eveneens de kosten onder controle te houden voor bijvoorbeeld de generatieve AI functie Copilot. Maar ook dagelijkse zware operationele klussen vanuit verschillende data warehouses vergen veel computerkracht. Daar is de business doorgaans niet mee bezig. Dat vereist een goed ingerichte architectuur rondom de inzet van Fabric rekencapaciteit en het leveren van inzicht in kosten. Daarbij komt ook het cloudbeleid om de hoek kijken. Als data binnen de Europese grenzen moet blijven, zul je voor de inrichting van Fabric een eigen cloudomgeving nodig hebben waarbij Fabric rekencapaciteit in een Europese Azure regio wordt geplaatst. Dan is het van belang kritisch te kijken welke cloud- en/of dataplatforms uitgezet kunnen worden om dubbele rekencapaciteitkosten te voorkomen.

Governance

Ondanks de ingebouwde Purview rapportage dat governance monitoring mogelijk maakt binnen Fabric, is dit misschien wel het belangrijkste criterium voor een succesvolle implementatie van het nieuwe data-analyseplatform. Machtigingen, gedegen toegangsbeveiliging, data-eigenaarschap, al dan niet uitwisselbaar maken van gegevens, sensitiviteitlabels aan data toekennen, wel of niet beschikbaar stellen van Fabric data aan externe partners. Het zijn slechts een paar voorbeelden van governance vraagstukken die het verschil maken want een self-service platform kan niet op een verantwoorde manier functioneren zonder goede governance. Bovendien kun je in Fabric geen rolgebaseerde toegangsbeveiliging toepassen op bijvoorbeeld de data warehouse, data factory en lakehouse functies binnen Fabric. Dit hoeft overigens geen blokkade te zijn. Het alternatief is dan dat IT het gebruik gaat monitoren. Zo hou je eveneens regie op capaciteit en veilig gebruik.

Wat is nodig bij migratie?

Tijdens het inventarisatieproces moet helder zijn welke migratie-inspanningen en benodigde hulpmiddelen nodig zijn voor de overstap naar Fabric. Denk aan datamigratie en de integratie met bestaande databronnen. Te veel migratie-inspanning kan aanleiding zijn niet te kiezen voor dit nieuwste data- en analyseplatform van Microsoft.

Het mobiliseren van Fabric kan niet zonder een aantal gedegen POC use cases. Betrek daar zoveel mogelijk relevante gebruikers bij. Niet iedere datascientist zit te wachten op een overstap als niet duidelijk is hoe hij of zij daar beter van wordt. Fabric is bovendien ingericht voor DevOps gebruik binnen het datalandschap. Als dat geen gemeengoed is, betekent dat ook weer wennen aan een nieuwe manier van werken. De POC-fases geven tevens inzicht in mogelijke verschillen en overeenkomsten in functionaliteit van het bestaande dataplatform versus Fabric.

Last but not least, betekent de overstap naar Fabric veelal een verandering van kostenmodel. Van Apex met een vaste licentie naar Opex dankzij het variabele pay-as-you-go model waarbij de rekencapaciteit gepauzeerd kan worden. Die variabele kostenstructuur kan onverhoopt tot meer onvoorspelbaarheid leiden bijvoorbeeld bij een hoge piekbelasting. Microsoft biedt wel een prijsmodel aan om benodigde rekencapaciteit vooraf voor een jaar aan te schaffen. Dat is interessant bij het bereiken van het omslagpunt waarbij het vooraf reserveren van rekencapaciteit goedkoper is dan het pas-as-you-go model. Dat zorgt voor meer voorspelbaarheid.

Kennis van zaken

Fabric wordt nu al het vlaggenschip van Microsoft genoemd. Niet zonder reden want het is een veelbelovend dataplatform. Maar het is ook nog nieuw en volop in ontwikkeling. Nieuwe functionaliteit om mee te testen wordt dus regelmatig toegevoegd. Dat komt dan later beschikbaar voor productie. Hou de Microsoft Fabric roadmap daarom goed in de gaten. Of wellicht belangrijker nog, zorg ervoor dat experts betrokken zijn die precies weten welke beschikbare functionaliteit, kinderziektes en andere uitdagingen het platform kent zodat je niet voor verrassingen komt te staan.

Al met al is de conclusie dat Fabric geen direct inzetbaar out-of-the-box self-service dataplatform is. Ondanks de inspanningen die nodig zijn om Fabric goed te laten landen in het datalandschap, zorgt het uiteindelijk wel voor een volwassen veilige datagedreven en AI-toekomstbestendige organisatie waarbij gebruikers hun eigen analysetools kunnen gebruiken en inzichten heel makkelijk te delen zijn op een centraal beheerde manier.

Dit artikel is ook verschenen op 1 augustus op ICT Magazine