Gebruikmaken van een medallion-structuur: brons, zilver en goud uitgelegd

Een medallion-structuur deelt je dataplatform op in drie lagen — brons, zilver en goud — waarbij data steeds schoner, beter gemodelleerd en bruikbaarder wordt. Het is het standaardpatroon in lakehouse-platformen zoals Databricks, maar het werkt net zo goed op Snowflake, BigQuery of een klassiek datawarehouse.

De waarde zit niet in de naamgeving. De waarde zit in de afspraak over wat elke laag garandeert, zodat engineers, analisten en de business niet langer discussiëren over welk getal klopt.

Wat is een medallion-architectuur?

Een medallion-architectuur is een gelaagd ontwerppatroon waarin ruwe brondata (brons) wordt opgeschoond en geharmoniseerd (zilver) en vervolgens wordt omgezet naar business-klare dataproducten (goud). Elke laag heeft een eigen eigenaar, kwaliteitsgarantie en doelgroep.

Brons: bewaar de waarheid van de bron

Brons is een getrouwe kopie van wat de bron heeft aangeleverd, meer niet. Geen businesslogica, geen hernoemen, geen filteren van "foute" records. Voeg technische metadata toe: ingest-tijdstip, bronsysteem, bestand of offset en een load-identifier.

• Append-only, zodat je de historie altijd opnieuw kunt afspelen
• Schema-evolutie toegestaan en vastgelegd
• Bewaartermijn lang genoeg om zilver en goud volledig opnieuw op te bouwen

Regel: kun je het rapport van gisteren niet meer reproduceren vanuit brons, dan doet je bronslaag zijn werk niet.

Zilver: maak data correct en vergelijkbaar

In zilver gebeuren het opschonen, ontdubbelen, casten van datatypes, koppelen van sleutels en harmoniseren over bronnen heen. Twee bronsystemen die allebei een "klant" kennen, worden één klantentiteit met één sleutel.

• Ontdubbel op businesssleutels, niet alleen op rij-hashes
• Zet datakwaliteitstests in als poort, niet als dashboard achteraf
• Modelleer slowly changing dimensions hier, niet in goud
• Houd het neutraal: nog geen afdelingsspecifieke definities

Goud: bouw dataproducten, geen losse tabellen

In goud staan de sets die mensen echt gebruiken: omzet per maand, churnrisico per klant, een featuretabel voor een model, een export voor een partner. Definities zijn afgestemd met de business en gedocumenteerd. Eén metric, één definitie, één eigenaar.

Behandel elke goudtabel als product: er is een afnemer, een SLA, een contract over kolommen en betekenis, en iemand die verantwoordelijk is als het misgaat.

Waarom de medallion-structuur zich terugbetaalt

1. Herleidbaarheid — elk getal is via zilver terug te volgen naar het ruwe record.
2. Herverwerken — logicawijzigingen speel je opnieuw af vanuit brons, zonder de bron opnieuw te bevragen.
3. Kostenbeheersing — zware transformaties draaien één keer in zilver in plaats van in elke dashboardquery.
4. Governance — je kunt toegang per laag verlenen; de meeste gebruikers raken ruwe data nooit aan.
5. AI-gereedheid — modellen en AI-assistenten gebruiken goud met gedocumenteerde betekenis, wat verkeerde interpretaties sterk vermindert.

Naamgeving en conventies die het onderhoudbaar houden

• Schema per laag: bronze_, silver_, gold_ of aparte catalogi
• Tabelnamen: bronze.crm_contacts_raw, silver.dim_klant, gold.fct_omzet_maandelijks
• Lees altijd alleen uit de laag eronder — sla nooit een laag over
• Eén eigenaar per goudproduct, vastgelegd in de catalogus
• Standaard incrementeel; volledige refresh is de uitzondering

Veelgemaakte fouten

• Businesslogica in brons. Je verliest herhaalbaarheid en verstopt fouten.
• Een goudlaag die een kopie van zilver is. Zonder aggregatie of afspraak kost de laag geld zonder waarde toe te voegen.
• Dashboards die rechtstreeks uit zilver lezen. Definities lopen direct uiteen.
• Vier, vijf of zes lagen. Extra lagen geven zelden meer duidelijkheid, wel meer latency en kosten.
• Geen datacontracten. Zonder afgesproken schema''s breekt elke bronwijziging ongemerkt de productie.
• Kwaliteitstests zonder consequentie. Een falende test moet de pipeline stoppen, niet alleen een tegel rood kleuren.

Medallion en AI: waarom het nu extra telt

AI-assistenten, RAG-systemen en agents bevragen je data zonder enige voorkennis. Ze weten niet dat omzet_v2_definitief de juiste tabel is. Een schone goudlaag met gedocumenteerde en eenduidig gedefinieerde metrics is de meest effectieve manier om AI-antwoorden betrouwbaar te maken — dezelfde discipline die BI betrouwbaar maakt, maakt AI betrouwbaar.

Veelgestelde vragen

Is een medallion-architectuur alleen voor Databricks?

Nee. Het patroon is platformonafhankelijk en werkt op Snowflake, BigQuery, Fabric of een traditioneel warehouse. Databricks heeft de naamgeving populair gemaakt.

Heb je altijd drie lagen nodig?

Drie is het praktische minimum voor herleidbaarheid. Kleine platformen voegen zilver en goud soms samen, maar dan verlies je het onderscheid tussen correct en afgesproken.

Hoe verhoudt medallion zich tot data mesh?

Ze vullen elkaar aan: medallion beschrijft de gelaagdheid binnen een domein, data mesh het eigenaarschap over domeinen heen. Elk domein kan een eigen brons, zilver en goud draaien.

Waar horen datakwaliteitscontroles?

Op de grens tussen lagen. Van brons naar zilver toets je technische validiteit en volledigheid; van zilver naar goud toets je businessregels en consistentie van metrics.

Zo begin je

Start met één domein en één goudproduct waar iemand echt op zit te wachten. Bouw brons en zilver alleen zo ver als dat product vraagt, zet kwaliteitspoorten vanaf dag één in en breid van daaruit uit. Onze data engineers helpen organisaties met het ontwerpen en implementeren van deze gelaagdheid, inclusief datacontracten, testing en governance.