Medallion Architektur in Microsoft Fabric: Bronze, Silver & Gold praktisch umsetzen

Definition

Die Medallion Architecture ist ein Architekturpattern, das Daten in einem Lakehouse in Bronze-, Silver- und Gold-Layer strukturiert. Sie ist kein Tool und keine einzelne Pipeline, sondern eine klare Qualitäts- und Verantwortungslogik vom Ingest bis zum Reporting.

Einleitung

Wenn Reporting bei euch an Excel-Konsolidierung, widersprüchlichen KPIs oder „wo kommen die Zahlen her?“ scheitert, hilft Struktur mehr als noch ein neuer Report. Die medallion architektur in microsoft fabric ist genau dafür gedacht: Daten wandern durch definierte Layers, werden pro Schritt besser und enden als verlässliche Gold-Daten, auf die auch Nicht-IT-Teams zugreifen können.

Bronze, Silver, Gold: Was in welche Schicht gehört

Die Trennung ist simpel, aber entscheidend: Jede Schicht hat ein klares Ziel und verhindert, dass „irgendwo“ Business-Logik entsteht.

• Bronze layer: Ingestion ohne fachliche Transformation. Dateien, Tabellen, Streams landen so nah wie möglich am Original (inkl. Zeitstempel, Quelle, Lade-ID).

• Silver layer: Daten werden stabil gemacht: Typen, Formate, Deduplizierung, Validierungen, konforme Schlüssel, einheitliche Schemata. Hier entstehen „refined“ Delta Tables.

• Gold layer: Daten werden für Analytics und BI modelliert: Star Schema, Kennzahlen-nahe Tabellen, Aggregationen, geprüfte Dimensionen. Hier hängt das Reporting dran.

Schritt-für-Schritt: Implementierung im Fabric Lakehouse

Ein pragmatisches Setup, das schnell produktiv wird und trotzdem skalierbar bleibt:

1) Workspace und Lakehouse-Struktur

Lege einen Fabric-Workspace an und erstelle ein Lakehouse mit klarer Ordner-/Schema-Logik je Layer (z. B. /bronze, /silver, /gold oder getrennte Lakehouses). Wichtig ist nicht die Form, sondern die eindeutige Trennung von „raw“ vs. „curated“.

2) Bronze-Ingestion aufbauen

Lade Daten per Data Pipelines oder Dataflows Gen2 in Bronze. Schreibe in Delta Tables (Delta Lake), damit Versionierung und reproduzierbare Loads möglich bleiben. In Bronze gilt: append-first, wenig Logik.

3) Silver-Transformation mit Notebooks (PySpark)

Nutze Spark Notebooks (PySpark), um aus Bronze nach Silver zu schreiben: Casts, Normalisierung, Dublettenlogik, Standardwerte, technische Historisierung. Für inkrementelle Updates sind MERGE / upsert-Patterns üblich.

4) Gold-Modellierung für Reporting

Baue in Gold eure fachliche Sicht: Fakten und Dimensionen (Star Schema). Viele Teams nutzen dafür SQL im Lakehouse (SQL analytics endpoint) oder Spark-Transformationsjobs, je nach Skillset.

5) Berichtsanbindung über SQL Endpoint und Semantic Model

Expose Gold über den SQL analytics endpoint und erstelle darauf ein Semantic model für Power BI. Der Nutzen: Report-Ersteller arbeiten auf kuratierten Gold-Daten statt auf Rohdaten oder einzelnen Excel-Importen.

Typische Datenströme (Bronze Silver Gold) als Mini-Beispiel

Beispiel „Umsatzreport“: ERP-Export + CRM-Daten + manuelle Zielwerte.

• Bronze: ERP-Sales-CSV, CRM-Accounts, Zielwerte aus einer Datei landen unverändert im Lakehouse.

• Silver: PySpark bereinigt Datumsformate, entfernt Dubletten, harmonisiert Kundenschlüssel und schreibt Delta Tables mit stabilem Schema.

• Gold: Fakten „Sales“ werden mit Dimensionen „Customer“, „Product“, „Date“ modelliert; KPIs wie Umsatz, Marge, Plan/Ist sind konsistent und report-ready.

Datenqualität, Governance und Metadaten: Ohne das wird Gold nicht vertrauenswürdig

Medallion funktioniert nur, wenn Qualität messbar und Governance konkret ist. Drei Hebel, die sofort Wirkung bringen:

• Datenqualitätsregeln in Silver: Pflichtfelder, Schlüssel-Eindeutigkeit, Wertebereiche und technische Checks als wiederholbare Tests (fail fast statt stille Fehler).

• Zugriff nach Layer: Fachbereiche bekommen in der Regel nur Gold. Bronze/Silver bleiben für Data Engineering, damit niemand Rohdaten falsch interpretiert.

• Metadaten und Lineage: Nutze Fabric-Metadaten/Lineage und (wo vorhanden) Microsoft Purview, damit klar ist, welche Quelle welche Gold-Kennzahl speist.

Vorteile, Einsatzszenarien und warum sich das lohnt

Der Business-Mehrwert ist nicht „schönere Architektur“, sondern weniger Reibungsverlust im Alltag:

• Schnelleres Reporting: Gold ist BI-ready, dadurch weniger Modellierungs- und Abstimmungsaufwand pro neuem Dashboard.

• Self-Service ohne Chaos: Fachbereiche bauen auf stabilen Gold-Daten (Power BI, Excel), ohne jedes Mal Daten bereinigen zu müssen.

• Skalierbarkeit: Neue Quellen werden erst in Bronze angedockt und wandern kontrolliert nach Silver/Gold, statt das Reporting zu zerbrechen.

Best Practices und Messgrößen: Woran du Erfolg festmachst

Ohne Messbarkeit bleibt „Komplexität“ gefühlt. Diese Kennzahlen sind in der Praxis hilfreich:

• Data Quality: Anteil bestandener Silver-Checks (z. B. % gültige Schlüssel, % Duplikate, Freshness).

• Time-to-Insight: Zeit von neuer Anforderung bis erster Gold-Tabelle/Report (vorher vs. nachher).

• Adoption: Anzahl Reports/Analysen, die ausschließlich auf Gold basieren (statt auf Excel-Imports).

Best Practice aus Umsetzungssicht: Gold klein starten (1–2 Use Cases), dafür konsequent sauber. Der häufigste Fehler ist, Bronze vollzuladen und Gold „später“ zu bauen.

Diagramm-Beispiele: So kannst du es visualisieren

Für Doku, Workshops oder Architekturfreigabe reichen oft ASCII-Skizzen wie diese:

Quelle → Bronze (raw Delta) → Silver (clean Delta, MERGE/upsert) → Gold (Star Schema + KPIs) → Semantic model → Power BI

Oder als Zonenbild:

[Landing Zone/Bronze] → [Refined Zone/Silver] → [Business Zone/Gold] → [Reporting/Analytics]

Wann externe Unterstützung sinnvoll wird

Externe Hilfe lohnt sich, wenn du schnell von „Daten vorhanden“ zu „Reporting funktioniert verlässlich“ kommen musst, ohne erst wochenlang Patterns auszuprobieren. Typische Trigger sind mehrere Quellsysteme, inkrementelle Loads (MERGE / upsert), unklare Datenqualität oder Governance-Vorgaben.

Auch sinnvoll: wenn ihr schon Power BI nutzt, aber euch die stabile Datenplattform fehlt, damit nicht jedes Dashboard zum Einzelfall wird.