Data Pipelines Modernisieren | SSIS Ablösung & Data Engineering

Typische Ausgangssituation im Mittelstand:

🗄️

SSIS-Spaghetti

"SSIS-Pakete aus 2012 die Klaus gebaut hat. Klaus ist seit 5 Jahren weg. Niemand traut sich die anzufassen."

⚙️

PowerShell-Chaos

"30+ PowerShell-Scripts die 'irgendwie' getriggered werden. Manchmal läuft's, manchmal nicht. Keiner weiß warum."

💾

Stored Procedure Jungle

"1500-Zeilen Stored Procedures mit 8h Laufzeit. Jede Änderung = 3 Wochen Testing. Dokumentation? LOL."

📊

Excel-Hölle

"Jeden Monat exportieren wir manuell 8 Excel-Dateien, fügen sie zusammen, und hoffen dass keine Formel kaputt geht."

🖥️

Der Server unter Volkers Tisch

"Unsere ETL läuft auf einem Windows Server 2012 unter jemandem's Schreibtisch. Wenn der abstürzt = Katastrophe."

⏰

Batch Jobs die 'irgendwann' laufen

"Scheduled Tasks die nachts laufen... meistens. Manchmal nicht. Wir merken's erst wenn Reports fehlen."

Der Unterschied zwischen Legacy-Chaos und modernen Pipelines:

Status Quo (Legacy)

SSIS + SQL Server + PowerShell Chaos
Stored Procedures mit 8h Laufzeit
Excel-Exports jeden Monat manuell
Keine Dokumentation, Bus-Factor = 1
Änderungen dauern Wochen (Regression!)
"Der Server den keiner anfassen darf"

Moderne Pipelines

dlt + dbt + Dagster (Standard-Tools)
Optimierte Queries, Minuten statt Stunden
Automatisiert, jeden Tag fresh data
Dokumentiert, getestet, in Git
Safe deployments, jeder kann ändern
Monitoring, Alerts, kein Rätselraten

[SETUP]

DATA PLATFORM AUFBAU

Von Null auf moderne Data Platform. Für Unternehmen die endlich ihre Daten zusammenführen wollen.

💡 Ideal für: Excel + manuelle Exports als Status Quo. 3-8 Datenquellen die zusammengeführt werden sollen.

→ 5-8 Datenquellen anbinden (APIs, DBs, Files)
→ PostgreSQL/DuckDB Warehouse (on-premise möglich)
→ dbt Transformations (Staging → Business Logic)
→ Dagster Orchestration & Monitoring
→ Dokumentation & Team-Training (4h Workshop)

[MIGRATION]

SSIS/LEGACY MODERNISIERUNG

SSIS-Chaos aufräumen. PowerShell-Scripts modernisieren. Stored Procedures refactoren.

💡 Ideal für: SSIS/Talend/Pentaho das nicht mehr wartbar ist. PowerShell-Batch-Job-Chaos. Stored Procedure Jungle.

→ Analyse: Was läuft wo, wie, warum?
→ Migration auf dlt + dbt (Step-by-Step)
→ Parallel-Betrieb & Data Reconciliation
→ Performance-Optimierung (Queries, Indexing)
→ Cutover mit Rollback-Plan

[SUPPORT]

MANAGED PIPELINE OPS

Laufender Support. Monitoring. Incidents. Damit dein Team sich aufs Business konzentrieren kann.

💡 Ideal für: Teams ohne dedizierten Data Engineer. Oder als Übergang bis internes Team trainiert ist.

→ 24/7 Pipeline Monitoring (Dagster Dashboard)
→ Incident Response (SLA: 2h Reaktionszeit)
→ Monatliche Performance-Reviews
→ Schema Changes & neue Datenquellen
→ Quarterly Business Reviews + Roadmap

Moderne, wartbare Tools. Keine Experimente. Dein Team kann sie übernehmen.

dlt

Data Ingestion

Ersetzt: Fivetran, Custom Scripts, SSIS Data Flows
Python-basiert, jede API/DB anbindbar, volle Kontrolle.

$ pip install dlt

dbt

Transformations

Ersetzt: Stored Procedures, SSIS Transformations
SQL-basiert, getestet, dokumentiert, in Git.

SELECT * FROM {{ ref('staging') }}

Dagster

Orchestration

Ersetzt: SQL Agent Jobs, Windows Scheduler, Airflow
Modern, UI, automatisches Lineage, Monitoring.

@asset(deps=[raw_data])

PostgreSQL

Data Warehouse

Ergänzt/Ersetzt: SQL Server Data Warehouse
Analytics-optimiert, robust, 1-500GB sweet spot.

On-premise oder Cloud

Können wir SSIS/SQL Server weiter nutzen?

Ja, das ist kein "Rip & Replace". Wir können stufenweise migrieren: Erst neue Pipelines in dlt/dbt, dann nach und nach Legacy ablösen. SQL Server kann als Source oder sogar als Warehouse weiterlaufen.

Was wenn unser Team nur SQL Server kennt?

Perfekt - dbt ist SQL-basiert! Dein Team kann sofort productive sein. dlt ist Python, aber das ist einfacher als SSIS-XML-Configs. Training ist included, nach 1-2 Wochen kommt euer Team damit klar.

Wie riskant ist eine Migration von SSIS zu dlt/dbt?

Wir machen Parallel-Betrieb: Legacy läuft weiter, neue Pipelines parallel. Data Reconciliation checkt dass Outputs identisch sind. Erst wenn alles 2-4 Wochen stabil läuft, Cutover. Rollback jederzeit möglich.

Muss alles on-premise bleiben?

Nein, du entscheidest. On-premise (Docker auf eurem Server), Cloud (AWS/Azure/GCP), oder Hybrid. Die Tools funktionieren überall. Viele Kunden starten on-premise für Compliance, gehen später in Cloud.

Was kostet das langfristig (vs. SSIS)?

SSIS-Lizenzen + SQL Server: ~€5-10k/Jahr (je nach Größe).
Mein Stack: €0/Jahr Tooling (Open Source).
Du zahlst nur Setup (einmalig) + optional Managed Support. Nach 2-3 Jahren hast du massiv gespart.

Was wenn es nicht funktioniert?

Wir haben klare Milestones: Week 1 Review, Week 2 Demo. Wenn du nicht zufrieden bist, stoppen wir und du zahlst nur für geleistete Arbeit. Aber: In 5 Jahren ist kein Setup gescheitert. Referenzen verfügbar.

Status Quo (Legacy)

Moderne Pipelines

DATA PLATFORM AUFBAU

SSIS/LEGACY MODERNISIERUNG

MANAGED PIPELINE OPS

SCHLUSS MIT DEM DATEN-CHAOS