Senior Data Engineer– Snowflake & Iceberg

<p>................</p><p>Für unseren Kunden in <strong>Bern</strong>, suchen wir eine:n motivierte:n und aufgeschlossene:n <strong>Senior Data Engineer– Snowflake & Iceberg.</strong></p><p>Ziel des Projekts ist der Aufbau einer vollständigen, zuverlässigen und produktionsfähigen CDC-Lösung zur Synchronisation von TigerData nach Snowflake auf Basis von Apache Iceberg.</p><p>Die Lösung soll hinsichtlich Zuverlässigkeit, Transparenz und Betriebsfähigkeit einen vergleichbaren Standard wie die bestehenden CDC-Prozesse mit Fivetran HVR erreichen,</p><p><strong>Deine Aufgaben:</strong></p> <p> </p><ul><li>Analyse und Bewertung des von TigerData bereitgestellten CDC-Ansatzes auf Basis von Apache Iceberg</li><li>Definition und Konzeption einer geeigneten Zielarchitektur für die kontinuierliche Synchronisation von TigerData nach Snowflake</li><li>Konfiguration und Optimierung von Snowflake für die Verarbeitung der über Apache Iceberg bereitgestellten Daten</li><li>Konzeption und Implementierung der erforderlichen Iceberg-Komponenten und Datenstrukturen</li><li>Sicherstellung einer zuverlässigen Verarbeitung von Inserts, Updates und Deletes</li><li>Berücksichtigung von Schema Evolution, Datenkonsistenz, Datenlatenz, Recovery und Reconciliation</li><li>Aufbau von Monitoring-, Logging- und Fehlerbehandlungsmechanismen für einen stabilen Produktionsbetrieb</li><li>Technische Abstimmung mit TigerData und bei Bedarf direkt mit Snowflake</li><li>Unterstützung bei der Implementierung, Validierung und Produktivsetzung der End-to-End-Lösung</li><li>Dokumentation der technischen Architektur sowie Wissenstransfer an das interne Team</li></ul><p> </p><p> </p><p><strong>Dein Profil:</strong></p><ul><li>Mehrjährige praktische Erfahrung in der Konzeption und Umsetzung von Datenintegrations- und Replikationslösungen</li><li>Sehr gute Kenntnisse und praktische Projekterfahrung mit Snowflake</li><li>Nachweisbare Projekterfahrung mit Apache Iceberg</li><li>Fundiertes Verständnis von Change Data Capture (CDC), Datenreplikation und Streaming- bzw. Synchronisationsverfahren</li><li>Erfahrung im Aufbau und Betrieb produktionsfähiger CDC- und Datenintegrationsplattformen</li><li>Kenntnisse in den Bereichen Schema Evolution, Datenkonsistenz, Recovery, Reconciliation, Monitoring und Fehlerbehandlung</li><li>Erfahrung mit der Integration unterschiedlicher Datenplattformen und dem Aufbau robuster End-to-End-Datenflüsse</li><li>Fähigkeit, technische Lösungsansätze gemeinsam mit Softwareherstellern und internen Stakeholdern zu analysieren und voranzutreiben</li><li>Selbstständige, strukturierte und lösungsorientierte Arbeitsweise</li><li>Erfahrung mit Fivetran HVR oder vergleichbaren CDC- und Datenreplikationslösungen von Vorteil</li><li>Erfahrung mit der Anbindung von Time-Series-Datenbanken oder entsprechenden Datenplattformen von Vorteil</li><li>Fliessend in Deutsch und Englisch</li></ul><p>Find <a href="https://www.arbeitnow.ch">Jobs in Switzerland</a> on Arbeitnow</a>