50% remote - Backend & Cloud Engineer ---Azure & Databricks (m/w/d)
nemensis AG
Contact person: Dirk Gebhardt
Köln, Germany
ITApplication Programming Interfaces (APIs)Amazon Elastic Compute CloudMicrosoft AzureCloud EngineeringApache CloudStackData ValidationDevOpsPython (Programming Language)Azure SQLAzure Data LakeSQL DatabasesData ProcessingAzure AutomationAzure Data FactoryBackendGitLabFastAPIBackend ProgrammingGitlab-ciKubernetesApache KafkaApi DesignTerraformAzure Data AnalyticsAzure Resource ManagerDatabricks
Description
Für unseren Kunden suchen wir einen Backend & Cloud Engineer ---Azure & Databricks (m/w/d).
Rahmendaten:
Laufzeit: asap bis 31.12.2027 (längerfristige Zusammenarbeit gewünscht)
Leistungsort: Köln, nach Absprache remote -Anteile bis zu 50% möglich
Auslastung: Vollzeit
Profilanforderungen
Leistungsgegenstand sind die Konzeption, Entwicklung und der sichere, automatisierte und zuverlässige Betrieb skalierbarer Backend -Services und Cloud -Infrastrukturen. Die Leistungen verbinden Backend Engineering, Cloud Architecture und DevOps und umfassen die technische
Grundlage für daten - und KI -gestützte Anwendungen auf Azure und Databricks in
Zusammenarbeit mit einem crossfunktionalen Team.
Leistungsbeschreibung
- Konzeption, Entwicklung und Betrieb skalierbarer Backend -Services und APIs mit Python auf Microsoft Azure ---von der Architektur bis zum produktiven Betrieb.
- Entwicklung von REST - und eventbasierten Schnittstellen zur zuverlässigen Kommunikation zwischen Databricks, Datenprodukten, internen Systemen und externen Services.
- Entwicklung wiederverwendbarer Backend -Komponenten einschließlich Datenvalidierung, Fehlerbehandlung, Authentifizierung und Autorisierung.
- Gestaltung und Betrieb von Azure -Cloud -Architekturen für Anwendungen, Datenverarbeitung und Integrationen mit Databricks.
- Automatisierung der Infrastrukturbereitstellung mit Terraform (Infrastructure as Code)und Erstellung wiederverwendbarer Module für Azure - und Databricks -Ressourcen.
- Etablierung von GitLab -CI/CD -Pipelines für Build, Testing, Security -Checks, Infrastrukturänderungen und automatisierte Deployments.
- Anbindung von Azure Databricks über APIs, Jobs und Workflows an Backend -Services sowie bestehende Daten - und Anwendungslandschaften.
- Implementierung Python -basierter Services und Automatisierungen für API -, Batch - und eventgesteuerte Prozesse .
- Containerisierung und Betrieb von Anwendungen mit Docker und Azure Container Apps oder Kubernetes sowie Sicherstellung reproduzierbarer Deployments.
- Sicherstellung eines stabilen Betriebs und zuverlässiger Fehleranalysen durch Monitoring, Logging, Tracing und Alerting .
- Umsetzung von Security -by -Design mit Microsoft Entra ID, Managed Identities, Key Vault, RBAC und Private Endpoints.
- Optimierung von Performance, Skalierbarkeit, Ausfallsicherheit und Cloud -Kosten über Services, Infrastruktur und Datenzugriffe hinweg.
- Enge Zusammenarbeit mit Product Owner, Data Engineering, AI Engineering, Cloud -Teams und Security sowie Mitwirkung an Architekturentscheidungen.
- Dokumentation von APIs, Architekturen, IaC -Modulen, Deployment -Pipelines und Betriebsprozessen zur nachhaltigen Weiterentwicklung und zum Betrieb der Lösungen
Erforderliche Qualifikationen und Erfahrungen
- Mehrjährige Erfahrung als Backend Engineer, Cloud Engineer, DevOps Engineer oder in einer vergleichbaren technischen Rolle.
- Sehr gute Kenntnisse in Python, API -Design und REST sowie in modularer Softwareentwicklung, automatisierten Tests und Code Reviews.
- Fundierte praktische Erfahrung mit Microsoft Azure , insbesondere Compute, Networking, Storage, Identity, Secrets und Monitoring.
- Sicherer Umgang mit Terraform (Infrastructure as Code) und Erfahrung mit der automatisierten Bereitstellung von Cloud -Ressourcen.
- Sehr gute Kenntnisse in GitLab und GitLab CI/CD , einschließlich Versionsverwaltung, Build - und Deployment -Pipelines.
- Fundierte Erfahrung mit Azure Databricks , beispielsweise mit Jobs, Workflows, APIs, Unity Catalog oder Datenintegration.
- Erfahrung mit Docker und containerisierten Anwendungen sowie mit Azure Container Apps oder Kubernetes.
- Gutes Verständnis verteilter Systeme, Schnittstellen und eventgetriebener Architekturen einschließlich robuster Fehlerbehandlung.
- Solides Verständnis von Cloud Security, IAM, RBAC, Private Networking und dem Schutz sensibler Unternehmensdaten.
- Erfahrung mit Observability, Logging, Tracing und Monitoring im produktiven Betrieb von Cloud -Anwendungen.
- Fähigkeit, fachliche Anforderungen in wartbare, skalierbare Lösungen zu übersetzen und im crossfunktionalen Team eigenverantwortlich zu arbeiten.
Weitere wünschenswerte Qualifikationen
- Erfahrung mit FastAPI, Pydantic und asynchroner Python -Entwicklung.
- Kenntnisse in Databricks Asset Bundles, Spark, SQL und Delta Lake sowie der Entwicklung von Datenpipelines.
- Erfahrung mit Azure Event Hubs, Service Bus oder Apache Kafka und asynchroner Nachrichtenverarbeitung.
- Grundverständnis von AI-Serving -Infrastrukturen und der sicheren Integration von AI -Agenten über Backend -APIs.
- Erfahrung in regulierten oder datenschutzsensiblen Unternehmensumfeldern