Data Engineer - Vannes H/F - Visian

Le besoinLocalisation : BretagnePrésence sur site minimum 3 jours par semaineCandidatures locales privilégiéesContexteAu sein d'un Chapitre Data intervenant en transverse dans l'entreprise, vous contribuez à la fabrication des cas d'usage Data portés par différentes Squads métiers. Vous évoluez dans un environnement collaboratif avec des interlocuteurs variés et participez activement aux échanges avec les membres du Chapitre présents sur d'autres sites en France.MissionsParticiper à la définition de l'architecture Data avec les architectes et les SquadsConcevoir et développer des solutions de collecte, transformation et stockage de données issues de multiples sourcesDévelopper des pipelines Spark batch et Spark StreamingMettre en place les tests unitaires et automatisésDéployer les solutions dans les différents environnementsAssurer le suivi en production et la gestion des incidentsÊtre force de proposition et contribuer à l'amélioration continueEnvironnement techniqueSpark (batch et streaming) indispensableSQL indispensableScala appréciéKafka appréciéJava et Shell appréciésStack Hadoop ClouderaHDFS, Hive, HBase, Phoenix, MongoDBGit, Jenkins, Artifactory, XL ReleaseELK, GrafanaMéthodologie ScrumConnaissances appréciéesOutils de data visualisation tels que MicroStrategy, Power BI ou TableauProfil recherchéExpérience confirmée en Data Engineering Big DataSolide maîtrise de Spark dans un environnement Hadoop / ClouderaCapacité à évoluer en contexte transverseSoft skills attenduesAutonomieAdaptabilitéBonne communicationCapacité à challenger les besoinsPrise de lead et force de proposition

• Test unitaire
• Java
• Amélioration continue
• Shell
• Autonomie
• Hive
• MongoDB
• Big data
• Jenkins
• Git
• Power BI
• Grafana
• Scrum
• Scala
• Force de proposition
• SQL
• Hadoop
• ELK
• KAFKA