Emprego - Tecnologias de Informação Novo Portal de Emprego das Tecnologias de Informação
Empresas em Destaque
 randstadgraftonbehaviour  nett manpower Multipessoal
Mind Source slot adecco    proserve novabase



Data Architect/ Engineer


Robocore UK Ltd.
Data:28-3-2020  Local: Lisboa

Procuramos para empresa multinacional de referência no seu sector:

DATA ARCHITECT/ENGINEER

Requisitos:
Formação na área de sistemas ou engenharia da computação;
Skill's: Híbrido;
Conhecer as principais ferramentas de Big Data a seguir descritas: Hadoop, Spark, Azure Data Bricks - Obrigatório é necessário conhecer o ‘core’ destas ferramentas;
Hadoop - Manipulação de ficheiros em data lake HDFS, e controlo de acesso e
segurança da informação, saber gerenciar o modelo de dados ou layout dos ficheiros, bem como a sua formatação (Parquete, Json, CSV via libs e linha de comando);
Spark - Precisa saber programar em Python ou Scala para desempenhar o processo
de manipulação dos ficheiros em HDFS bem como aceder a bases de dados relacionais via JDBC configurado em linha de comando nos programas;

Spark AI/ML: No tocante ao Spark é fundamental e obrigatório que o profissional saiba manipular as bibliotecas de Python para processar dados como AI e Machine Learning (Carregamento, Treinamento e output set de ML e AI) deve saber ou conhecer as bibliotecas para Spark/ML e seus algoritmos clássicos nas Libs, interessante se conhecer Cortana no Azure (Plus para futuro não mandatório);
Python Dask e Kubernetes (Carregar Dask no Python fazer as chamadas correctas
e levantar Kubernetes as a Service e Kuberflow) - (Desejável e importante);
Ingestão de dados via Data Factory e Airflow para os Dockers (Mandatório)

Ferramentas:
Azure Data Bricks, Spark, Spark MLFlow, Delta/River e DataLake, Azure DevOps,
Kubernetes, Microsoft Docker.

Idiomas:
Desejável Inglês fluente ou mínimo avançado para conversação, escrita e
documentação.
Local de Trabalho: Lisboa (Porto poderá ser possível)

Os interessados deverão enviar o seu CV para






Voltar

Pagina Principal
Como Anunciar
Contacto


 
Pesquisar Ofertas