Hadoop hive mapreduce spark

Hadoop, Hive, MapReduce & Spark

Matricule-se agora por R$ 1.850,00
Hadoop hive mapreduce spark%20 1
7 vídeos
6 textos
32 horas

Descrição do curso

Este curso de formação prática fornece os conceitos-chave e experiência que os participantes precisam para instalação, inserção e processamento de dados em um cluster Hadoop usando as ferramentas e técnicas mais atualizadas. Empregando projetos de ecossistemas Hadoop como Hive, Spark, e Sqoop, este curso de treinamento é a melhor preparação para os desafios do mundo real enfrentados pelos desenvolvedores do Hadoop. Nosso curso traz conteúdos essenciais para preparar os profissionais tanto para o mercado de trabalho quanto para as provas de certificações da Cloudera e HortonWorks.

Categoria: Cientista de Dados


Informações gerais

Conteúdo
  • Implementando o Apache Hadoop
  • Planejando o seu Cluster Hadoop
  • Instalação do Hadoop e configuração inicial
  • Instalação e configuração do Hive, Impala e Pig
  • Ingestão dos Dados - Desenvolvendo as habilidades para transferir dados entre sistemas externos e seu cluster
  • Importe e exporte dados entre um RDBMS externo e seu cluster, incluindo a capacidade de importar subconjuntos específicos, alterar o delimitador e o formato de arquivo de dados importados durante a ingestão e alterar o padrão ou privilégios de acesso a dados.
  • Carregar dados para dentro e para fora do HDFS usando os comandos do Sistema de Arquivos Hadoop (FS).
  • Análise de dados - Filtrar, ordenar, unir, agregar e/ou transformar um ou mais conjuntos de dados em um dado formato armazenado em HDFS para produzir uma resultado especificado. Todas essas tarefas podem incluir leitura de Parquet, Avro, JSON, texto delimitado e texto em linguagem natural. As consultas incluirão tipos de dados complexos (por exemplo, matriz, mapa, estrutura), a implementação de bibliotecas externas, dados particionados, dados compactados e exigirão o uso de metadados do Hive / HCatalog.
  • Escrever uma consulta para agregar várias linhas de dados
  • Escreva uma consulta para calcular estatísticas agregadas (por exemplo, média ou soma)
  • Escrever uma consulta para filtrar dados
  • Escrever uma consulta que produz dados classificados ou classificados
  • Escrever uma consulta que une vários conjuntos de dados
  • Ler e/ou criar uma tabela Hive ou HCatalog a partir de dados existentes em HDFS
Objetivo

O que é abordado nesse curso?

Este curso de formação prática fornece os conceitos-chave e experiência que os participantes precisam para instalação, inserção e processamento de dados em um cluster Hadoop usando as ferramentas e técnicas mais atualizadas. Empregando projetos de ecossistemas Hadoop como Hive, Spark, e Sqoop, este curso de treinamento é a melhor preparação para os desafios do mundo real enfrentados pelos desenvolvedores do Hadoop. Nosso curso traz conteúdos essenciais para preparar os profissionais tanto para o mercado de trabalho quanto para as provas de certificações da Cloudera e HortonWorks.


Qual o conhecimento esperado do aluno antes de participar?

A familiaridade básica com a linha de comando do Linux, conhecimento básico em SQL e bancos de dados relacionais é necessário. Desejável conhecimento em Modelagem Dimensional e ferramentas de BI. (não mandatório). Ter realizado o treinamento Hadoop Essentials ou ter conhecimentos equivalentes é necessário. 


Qual o tempo de acesso ao curso?

O aluno terá acesso ao conteúdo do curso pelo período de 60 dias após realizar a sua matrícula.

Existem outras Formas de pagamento?

Entre em contato com Treinamento@bidobrasil.com.br para solicitar pagamento à vista ou via boleto bancário. Para pagamento à vista considerar 5% de desconto.

Público alvo

Este curso é projetado para analistas de BI, desenvolvedores e engenheiros que têm experiência em programação.

Metodologia

Os alunos assistirão vídeos, farão a leitura de textos propostos e executarão atividades propostas, totalizando 32 horas (estimadas) de Estudos e 12 horas (estimadas) de vídeo aulas.

Ao concluir o curso em até 30 dias corridos após a matrícula você receberá 10% de desconto para realizar outros cursos online com a BI do Brasil. Envie um e-mail para treinamento@bidobrasil.com.br para saber mais sobre esta promoção.

Certificado

O certificado será disponibilizado ao término do treinamento.

O que você vai aprender

  • Hadoop Administração - Preparando o ambiente e Implementando um cluster Hadoop Neste módulo nós vamos aprender as melhores práticas e como instalar um ambiente Apache Hadoop On-Premisse.
  • Importando e Exportando dados com Sqoop Este módulo de formação prática fornece os conceitos-chave e experiência que os participantes precisam para ingerir e processar dados em um cluster Hadoop usando as ferramentas e técnicas mais atualizadas. Neste módulo o aluno aprenderá como trabalhar com o sqoop - um projeto do ecosistema Hadoop.
    • Material para Leitura - Sqoop - Parte1

      Documento
    • Sqoop - Parte 1

      Vídeo
    • Próximos Passos para o Exercício

      Texto
    • Laboratório 1 e 2 - Importando e Consultando Dados Relacionais e Não-estruturados

      Documento
    • Material para Leitura :: Sqoop - Parte 2

      Documento
    • Sqoop - Parte 2

      Vídeo
  • Desenvolvimento com Hive Neste módulo você vai entender o que é Hive, e aprender a utilizar comandos da camada de DDL (Definição) e DML (Manipulação) para, respectivamente, trabalhar a definição e manipulação dos dados.
Professores