Уникальный курс

За основу курса взята уникальная методика компании Cloudera по быстрому обучению администраторов Hadoop. После прохождения этого курса вы будете уметь устанавливать и управлять кластерами на основе Cloudera Distribution of Hadoop (CDH), а также ознакомитесь c тончайшими настройками High Availability, Security и Performance.

Почти 100% практики

В этом курсе почти нет теории, зато есть невероятное количество интенсивной практики. Мы не просто научим вас решать конкретные задачи и проблемы, мы зададим mind-set как подходить к решению любой проблемы.

Трудоустройство

Нам постоянно нужны Big Data-инженеры, и лучших выпускников мы будем отбирать для своих Big Data проектов и работы в крупнейших IT-компаниях Украины. Отличная возможность для администраторов, DBA, Data Engineers стремительно ворваться в новое и увлекательное направление.

_DSC4298 copy

Валентин Кропов

Архитектор Big Data

Описание:

Уникальный курс, построенный на методиках самого крутого курса от Cloudera Engineering Team, на которых авторы курса занимали первые места два года подряд среди множества участников и который обойдется вам в десятки раз дешевле, чем мы заплатили за него в свое время. Мы поможем опытным и начинающим инженерам, администраторам и программистам баз данных не бояться самых сложных задач, связанных с администрированием Hadoop, покажем опытным DBA, что переключиться с реляционных баз данных в новый мир несктруктурированных данных – достаточно интересно и просто. Свежайшие и самые актуальные знания прямиком из штаб-квартиры компании Cloudera в Пало-Альто подготовят вас к получению одного из самых престижных сертификатов в мире Hadoop. Курс наполнен самой релевантной практикой, а в конце мы сделали "Финальные испытания" – полная настройка и конфигурирование кластера с нуля под присмотром ментора, которые подготовят вас к сложностям реального мира лучше любой теории.

Аудитория: администраторы, dev-ops инженеры и программисты Big Data / Hadoop

Сложность: средняя

Продолжительность: 32 часа (8 занятий)

Стоимость: 6999 грн

Программа Курса: Hadoop Operations – Deep Dive for Administrators

  • Методы установки
  • Обзор Parcels
  • Создание базы данных репозитория вручную
  • Ключевые моменты планирования установки Cloudera Manager (CM) и Cloudera Distribution of Hadoop (CDH)
  • Cloudera Manager UI
  • Документированные и недокументированные способы установки
  • Использование installation milestones
  • Использование логгирования (logging)
  • Cloudera Director
  • Практика: установка Cloudera Manager
  • Практика: установка Cloudera Distribution of Hadoop (CDH)
  • NameNode High Availability
  • HDFS – тестирование производительности
  • Обзор NameNode Web UI
  • Что такое safemode
  • HDFS – настройка производительности
  • Directory caching
  • Directory snapshots
  • NFS Gateway
  • Backups
  • Практика (data replication using HDFS, performance testing & tuning, NameNode HA, Snapshots)
  • Дизайн MRv1
  • Дизайн YARN/MRv2
  • Как устроен YARN
  • Различия MRv1 и YARN – история эволюции ресурс-менеджера
  • Impala Admission Control
  • Dynamic Prioritization/LLAMA
  • Обзор Resource Management
  • Практика: планирование ресурсов в YARN/RM
  • Практика: настройка YARN/RM
  • Практика: статические service pools
  • Словарь CM (Cloudera Manager)
  • Эффективный поиск в CM
  • Пользователи и роли
  • История команд
  • Мониторинг сервисов и ресурсов
  • Добавление уведомлений (Alerts)
  • Добавление проверок (Health checks)
  • Отрисовка временных данных (Charting time-series data)
  • Управление настройками (Managing property settings)
  • Обзор и вызовы CM API: основы автоматизации работы с CM
  • Практика: навыки навигации в CM
  • Практика: Создание своего дешборда (create a custom dashboard)
  • Практика: CM API
  • Практика: добавление CM в уже существующи CDH Cluster
  • Обзор функциональности по безопасности
  • Strong Authentication
  • Подготовка конфигурации Kerberos
  • Интеграция с Active Directory
  • Типичные проблемы интеграции Direct-to-AD
  • Fine-grained Authorization / ACL
  • Права в HDFS (Permissions)
  • Apache Sentry
  • Шифрование (Encryption)
  • CM-based Configuration
  • Практика: настройка Kerberos в CM
  • Практика: JDBC Connections in a Kerberised Cluster
  • Практика: Sentry Policy File Configuration
  • Практика: Sentry Service Configuration
  • HUE Design and Goals
  • RainStor Embraces HUE
  • Query editors (Hive, Impala, Pig)
  • Data browsers (HBase, Hive Metastore, Sqoop, ZooKeeper)
  • Workflow tools (Oozie, Editor)
  • Cloudera Search console
  • Установка при помощи Parcels
  • Ручная установка
  • HUE Administrative Features
  • Практика: установка standalone Hue
  • Практика: запуск задач в Workflow
  • Практика: add security component
  • Практика: запуск Hue как сервиса CM
  • Troubleshooting Philosophy & Wisdom
  • Максимальное использование документации и получение эффективной помощи
  • Определение проблем и "багов"
  • Troubleshooting-методология
  • Примеры проблем и разбор их решения
  • Практика: мы рушим – вы чините
  • Подготовка к "Финальным испытаниям"
  • Пять финальных практических заданий
  • Разбор выполнения
  • Получение оценок, рекомендаций ментора курса и дальнейших рекомендаций по обучению

Вопросы и Ответы:

Q: Для кого этот курс?

A: Администраторы, dev-ops инженеры и программисты Big Data / Hadoop. Все, кто уже хоть немного столкнулся с Hadoop и хочет систематизировать знания, а также копнуть глубже и получить множество практического опыта.

Q: Что я смогу делать после этого курса?

A: Данный курс более чем на 50% практический, после курса появятся уверенные навыки установки, настройки, отладки и решения проблем с кластерами Hadoop. За базу взят дистрибутив от Cloudera, но навыки, полученные в этом курсе, станут бесценными и для других дистрибутивов Hadoop. Мы научим вас не бояться ошибок и проблем, дадим работающую методологию их решения и откроем главный секрет, который отличает успешного Big Data-консультанта от не очень.

Q: Как будет выполняться практика?

A: Понадобится ноутбук и AWS-аккаунт. В рамках курса вы создадите AWS аккаунт (если у вас еще нет его), установите под чутким руководством тренера кластер Hadoop, состоящий из 3-"нод" (узлов) и всю практику будете выполнять именно на этом кластере.  И естественно, этот кластер останется вам для дальнейшего самообучения и практики.

Q: Буду ли я платить дополнительные деньги за инфраструктуру?

A: Да. Понадобится карта с примерно 20 долларами на ней для настройки инстансов на AWS. Мы могли бы включить эти небольшие деньги в стоимость курса, но не хотим ограничивать ваше творчество на случай если вы сразу захотите создавать кластера на 10-20 и даже 100 машин. Кроме того, это научит тех, кто еще не умеет, аккуратно распоряжаться ресурсами AWS и своими деньгами.

Q: Что такое "Финальные задания" в конце курса?

A: Это финальный экзамен, совокупность всего, изученного и опробованного во время курса. Мы хотим посмотреть на вашу работу в реальном времени, дать адекватную оценку и подсказать что и как учить дальше.