Опис
Даний курс унікальний тим, що автор викладає його вже два роки і він залишається єдиним доступним, але, в той самий час, всеосяжним введенням в чарівний світ великих даних і Hadoop. Розглянемо все: починаючи від принципово важливих відмінностей між Hadoop і реляційними базами даних, закінчуючи роботою з основними інструментами. Навчимося закачувати дані в Hadoop і отримувати їх назад, імітуючи побудову найпростіших додатків. Курс забезпечений об`ємною практикою з розгортанням своїх власних кластерів в Клауді (Amazon Web Services) і абсолютно точно затримається в голові надовго. Додайте сюди ще мільйон корисних порад, підводних каменів, кращих практик найбільших світових компаній таких як Cisco, Deloitte, Cloudera і веселих історій з життя одного з найкращих Hadoop-архітекторів України та викладача Kyivstar Big Data School 2.0, в колі таких саме допитлівих хлопців і дівчат, як і ви самі.
Аудиторія: data-інженери, адміністратори, DevOps-інженери, програмісти і всі, кому цікаво підвищити свій професійний клас і записати туди основи Hadoop і Big Data.
Складність: бажано знати основи реляційних баз даних (Мова SQL) і базові команди Linux.
Тривалість: 20 годин (5 занять)
Час проведения:
Пт, 6 Квітня 2018 08:00 – 12:00 (4 години)
Сб, 7 Квітня 2018 10:00 – 14:00 (4 години)
Нд, 8 Квітня 2018 10:00 – 14:00 (4 години)
Сб, 14 Квітня 2018 10:00 – 14:00 (4 години)
Нд, 15 Квітня 2018 10:00 – 14:00 (4 години)
Місце проведення: Київ, Гетьмана 1Б, Коворкінг “Data Hub” (м. Шулявська)
Вартість: 5999 грн.
Програма курсу: Hadoop & Big Data Essentials
- Повторення поняття реляційної бази даних
- Пояснення понять OLTP, OLAP, ETL
- Розгляд типової IT-інфраструктури підприємства з точки зору зберігання і обробки даних
- Пояснення поняття Великих Даних, характеристики Великих Даних
- Проблеми в обробці Великих Даних
- Екскурс в технології обробки Великих Даних
- CAP и BASE теореми
- Типи NoSQL і NewSQL баз даних
- NoSQL vs Hadoop
- Місце Hadoop в IT-інфраструктурі підприємства
- Огляд системи Hadoop і типові приклади використання
- Архітектура Hadoop
- Дистрибутиви Hadoop
- Огляд екосистемних проектів Hadoop
- Архітектура м сервіси HDFS
- Як зберігаються дані в HDFS?
- Процеси читання і запису файлів в HDFS
- Відмовостійкість, NameNode federation
- Проблема зберігання маленьких файлів в HDFS
- Формати файлів і компресія даних в HDFS
- Розгляд парадигми MapReduce на прикладі
- Архітектура кластера Hadoop з YARN
- Як працюють основні компоненти YARN
- Job Scheduling
- Spark on YARN – основні концепції та архітектура
- Які ресурси необхідні для установки кластера?
- Установка кластера Hadoop на 3 вузлах
- Управління кластером Hadoop через графічний інтерфейс і утиліту Hue
- Знайомство с Zeppelin
- Моніторинг процесів HDFS
- Огляд конфігураційних файлів HDFS
- Робота з нативними графічними інтерфейсами HDFS
- Маніпуляція даними в HDFS через командний рядок
- Програми HDFS, що полегшують життя
- Моніторинг процесів YARN
- Огляд конфігураційних файлів YARN
- Робота з ResourceManager UI
- Запуск і моніторинг MapReduce программ
- Запуск і моніторинг Spark программ
- Hadoop benchmarking
- Формати файлів і компресія
- Огляд Hive і Impala
- Таблиці і партиціювання в Hive
- Завантаження даних в таблиці Hive
- Читання данних за допомогою Hive і Impala
Питання і відповіді:
Q: Для кого цей курс?
A: Не важливо, хто ви – дата сайнтист, DevOps, тестувальник або програміст – якщо вам необхідно працювати з Hadoop, то цей курс для вас.
Q: Що я зможу робити після цього курсу?Q: Що я зможу робити після цього курсу?
A: Ви будете знати основну теорію Big Data, а також зможете розповісти як влаштований і працює Hadoop, навчитеся самостійно встановлювати кластера Hadoop, ефективно працювати з HDFS, запускати MapReduce програми або Spark додатки, оперувати даними за допомогою Hive і Impala, а також заливати дані в Hadoop з зовнішніх систем.
Q: Як буде виконуватися практика?
A: Знадобиться ноутбук і AWS-аккаунт. В рамках курсу ви створите AWS аккаунт (якщо у вас ще немає його), встановіть під чуйним керівництвом тренера кластер Hadoop, що складається з 3 “нод” (вузлів) і всю практику будете виконувати саме на цьому кластері. І природно, цей кластер залишиться вам для подальшого самонавчання і практики.
Q: Чи буду я платити додаткові гроші за інфраструктуру?
A: Так. Знадобиться карта з приблизно 20 доларами на ній для настройки інстанси на AWS. Ми могли б включити ці невеликі гроші в вартість курсу, але не хочемо обмежувати вашу творчість на випадок якщо ви відразу захочете створювати кластера на 10-20 і навіть 100 машин. Крім того, це навчить тих, хто ще не вміє, акуратно розпоряджатися ресурсами AWS і своїми грошима.