nixp.ru v3.0

28 марта 2024,
четверг,
12:25:45 MSK

18 октября 2013, 11:27

Apache Hadoop 2: YARN, высокая доступность и масштабируемость для HDFS, поддержка Windows

Архитектура Hadoop YARN (MapReduce 2.0)
Архитектура Hadoop YARN (MapReduce 2.0)
Иллюстрация с сайта Hadoop.Apache.Org

16 октября некоммерческая организация Apache Software Foundation (ASF), обеспечивающая поддержку многочисленным Open Source-проектам, объявила о новом крупном релизе популярного фреймворка для организации распределенных вычислений — Apache Hadoop 2.

Главным новшеством в Apache Hadoop 2 стало добавление YARN — полностью переделанного MapReduce. Основной идеей в создании так называемого MapReduce 2.0 (MRv2), ныне именуемого YARN, является разделение двух крупных функций JobTracker: управление ресурсами и планирование/мониторинг задач — на два демона. В результате, появился глобальный ResourceManager (RM) и отдельный для каждого приложения ApplicationMaster (AM).

Итак, ключевые новшества и изменения в релизе Apache Hadoop 2:

  • Apache Hadoop YARN — «краеугольный камень Apache Hadoop следующего поколения для запуска приложений, обрабатывающих данные (MapReduce, Apache Storm и т.п.) и сервисов (Apache HBase)»;
  • высокая доступность для HDFS (Hadoop Distributed File System);
  • HDFS Federation для хорошей масштабируемости;
  • бинарная совместимость для существующих MapReduce-приложений, созданных для Hadoop 1.x;
  • снапшоты для данных в HDFS;
  • доступ по NFS v3 к HDFS;
  • поддержка операционной системы Microsoft Windows.

Постоянная ссылка к новости: http://www.nixp.ru/news/12298.html. Дмитрий Шурупов по материалам Blogs.Apache.org.

fb twitter vk