Движок для BSP-вычислений Apache Hama, используемый в Samsung, теперь поддерживает Hadoop YARN

Apache Software Foundation и разработчики Samsung Electronics в прошедший четверг объявили, что движок для высокопроизводительных BSP-вычислений Apache Hama теперь поддерживает не только Apache Mesos, но и Hadoop YARN.

Модель параллельных вычислений BSP (Bulk Synchronous Parallel), применяемая в Apache Hama, была разработана в конце 1980-х гг. в Гарвардском университете известным математиком Лесли Вэлиантом (Leslie Valiant). Apache Hama может использоваться как основа для ресурсоемких научных BSP-приложений, приложений для построения графиков (наподобие Google Pregel), а также ПО для машинного обучения.

YARN (проект известен ещё как MapReduce 2.0) — технология управления ресурсами, входящая в состав Apache Hadoop и позволяющая нескольким фреймворкам для работы с большими данными (например, MapReduce, Spark и Apache Hama) одновременно работать с одним набором данных на одном и том же кластере под управлением Hadoop.

В новом релизе Apache Hama поддержка YARN позволяет запускать научные BSP-приложения на кластерах Hadoop без какого-либо процесса установки. Основными авторами этой возможности стали специалисты из компании Samsung Electronics, активно использующие этот продукт: «В отличие от большинства поставщиков веб-услуг, наша проблемная область — это цифровые или сигнальные данные, а не текст. Вот почему мы инвестируем в высокопроизводительные вычисления для продвинутой научной аналитики», — прокомментировал новость Сын-Хон Джеон (Seung-Hun Jeon), глава Cloud Tech Lab в Samsung Electronics.

Постоянная ссылка к новости: https://www.nixp.ru/news/13254.html. Aлександр по материалам Blogs.Apache.org.