nixp.ru v3.0

20 апреля 2024,
суббота,
14:26:36 MSK

13 июня 2012, 17:53

Concurrent открыла код Cascading — альтернативы MapReduce для Hadoop

Архитектура для Cascading
Архитектура для Cascading
Иллюстрация с сайта Cascading.Org

Компания Concurrent, Inc объявила о выпуске Open Source-фреймворка Cascading 2.0 для работы с данными в Hadoop, позиционируемого как альтернатива популярному решению MapReduce.

Cascading предоставляет API для работы с большими данными на платформе Apache Hadoop. Именно этот продукт уже используют такие известные интернет-сервисы, как Twitter и Amazon. Первая версия Cascading была разработана Крисом Вензелем (Chris Wensel), который впоследствии основал и возглавил компанию Concurrent для коммерциализации продукта*: «Когда я писал приложения для Hadoop, этот процесс был невероятно трудным. Поэтому я начал создавать фреймворк, который предложил бы мне другую модель [разработки Hadoop-приложений]. MapReduce — это простой способ распараллеливания операций над данными, но с ним сложно решать реальные задачи».

Писать Hadoop-приложения с Cascading можно на языках Java, Scala, Clojure, Jython и Jruby. Исходный код Cascading распространяется на условиях лицензии Apache License 2.0 и доступен для скачивания на сайте проекта. Там же можно найти документацию и другую информацию о проекте.

* В прошлом году компания Concurrent смогла собрать 900 тысяч USD в рамках венчурного финансирования от True Ventures and Rembrandt.

Постоянная ссылка к новости: http://www.nixp.ru/news/11808.html. Дмитрий Шурупов по материалам zdnet.com.

fb twitter vk