nixp.ru v3.0

28 марта 2024,
четверг,
21:18:58 MSK

20 февраля 2015, 10:12

Google открыла код фреймворка для обработки больших данных — MapReduce for C (MR4C)

2
Схема работы кода на C/C++ в рамках MR4C
Схема работы кода на C/C++ в рамках MR4C
Иллюстрация с сайта Gigaom.Com

В минувшую среду было объявлено об открытии кода Google MR4C (MapReduce for C) — фреймворка, позволяющего заданиям Hadoop использовать библиотеки, написанные на C/C++.

MR4C изначально был разработан в рамках проекта Skybox Imaging для обработки больших объемов геодезических данных и спутниковых снимков на кластерах под управлением Hadoop. Необходимость разработки была связана с желанием программистов использовать стандартные библиотеки для работы с изображениями, написанные на C и C++.

Hadoop, как известно, написан на Java, а выбор C++ для разработки Google MapReduce и QFS (Quantcast File System — аналог Hadoop Distributed File System, разработанный в Google) был продиктован именно соображениями производительности. По той же причине БД MemSQL для выполнения SQL-запросов осуществляет генерацию кода в C++.

Исходный код фреймворка MR4C распространяется на условиях свободной лицензии Apache License v2 и доступен на GitHub.

Постоянная ссылка к новости: http://www.nixp.ru/news/13208.html. Aлександр по материалам Gigaom.Com, Google-opensource.Blogspot.Ru.

fb twitter vk