Реализация в распределенной среде
Реализации MapReduce от Google и Hadoop ориентированы на использование в кластерной распределенной среде со следующими основными характеристиками:
-
узлы среды выполнения MR-приложений обычно представляют собой компьютеры общего назначения с операционной системой Linux;
-
используется стандартное сетевое оборудование с адаптерами, расчитанными на скорости передачи в 100 мегабит в секунду или 1 гигабит в секунду, но средняя пропускная способность существенно ниже;
-
кластер состоит из сотен или тысяч машин, так что вполне вероятны отказы отдельных узлов;
-
для хранения данных используются недорогие дисковые устройства, подключенные напрямую к отдельным машинам;
-
для управления данными, хранящимися на этих дисках, используется распределенная файловая система;
-
пользователи представляют свои задания в систему планирования; каждое задание состоит из некоторого набора задач, которые отображаются планировщиком на некоторый набор узлов кластера.
