Microsoft создала новую технологию быстрой обработки данных

В корпорации Microsoft говорят о разработке новой технологии для быстрой сортировки очень больших объемов данных. Новая технология Flat Datacenter Storage (FDS) была формально презентована на конференции Association for Computing Machinery в штате Аризона. В будущем FDS полностью или частично будет интегрирована в движок поисковика Bing, а также корпоративных продуктов Microsoft для процессинга данных.

"Повышение производительности при работе с большими объемами данных - это очень важно сразу для множества отраслей бизнеса. Почти все проблемы больших данных с новой технологией могут быть эффективно решены, что на практике дает возможности по экономической выгоде и ускорению бизнес-процессов", - говорит лидер проекта и инженер Microsoft Research Джереми Элсон.

По его словам, в тестах, проведенных при помощи набора MinuteSoft система показала производительность процессинга информации на уроне 1401 гигабайта в минута, против ранее установленного Yahoo рекорда в 500 гигабайт в минуту. Также в тестах Microsoft сократила и количество задействованных ресурсов. Если у Yahoo в эталонном тесте было использовано 1406 серверов и 5624 жестких диска, то сейчас Microsoft задействовала 250 серверов и 1033 диска.

Как рассказали в Microsoft, технология FDS использует несколько иной подход к сортировке данных, нежели Google MapReduce и Apache Hadoop. Здесь большую часть процессинга данных выполняет каждый отдельно взятый сервер, тогда как другие технологии создают сортировочные кластеры и разбивают данные на сегменты, храня ключи на центральном узле. В Microsoft говорят, что FSD позволяет заметно разгрузить сетевой трафик и позволяет одному серверу обрабатывать до 2 гигабайт данных в секунду.

По материалам: cybersecurity.ru