Компьютерра - Компьютерра PDA N79 (18.12.2010-24.12.2010)
Собственно, турнир показал одно: современное компьютерное железо, набор шахматных программ плюс навык работы нивелируют разницу в шахматной силе между перворазрядником и старшим мастером.
А мечты... Невыполненных - много. Найти в воронежской степи гробницу Царя Скорпионов. Изобрести капли "Новый Зуб". Разыскать на Марсе следы инженера Лося. Ничего, сбудется. Не в этой жизни, так в следующей.
Или когда-нибудь еще.
Кирилл Фаенов о суперкомпьютерах и Microsoft
Автор: Юрий Ильин
Опубликовано 23 декабря 2010 года
- Вы возглавляете подразделение Microsoft Technical Computing. Как оно возникло? Насколько приоритетным является направление HPC и параллельных вычислений для Microsoft и почему?
- Компания Microsoft внимательно следит за рынком HPC с 2000 года, когда в суперкомпьютерах начали использоваться индустриально-стандартные процессоры Intel и AMD и стали появляться более дешёвые и доступные суперкомпьютерные устройства на базе локальных сетей обычных серверов. Мы увидели перспективы этого направления и в 2003 г. создали группу HPC. Её задачей было создание решения под ключ для ИТ-профессионалов, которые используют высокопроизводительные вычисления для решения математических задач и обработки массивов данных. Это направление является для нас успешным, мы выпустили три версии HPC-сервера.
Работая на этом рынке, мы выяснили очень интересную вещь. Решение под ключ - это очень важно, но его недостаточно для значительных изменений тех процессов, которые происходят на рынке.
Основные пользователи HPC - инженеры, учёные, аналитики. Они не программисты, не разработчики. Им нужны более удобные средства для обработки больших массивов данных, создания математических программ, которые, с одной стороны, могут отражать модели тех разработок, которые ими ведутся, с другой стороны, очень быстро масштабироваться на параллельные мощности.
Задача, которую мы поставили перед собой два года назад, когда создавали Technical Сomputing, - создание комплексных системных решений для всех участников рынка. Речь идёт не только об ИТ-профессионалах, которые создают HPC-мощности, но и о параллельных программистах, и о пользователях этих ресурсов, для которых важно облегчить процесс создания новых математических задач, новой аналитики на базе огромных массивов данных, распараллеливание этих задач и затем их эксплуатацию как внутри учреждений на собственных локальных мощностях, так и на новых облачных решениях, которые с большей эффективностью донесут мощности до более широкого круга пользователей.
Сейчас мы значительно увеличили объём инвестиций в это направление. HPC теперь - это часть Technical Сomputing. В него также включены решения для программистов, которым нужно облегчить задачу распараллеливания вычислений как на многоядерных и графических процессорах, так и на кластерах. В рамках Technical Сomputing есть и новое направление: это создание для учёных, инженеров и других пользователей HPC пакетов типа Excel, Mathlab, то есть решений, которые направлены на анализ математических данных, а не программирование.
- Какова, если угодно, "конечная цель" инициативы Technical Computing в Microsoft? Чего корпорация намеревается достичь этим? Кто в России является "адресатом" этой разработки?
- Традиционно HPC - это научно-исследовательская сфера. Мы же в Microsoft стремимся предоставить возможности HPC значительно более широкому кругу пользователей. Наша цель - демократизация этой технологии. Сегодня ни одна компания в мире не обладает целостностью видения и комплексностью подхода. Это говорят и заказчики, и аналитики. И мы делаем очень значительные инвестиции в этом направлении. Как результат: сегодня ИТ-профессионалы получают через облако доступ к компьютерным мощностям, о которых они раньше и не могли мечтать.
Наши заказчики - это все компании, которые вынуждены управляться с огромными массивами данных, и те, кто строит математические модели для принятия решений, например рисков или погоды. Это уже не столько обработка данных, сколько построение прогнозов. Другой пример - расчёт прочности устройства в машиностроении. Например, с помощью таких расчётов нет необходимости постоянно проводить физические испытания, их заменяет математическая модель. В результате - бОльшая скорость разработки и меньшие затраты при создании продукта.
В центре того, о чём мы говорим, находятся математические модели. Мы анализируем данные, потом наше понимание того, что стоит за этими данными, облекается в математические модели, и затем эта модель используется для прогноза в будущем. Это новый виток в повышении эффективности принятия решений, когда принимаются во внимание гораздо более сложные массивы данных, а вычисления проводятся не просто по таблицам, например KPI, а с учётом значительно более сложных данных. Для этого необходима, с одной стороны, высокая компетенция сотрудников, привлечение математиков, статистиков и встраивание их в процесс работы, а также использование параллельных высокопроизводительных мощностей.
- Сейчас в мире чрезвычайно распространены кластеры на Linux. Насколько, как Вы считаете, Windows HPC Server способен их будет потеснить в Top500?
- Что такое Top500? Это те же пятьсот пользователей суперкомпьютеров, которые использовали их ещё двадцать лет назад. Это крупнейшие учреждения мира, которые могут себе позволить системы стоимостью в несколько миллионов долларов.
Они изначально использовали системы на базе Unix, и когда уже появились кластеры, то наиболее простым и оптимальным путём для них была миграция на Linux, ведь у них уже были специалисты для этого и вся необходимая инфраструктура. С точки зрения программного обеспечения сегодня Linux и Windows обеспечивают одинаковые показатели скорости работы. Другой вопрос, что существуют и другие рынки - не Top500, а Top500000 суперкомпьютеров или кластеров, которые не стоят миллионы долларов. Мы нацелены именно на этот рынок, а также на новые организации, которые разворачивают суперкомпьютеры.
Следует отметить, что очень многие научные учреждения из списка Top500 также используют Windows на своих суперкомпьютерных мощностях, когда речь идёт не о достижении максимальной производительности, а о работе в каждодневном режиме. Нередко суперкомпьютеры, которые фигурируют в рейтинге, практически не используются как единая система.
После необходимых замеров производительности и т.п., то есть тех параметров, которые нужны для рейтинга, они используются как система удалённого доступа для большого количества пользователей. То есть кластер разбивается на мелкие кусочки, которые обрабатывают гораздо большее количество мелких задач. Для решения таких задач чаще используется Windows.
- В интервью "Компьютерре" представители компании "Т-Платформы" говорили о том, что в России рынка HPC как такового в общем-то и не существует. Какова Ваша точка зрения на этот вопрос? Согласны Вы с этим тезисом или нет и почему?
- На мой взгляд, нужно чётко представлять, что именно понимается под рынком HPC. Если его рассматривать только с точки зрения существующих пользователей больших суперкомпьютеров, то рынок этот небольшой. Причём это характерно не только для России, но и для мира в целом. И этот рынок практически не увеличивается. Так сложилось исторически.
Вопрос в другом: есть ли спрос на использование математического моделирования и какие стоят преграды к созданию более широкого рынка, который мог бы обеспечить эти требования и восполнить их не только большими суперкомпьютерами, но и другими решениями, например персональными кластерами, облачными решениями и т.д. На мой взгляд, потенциал для использования математических систем принятия решений в России огромен. Если посмотреть на успехи научного подхода в Советском Союзе, заделы были гигантские. Существовали целые институты кибернетического подхода к системному моделированию и планированию экономики всей страны. Если обратить внимание на использование математического аппарата в самых разных областях, СССР и Россия делали огромные успехи в этой области.
Поэтому мне кажется, что сейчас перед нами стоит следующая задача: совмещение этого потенциала с теми возможностями, которые может предложить HPC. Для этого нужно расширить определение HPC и говорить не только о больших суперкомпьютерах, но и о персональных кластерах и облачных решениях.
- Как Вы оцениваете перспективы параллельных и высокопроизводительных вычислений в мире в целом? Останутся ли они, если угодно, привилегией научно-исследовательской сферы? Возможно ли, что со временем параллельные и/или высокопроизводительные вычисления станут таким же повседневным явлением, каким стал интернет?
- Интернет, как и суперкомпьютеры, вышел из научных и военных лабораторий. Сегодня интернет доступен всем. Мне кажется, то же самое произойдёт и с высокопроизводительными вычислениями. Такие решения очень востребованы самими разными предприятиями - я уже описывал задачи расчёта рисков. Понятно, что практически любое предприятие сможет при наличии доступных прикладных пакетов и дешевых мощностей использовать высокопроизводительные вычисления. И для конечных пользователей HPC очень интересны, например, решение всевозможных задач "по требованию". Например, мы все смотрим прогноз погоды по ТВ. И он часто совершенно не соответствует тому, что происходит на самом деле.
