CPO Western Digital: Обработка флеш-памяти в данный момент, обработка HDD на протяжении всего жизненного цикла

Сообщение ChainCatcher, главный директор по продуктам Western Digital Ахмед Шихаб заявил, что ключ к конкуренции в области хранения данных с использованием ИИ заключается не только в стремлении к самым быстрым носителям, а в том, можно ли постоянно расширять емкость при приемлемых затратах. Он считает, что многие архитектуры работают нормально на ранних этапах, но когда объем данных увеличивается с нескольких ПБ до сотен ПБ или даже ЭБ, могут возникнуть проблемы из-за неконтролируемых затрат.

Флеш-память подходит для высокопроизводительных и низколатентных сценариев, таких как веса моделей, переполнение GPU, KV-кэш и контекст сеанса; HDD же лучше подходит для хранения больших объемов данных, таких как обучающие корпуса, журналы, контрольные точки, записи о соблюдении норм, синтетические данные и выводы вывода, которые требуют долгосрочного хранения и чувствительны к затратам. Он подводит итог: "Флеш-память обрабатывает текущие задачи, HDD обрабатывает весь жизненный цикл."

В условиях масштабирования ИИ стоимость хранения сама по себе станет архитектурной проблемой. Долгосрочное хранение больших объемов данных на высокопроизводительных носителях будет занимать бюджет на вычисления, сеть, электроэнергию и персонал. Для многих нагрузок на массовое хранение проблема заключается не в том, может ли флеш-память хранить данные, а в том, может ли клиент долгое время нести все затраты на использование флеш-памяти.

В будущем хранение данных для ИИ не будет доминироваться одной технологией, а должно быть спроектировано с учетом производительности, стоимости, энергопотребления, плотности, надежности и жизненного цикла данных. Он подчеркивает, что это не конкуренция между флеш-памятью и HDD, а необходимость с самого начала подбирать подходящие носители для различных рабочих нагрузок, иначе архитектура может повлиять на устойчивость бизнеса при увеличении масштаба.