Неудержимое развитие искусственный интеллект Это сопровождается проблемой, которая все больше беспокоит отрасль: высокое энергопотребление Это включает в себя как обучение, так и массовое использование больших моделей. Один сложный запрос в системах типа ChatGPT может потреблять количество электроэнергии, сопоставимое с потреблением среднестатистического домохозяйства. Соединенные Штаты за одну минутуЭта цифра, умноженная на миллиарды запросов, резко увеличивает воздействие на окружающую среду.
В этой ситуации исследователи и технологические компании ищут способы достижения цели. Искусственный интеллект гораздо эффективнее и экологичнее.Среди альтернатив, набирающих популярность, выделяется следующая: аналоговые вычисления в памяти (AIMC) — подход, предлагающий коренным образом изменить способ хранения и обработки информации на микросхемах.
Что такое аналоговые вычисления в оперативной памяти и почему они могут кардинально изменить ситуацию?
В современных цифровых архитектурах данные постоянно перемещаются между различными компонентами. блоки памяти и процессорыТакой непрерывный обмен данными отнимает время и, прежде всего, много энергии. Аналоговые вычисления в памяти создают прямо противоположную проблему: данные остаются на том же месте при этом выполняются необходимые математические операции для запуска моделей искусственного интеллекта.
Для достижения этой цели AIMC прибегает к... аналоговые микросхемы, способные хранить и вычислять совместно, напрямую используя физические свойства оборудования. Вместо представления информации исключительно с помощью четко определенных нулей и единиц, система использует непрерывные сигналы и электрические характеристики материалов для выполнения операций.
Согласно недавним исследованиям, проведенным ученым. Тяньи Ченв сотрудничестве с командами из IBM и Rensselaer Polytechnic InstituteТакой подход позволил бы сократить потребление энергии до тысячи раз по сравнению с традиционными цифровыми платформами, сохраняя при этом возможность запуска крупномасштабных моделей искусственного интеллекта.
Ключевой момент заключается в том, что, поскольку системе не нужно постоянно перемещать информацию, она может «позволить физике делать работу», используя собственные механизмы. электрические импульсы и реакция материала решать задачи практически мгновенно. Этот сдвиг парадигмы особенно привлекателен для дата-центры а также приложения с интенсивным использованием ИИ, в том числе в Европе, где энергоэффективность стала стратегическим фактором.
Преимущества и ограничения аналогового оборудования для искусственного интеллекта
Аналоговые вычисления в памяти — не новая концепция. Уже много лет известно, что этот тип оборудования может выполнять определенные вычисления очень быстро и с низким энергопотреблением, что делает его привлекательным вариантом для Ускорение вывода результатов на основе уже обученных моделей.Однако его применение на этапе обучения до сих пор оказывалось гораздо более сложным.
Главное препятствие заключается в несовершенства, присущие аналоговому оборудованиюИмпульсы, обновляющие параметры модели, могут незначительно отличаться от одной операции к другой, могут возникать электрические помехи или небольшие отклонения, которые, накапливаясь, в конечном итоге ухудшают качество обучения. Такое поведение контрастирует с точностью и повторяемостью цифрового оборудования, где операции проще контролировать.
На практике эти ограничения привели к следующему неточные градиенты и нестабильная тренировкаЭти две проблемы сделали нецелесообразным простой перенос классических алгоритмов машинного обучения на аналоговые микросхемы. Несмотря на свой потенциал, AIMC был ограничен очень специфическими задачами, далекими от цели надежного обучения больших моделей.
Работа команды Чена сосредоточена именно на этом: как использовать возможности... исключительная эффективность аналогового оборудования без ущерба для точности, необходимой для поддержания качества и обобщаемости моделей ИИ. Предложение заключается в глубокой адаптации алгоритмов обучения к реальным характеристикам этих физических систем.
Остаточное обучение: аналоговая версия обратного распространения ошибки.
Для преодоления проблем с точностью исследовательская группа разработала аналоговая переформулировка алгоритма обратного распространения ошибкиНаиболее распространенный метод обучения глубоких нейронных сетей. Этот вариант получил название... Остаточное обучениеЭто название отсылает к идее постоянного исправления ошибок, возникающих в процессе обновления параметров.
Данный метод вводит дополнительный уровень контроля Система отслеживает фактическую реакцию оборудования на каждую операцию обучения. На основе этой информации система корректирует градиенты и компенсирует отклонения, вызванные шумом, нерегулярными импульсами или любыми другими физическими несовершенствами, чтобы процесс обучения оставался в рамках заданного курса.
Применяя эту стратегию, модели, обученные на аналоговых микросхемах, достигают следующих результатов: точность очень близка к той, которая достигается на цифровых платформах.но при этом с гораздо меньшими энергозатратами. По сути, алгоритм признает, что оборудование не идеально, и разработан таким образом, чтобы сосуществовать с этими несовершенствами, а не пытаться их игнорировать.
Команда утверждает, что такой подход не только повышает стабильность тренировок, но и создает более систематизированную основу для обучения. для контроля беспристрастности и статистического поведения моделей в аналоговых средах. Это особенно актуально при рассмотрении чувствительных приложений, где смещения или ошибки прогнозирования могут иметь значительные последствия.
Презентация на конференции NeurIPS и реакция научного сообщества.
Результаты этой работы были широко представлены на... Ежегодная конференция по системам обработки нейронной информации (NeurIPS)Это один из ведущих международных форумов по искусственному интеллекту. Презентация, состоявшаяся в декабре, вызвала интерес, продемонстрировав конкретный подход к решению энергетической проблемы, не полагаясь исключительно на постепенные улучшения цифрового оборудования.
К числу аспектов, наиболее ценимых сообществом, относится сочетание следующих элементов: теория машинного обучения и проектирование схемВ этой области ключевое значение имеет сотрудничество между университетами и такими компаниями, как IBM. Исследования находятся на стыке информатики, физики и электронной инженерии — области, в которой также существуют очень активные европейские центры.
Хотя большая часть экспериментальных разработок проводилась в Соединенных Штатах, потенциальное влияние, безусловно, носит глобальный характер. Сектор центров обработки данных в ЕвросоюзВ условиях ужесточения регулирования энергопотребления и выбросов, мир внимательно следит за подобными достижениями, которые могут помочь достичь целей по сокращению выбросов углерода, не препятствуя внедрению искусственного интеллекта.
По мнению авторов исследования, дальнейшие шаги включают масштабирование прототипов, интеграцию подхода в существующую инфраструктуру и сравнить производительность с моделями с открытым исходным кодом Широко используется научным сообществом, что способствовало бы более прозрачным сравнениям.
Практическое применение: от центров обработки данных до медицинских устройств.
Если аналоговые вычисления в оперативной памяти получат широкое распространение, это может сказаться на многих повседневных областях. Во-первых, это повлияет на крупные центры обработки данных которые обеспечивают работу облачных сервисов и голосовых помощников на основе искусственного интеллекта, снижая эксплуатационные расходы и счета за электроэнергию, связанные с этими системами.
Но одно из самых поразительных изменений произойдет в условиях крайне ограниченного количества доступной энергии. Речь идет о... имплантируемые или портативные медицинские устройстваносимые технологии, датчики, распределенные по заводам или критически важной инфраструктуры, а также автономных роботов, которым необходимо работать в течение длительного времени с разряженными батареями.
В таких сценариях наличие чипов, способных локально обучать или корректировать модели с минимальным энергопотреблением, открыло бы двери для применений, которые в настоящее время нецелесообразны. Например, для систем, которые обучаются на основе данных самого пациента. корректировать лечение или контролировать жизненно важные показатели. более персонализированным способом, без отправки всех данных в облако.
В промышленном секторе датчики и роботы могли бы принимать более сложные решения на периферии сети, способствуя... более точная и гибкая автоматизация без необходимости постоянно полагаться на удаленные серверы. Это соответствует европейским стратегиям цифровизации и стремлению к снижению зависимости от внешней инфраструктуры для критически важных услуг.
С точки зрения конечного пользователя, это улучшение может привести к созданию устройств с Более длительное время автономной работы и меньшая потребность в постоянном подключении.Этот аспект столь же практичен, сколь и незаметен в повседневной жизни: система просто будет работать дольше и тише с точки зрения потребления ресурсов.
Следующие шаги и возможности для Европы
Команда под руководством Тяньи Чена уже заявила о своем намерении расширить подход. Остаточное обучение к широкому кругу модели с открытым исходным кодомЭто позволило бы другим группам воспроизвести результаты и исследовать новые варианты, адаптированные к различным типам аналогового оборудования.
В то же время, возможно сотрудничество с промышленностью Интегрировать эти концепции в коммерческие платформы. Этот этап будет ключевым для определения того, сможет ли аналоговая обработка данных в оперативной памяти напрямую конкурировать с высокопроизводительными цифровыми решениями, которые в настоящее время доминируют на рынке.
В Европе, где растет интерес к укреплению Технологический суверенитет и энергоэффективностьAIMC может найти здесь благодатную почву. Инициативы, связанные с чипами следующего поколения, суперкомпьютерными инфраструктурами и проектами в области маломощного искусственного интеллекта, могли бы извлечь пользу из опыта, накопленного в подобных разработках.
В то же время останутся важные проблемы, требующие решения, такие как: крупномасштабное производство надежного аналогового оборудованиястандартизация инструментов разработки и подготовка технических специалистов, способных плавно переходить от физики устройства к алгоритмам глубокого обучения.
Аналоговые вычисления в оперативной памяти становятся одной из наиболее серьезных альтернатив для снижения энергопотребления, связанного с искусственным интеллектом, при сохранении конкурентоспособной производительности. Если следующие этапы исследований и внедрения подтвердят первоначальные многообещающие результаты, Это может стать важной частью технологической головоломки. С помощью которых Европа и остальной мир пытаются согласовать расширение использования ИИ с целями устойчивого развития и сокращения выбросов.
