Ученые предсказали, что к 2040 году почти 50 процентов мировой электроэнергии будет использоваться в вычислительной технике. Более того, этот прогноз был сделан до внезапного взрыва генеративного ИИ. Объем вычислительных ресурсов, используемых для обучения крупнейших моделей искусственного интеллекта, удваивался примерно каждые 6 месяцев на протяжении более чем последнего десятилетия. При таких темпах к 2030 году на обучение одной модели искусственного интеллекта потребуется в сто раз больше вычислительных ресурсов, чем совокупные годовые ресурсы нынешних десяти ведущих суперкомпьютеров. Проще говоря, для вычислений потребуется колоссальное количество энергии, которое вскоре превысит то, что может обеспечить наша планета.

Один из способов справиться с неустойчивыми энергетическими потребностями вычислительного сектора – фундаментально изменить способ наших вычислений. Сверхпроводники могли бы позволить нам сделать именно это.

Сверхпроводники дают возможность резко снизить энергопотребление, поскольку они не рассеивают энергию при прохождении тока. Действительно, сверхпроводники работают только при криогенных температурах, что требует определенных затрат на охлаждение. Но взамен они предлагают межсоединения практически с нулевым сопротивлением, цифровую логику, построенную на ультракоротких импульсах, которые требуют минимальной энергии, и возможности для невероятной плотности вычислений благодаря простому размещению 3D-чипов.

Достаточны ли преимущества для снижения затрат на криогенное охлаждение? Наша работа показывает, что они, безусловно, есть. По мере увеличения масштаба вычислительных ресурсов предельная стоимость накладных расходов на охлаждение уменьшается. Наше исследование показывает, что, начиная примерно с 10¹⁶ операций с плавающей запятой в секунду (десятки петафлопс), сверхпроводящий компьютер становится более энергоэффективным, чем его классический аналог. Сегодня это в точности соответствует масштабам типичных высокопроизводительных компьютеров, поэтому время для создания сверхпроводящего суперкомпьютера настало.

В Imec мы потратили последние два года на разработку сверхпроводящих процессоров, которые могут быть изготовлены с использованием стандартных инструментов CMOS. Процессор, основанный на этой работе, был бы в сто раз энергоэффективнее, чем самые эффективные чипы на сегодняшний день, и это привело бы к созданию компьютера, который поместил бы вычислительные ресурсы дата-центра в систему размером с обувную коробку.

Физика энергоэффективных вычислений

Сверхпроводимость — эта сверхспособность, позволяющая определенным материалам передавать электричество без сопротивления при достаточно низких температурах, — была обнаружена еще в 1911 году, и идея ее использования для вычислений возникла с середины 1950-х. Но, несмотря на обещание снизить энергопотребление и повысить плотность вычислений, технология не смогла конкурировать с поразительным достижением в области масштабирования CMOS в соответствии с Законом Мура. Исследования продолжались десятилетиями, и группа ученых из Иокогамского национального университета продемонстрировала сверхпроводящий ЦП совсем недавно, в 2020 году. Однако в качестве вспомогательного средства для вычислений сверхпроводимость оставалась в основном в лабораторных условиях.

Чтобы вывести эту технологию за рамки лабораторных исследований и создать масштабируемый дизайн, который имеет шансы быть конкурентоспособным в реальном мире, нам в Imec пришлось изменить наш подход. Вместо того, чтобы изобретать систему снизу вверх — то есть начинать с того, что работает в физической лаборатории, и надеяться, что это пригодится, — мы разработали ее сверху вниз — начиная с необходимой функциональности и работая напрямую с инженерами CMOS и командой разработчиков полного стека для обеспечения технологичности. Команда работала не только над процессом изготовления, но и над программными архитектурами, логическими элементами и библиотеками стандартных элементов логики и памяти для создания целостной технологии.

Однако основополагающие идеи, лежащие в основе энергоэффективных вычислений, были разработаны еще в 1991 году. В обычных процессорах большая часть потребляемой мощности и отводимого тепла происходит за счет перемещения информации между логическими блоками или между логическими элементами и элементами памяти, а не за счет реальных операций. Межсоединения, изготовленные из сверхпроводящего материала, однако, не рассеивают никакой энергии. Провода имеют нулевое электрическое сопротивление, и, следовательно, для перемещения битов внутри процессора требуется мало энергии. Это свойство чрезвычайно низких потерь энергии сохраняется даже на очень высоких частотах связи, где потери в обычных межсоединениях резко возросли бы.

Дальнейшая экономия энергии достигается за счет того, как логика выполняется внутри сверхпроводящего компьютера. Вместо транзистора базовым элементом сверхпроводящей логики является джозефсоновский переход.

Джозефсоновский переход представляет собой сэндвич – тонкий кусок изоляционного материала, зажатый между двумя сверхпроводниками. Соедините два сверхпроводника, и вы получите контур джозефсоновского перехода.

При нормальных условиях изолирующая “мякоть” сэндвича настолько тонкая, что не удерживает сверхток — весь сэндвич просто действует как сверхпроводник. Однако, если увеличить ток выше порога, известного как критический ток, сверхпроводящие “ломтики хлеба” вокруг изолятора ненадолго выходят из своего сверхпроводящего состояния. В этот переходный период переход излучает крошечный импульс напряжения продолжительностью всего пикосекунду и рассеивает всего 2 × 10^-20 джоулей, что составляет стомиллиардную часть того, что требуется для записи одного бита информации в обычную флэш-память.

В контуре джозефсоновского перехода с помощью трехэтапного процесса образуется одиночный квант потока. Сначала через переход пропускается ток, чуть превышающий критическое значение. Затем переход испускает однопоточный квантовый импульс напряжения. Импульс напряжения проходит через катушку индуктивности, создавая постоянный ток в контуре. Джозефсоновский переход обозначен крестиком на принципиальных схемах. Крис Филпот

Ключевой момент заключается в том, что из-за явления, называемого квантованием магнитного потока в сверхпроводящем контуре, этот импульс всегда один и тот же. Он известен как “одиночный квант магнитного потока” (SFQ), и его фиксированное значение составляет 2,07 милливольт-пикосекунды. Поместите катушку индуктивности внутрь контура джозефсоновского перехода, и импульс напряжения запустит ток. Поскольку контур является сверхпроводящим, этот ток будет продолжать циркулировать по контуру бесконечно, без использования дополнительной энергии.

Логические операции внутри сверхпроводящего компьютера выполняются путем манипулирования этими крошечными квантованными импульсами напряжения. Контур джозефсоновского перехода с постоянным током, равным SFQ, действует как логическая единица, в то время как контур без тока равен логическому 0.

Для хранения информации версия SRAM на основе джозефсоновского перехода в кэше процессора также использует кванты одиночного потока. Для хранения одного бита необходимо разместить два контура джозефсоновского перехода рядом друг с другом. SFQ с постоянным током в левом контуре является элементом памяти, хранящим логический 0, тогда как отсутствие тока в левом контуре, но ток в правом контуре равен логической 1.

Проектирование центра обработки данных на основе сверхпроводников потребовало внедрения инноваций полного цикла. Конструкция платы Imec содержит три основных элемента: ввод и вывод данных, которые выводятся при комнатной температуре, обычную DRAM-память, размещенную высоко и охлажденную до 77 Кельвинов, и сверхпроводящие процессорные блоки, также размещенные вместе и охлажденные до 4 К. Внутри сверхпроводящего процессора расположены базовые логические элементы и элементы памяти для выполнения вычислений. При увеличении чипа видны основные строительные блоки: для логики контур джозефсоновского перехода без постоянного тока показывает логический 0, в то время как контур с током, равным одному кванту потока, представляет логическую 1. Что касается памяти, то два контура джозефсоновского перехода соединены вместе. Величина постоянного тока SFQ в левом контуре равна памяти 0, а ток в правом контуре равен памяти 1. Крис Филпот

Прогресс в разработке полного стека

Чтобы перейти от лабораторного курьеза к готовому к изготовлению прототипу чипа, нам пришлось обновить весь набор аппаратных средств. Это происходило в три основных этапа: разработка базовых используемых материалов, разработка схем и архитектурный дизайн. Три уровня должны были сочетаться друг с другом — новый набор материалов требует новых схем, а новые схемы требуют новых архитектур для их включения. Ключом к успеху стала разработка программного обеспечения на всех трех этапах со строгим соблюдением производственных возможностей CMOS.

На уровне материалов нам пришлось отказаться от ранее любимого в лаборатории сверхпроводящего материала: ниобия. Хотя ниобий легко моделировать и он очень хорошо ведет себя в предсказуемых лабораторных условиях, его очень сложно уменьшить. Ниобий чувствителен как к температуре процесса, так и к окружающим материалам, поэтому он несовместим со стандартной КМОП-обработкой. Поэтому мы перешли на родственное соединение нитрид ниобия-титана в качестве нашего основного сверхпроводящего материала. Нитрид ниобий-титана может выдерживать температуры, используемые при изготовлении КМОП, без потери своих сверхпроводящих свойств, и он гораздо меньше взаимодействует с окружающими слоями, что делает его гораздо более практичным выбором.

Основным строительным блоком сверхпроводящей логики и памяти является джозефсоновский переход. В Imec эти переходы были изготовлены с использованием нового набора материалов, что позволяет команде сократить масштабы технологии без потери функциональности. На изображении, сделанном с помощью туннельного электронного микроскопа, показан джозефсоновский переход, выполненный из альфа-кремниевого изолятора, зажатого между сверхпроводниками из нитрида ниобия-титана, достигающий критического размера в 210 нанометров. Imec

Кроме того, мы использовали новый материал для основного слоя сэндвича с джозефсоновским переходом – аморфный, или альфа-кремний. Обычные материалы с джозефсоновским переходом, в первую очередь оксид алюминия, плохо поддаются масштабированию. Алюминий использовался потому, что он “смачивает” ниобий, сглаживая поверхность, и оксид выращивался хорошо контролируемым образом. Однако, чтобы достичь сверхвысоких плотностей, на которые мы нацелены, нам пришлось бы сделать оксид слишком тонким, чтобы его можно было практически изготовить. Альфа-кремний, напротив, позволил нам использовать гораздо более толстый барьер для того же критического тока.

Нам также пришлось разработать новый способ питания джозефсоновских переходов, который уменьшался бы до размера чипа. Ранее лабораторные сверхпроводящие компьютеры использовали трансформаторы для подачи тока к элементам своей схемы. Однако установка громоздкого трансформатора рядом с каждым элементом схемы является неработоспособной. Вместо этого мы разработали способ подачи питания ко всем элементам микросхемы одновременно, создав резонансный контур со специализированными конденсаторами, расположенными по всей микросхеме.

На уровне схем нам пришлось перепроектировать всю логику и структуру памяти, чтобы воспользоваться преимуществами новых материалов. Мы разработалиновую логическую архитектуру, которую мы называем логикой с сохранением импульсов. Ключевое требование к логике с сохранением импульсов заключается в том, чтобы элементы имели столько входов, сколько выходов, и чтобы сохранялось общее количество одиночных квантов потока. Логика выполняется путем маршрутизации SFQS через комбинацию контуров джозефсоновского перехода и катушек индуктивности к соответствующим выходам, что приводит к логическим ORS и ANDS. В дополнение к логической архитектуре мы также переработали совместимую SRAM на основе джозефсоновского перехода.

Наконец, нам пришлось внести архитектурные новшества, чтобы в полной мере использовать новые материалы и схемы. Среди них было охлаждение обычного кремниевого DRAM до 77 Кельвинов и проектирование стеклянного моста между секцией 77 К и основной сверхпроводящей секцией. В мост вмонтированы тонкие провода, которые позволяют осуществлять связь без смешивания температур. Мы также придумали способ укладки микросхем друг на друга и разрабатываем вертикальные сверхпроводящие межсоединения для соединения печатных плат.

Центр обработки данных размером с обувную коробку

В результате получился чип на основе сверхпроводника, оптимизированный для обработки данных с помощью искусственного интеллекта. При увеличении одной из его плат обнаруживается много общего с типичной 3D-CMOS-системой на кристалле. Плата заполнена вычислительными чипами: мы называем это блоком сверхпроводникового процессора (SPU) со встроенными сверхпроводящими SRAM, стеками памяти DRAM и коммутаторами, все они соединены между собой с помощью кремниевых вставок или передовых технологий упаковки со стеклянным мостом.

Но есть и некоторые разительные отличия. Во-первых, большая часть чипа должна быть погружена в жидкий гелий для охлаждения всего до 4 К. Сюда входят SPU и SRAM, которые зависят от сверхпроводящей логики, а не от CMOS, и размещены на промежуточной плате. Далее идет стеклянный переход в более теплое помещение, к приятной 77-градусной сети, в которой размещается DRAM. Технология DRAM основана не на сверхпроводимости, а на обычном кремнии, охлаждаемом до комнатной температуры, что делает его более эффективным. Отсюда специальные разъемы передают данные в мир комнатной температуры и обратно.

Давиде Комаи

Закон Мура основан на размещении все большего количества вычислительных ресурсов в одном и том же пространстве. По мере того, как сокращать количество транзисторов становится все сложнее, полупроводниковая промышленность переходит к 3D-укладке чипов, чтобы сохранить прирост плотности. В классической технологии на основе CMOS очень сложно укладывать вычислительные чипы друг на друга из-за большого количества энергии и, следовательно, тепла, которое рассеивается внутри чипов. В сверхпроводящей технологии небольшое количество рассеиваемой энергии легко удаляется жидким гелием. Логические чипы могут быть собраны напрямую с использованием передовых технологий 3D-интеграции, что обеспечивает более короткие и быстрые соединения между чипами и меньшую занимаемую площадь.

Также несложно уложить несколько плат из 3D-сверхпроводящих чипов друг на друга, оставив лишь небольшое пространство между ними. Мы смоделировали набор из 100 таких плат, все они работают в одной среде охлаждения и помещаются в объем размером 20 на 20 на 12 сантиметров, примерно размером с обувную коробку. Мы подсчитали, что этот стек может выполнять 20 эксафлопс (в числовом формате BF16), что в 20 раз превышает производительностькрупнейшего суперкомпьютера на сегодняшний день. Более того, система обещает потреблять всего 500 киловатт общей мощности. Это означает, что энергоэффективность в сто раз выше, чем у самого эффективного суперкомпьютера на сегодняшний день.

На данный момент мы уменьшили размеры джозефсоновских переходов и межсоединений в течение трех последующих поколений. В дальнейшем “дорожная карта” Imec включает внедрение технологий интеграции 3D-сверхпроводящих чипов и охлаждения. Для первого поколения дорожная карта предусматривает установку около 100 плат для достижения целевой производительности в 20 эксафлопс. Постепенно будет использоваться все больше и больше логических микросхем, а количество плат будет сокращаться. Это еще больше повысит производительность при одновременном снижении сложности и стоимости.

Видение сверхпроводимости

Мы не предполагаем, что сверхпроводящие цифровые технологии заменят обычные КМОП-вычисления, но мы ожидаем, что они дополнят КМОП для конкретных приложений и будут способствовать инновациям в новых. Во-первых, эта технология будет легко интегрироваться с квантовыми компьютерами, которые также построены на сверхпроводящей технологии. Возможно, что более существенно, мы считаем, что это поддержит рост искусственного интеллекта и машинного обучения и поможет обеспечить облачное обучение больших моделей искусственного интеллекта гораздо более устойчивым способом, чем это возможно в настоящее время.

Кроме того, с помощью этой технологии мы можем проектировать центры обработки данных с гораздо меньшими габаритами. Центры обработки данных значительно меньших размеров можно разместить рядом с их целевыми приложениями, а не в каком-нибудь отдаленном объекте размером с футбольный стадион.

Такая преобразующая серверная технология – мечта ученых. Она открывает возможности для онлайн-обучения моделей искусственного интеллекта на реальных данных, которые являются частью активно меняющейся среды. Возьмем в качестве примера потенциальные роботизированные фермы. Сегодня их обучение было бы сложной задачей, поскольку требуемые вычислительные возможности доступны только в удаленных и энергоемких центрах обработки данных. Благодаря компактным расположенным поблизости центрам обработки данных данные могут обрабатываться одновременно, что позволяет ИИ извлекать уроки из текущих условий на ферме

Аналогичным образом, эти миниатюрные центры обработки данных могут быть вкраплены в энергетические сети, обеспечивая мгновенное обучение на каждом узле и более эффективное распределение электроэнергии по всему миру. Представьте себе умные города, мобильные системы здравоохранения, производство, сельское хозяйство и многое другое, где мгновенная обратная связь от обучающихся ИИ позволяет оптимизировать и улучшать процесс принятия решений в режиме реального времени.