Исследователи Массачусетского технологического института (MIT) представили новую автоматизированную систему для обучения и эксплуатации нейронных сетей, обеспечивающую более низкий уровень энергопотребления.
«Основной целью нашей работы было сделать работу искусственных нейронных сетей (ANN, artificial neural network) более энергоэффективной. До сегодняшнего дня вычисления с помощью ANN требовали больших затрат электроэнергии и, как следствие, приводили к высокому уровню выбросов CO2. С помощью новых методов негативное воздействие на окружающую среду можно существенно снизить», – отметил руководитель проекта, доцент кафедры электро- и вычислительной техники MIT Сонг Хань.
Для решения задачи ученые предложили объединять отдельные нейросети, разработанные для решения узких задач, в единую систему, в рамках которой нужная ANN будет обучаться только тогда, когда в этом возникает необходимость для конкретной задачи. Это позволит значительно сократить энергию, необходимую для обучения нейросетей на больших массивах данных, например при подключении новых платформ, многие из которых работают с миллиардами IoT-устройств (устройств интернета вещей). Согласно оценкам исследователей, данный подход позволит не только сократить объем энергии, необходимой для обучения одной нейросети, примерно в 1,3 тыс. раз, но и повысить скорость обработки данных и обучения ANN.
Исследование провели с помощью вычислительного кластера Satori, который способен выполнять 2 квадриллиона вычислений в секунду и был подарен MIT компанией IBM.