MIT Accelerates Private AI Training on Ordinary Devices for Medicine and Finance

Исследователи MIT показали способ заметно ускорить федеративное обучение — подход, при котором ИИ дообучается прямо на устройствах пользователей, а сырые данные не покидают смартфон, часы или сенсор. Новый метод должен помочь запускать более точные модели в медицине, финансах и других чувствительных сценариях даже там, где техника слабее и связь нестабильна.

Почему сеть тормозит

Федеративное обучение давно считают одним из самых практичных способов обучать модели без централизованного сбора персональных данных. Сервер рассылает общую модель на множество устройств, каждое дообучает её на своих локальных данных, а затем возвращает только обновления параметров. Так можно использовать информацию с телефонов, часов и датчиков, не выгружая сами записи в облако.

Проблема в том, что реальная сеть таких устройств почти никогда не бывает однородной: у одних мало памяти, у других слабый процессор, у третьих постоянно пропадает соединение. Из-за этого классическая схема начинает буксовать. Обычно центральный сервер ждёт обновления от всех участников раунда и лишь потом двигается дальше.

Если хотя бы часть устройств отвечает слишком медленно, весь процесс затягивается, а иногда и вовсе теряет смысл. Для прикладных сценариев это серьёзная преграда: в здравоохранении, банкинге и других чувствительных областях важны и приватность, и стабильность, но именно там часто приходится работать с ограниченной инфраструктурой.

Как работает FTTE Команда MIT предложила фреймворк **FTTE** — Federated Tiny Training Engine.

Его задача проста: сделать так, чтобы в обучении могли участвовать даже самые слабые устройства, не ломая всю систему ожиданием и лишней передачей данных. Подход строится вокруг трёх технических изменений и одного общего принципа: подстраивать процесс не под идеальный смартфон, а под самый ограниченный узел в сети.

• Сервер отправляет на устройства не всю модель, а только часть параметров, достаточную для локального шага обучения.
• Набор параметров подбирается специальной процедурой поиска так, чтобы уложиться в лимит памяти самого слабого устройства.
• Обновления принимаются полуасинхронно: сервер не ждёт всех участников, а продолжает раунд, когда набирается нужный объём ответов.
• Более старые обновления получают меньший вес, чтобы запоздавшие данные не тормозили обучение и не ухудшали итоговую точность.

«Нам нужно, чтобы ИИ работал на устройствах, которые люди носят с собой каждый день, а не только на больших серверах и GPU», — объясняет исследовательница Ирен Тенисон.

Такой дизайн решает сразу две боли: дефицит памяти на самом устройстве и лишние паузы на стороне сервера. При этом разработчики не исключают медленные гаджеты из процесса, а наоборот, пытаются удержать их в контуре, чтобы модель училась на более разнообразных данных. Это особенно важно там, где у пользователей нет флагманских телефонов и дорогой связи, но есть данные, которые могут улучшить качество модели.

Что показали тесты В симуляциях с сотнями неоднородных устройств FTTE

заметно ускорил обучение по сравнению со стандартными подходами к федеративному обучению. В среднем система достигала завершения обучения на 81% быстрее, снижала локальные затраты памяти примерно на 80% и уменьшала объём передаваемых данных на 69%. При этом исследователи пишут, что точность оставалась близкой к результатам альтернативных методов.

Иначе говоря, часть качества может теряться, но выигрыш по скорости и ресурсоёмкости оказывается очень существенным. Отдельно команда проверила подход не только в симуляции, но и на небольшой сети реальных устройств с разной вычислительной мощностью. Там FTTE тоже показал, что масштабируется лучше при росте числа участников и особенно полезен в среде со слабыми телефонами и нестабильным каналом.

Следующий шаг — изучить не только среднее качество общей модели, но и то, как такой подход может усиливать персонализацию на каждом отдельном устройстве. Также исследователи хотят провести более крупные испытания на реальном железе.

Что это значит

Если результаты подтвердятся за пределами лаборатории, федеративное обучение станет заметно практичнее для массовых устройств. Для рынка это важный сигнал: приватный ИИ можно разворачивать не только там, где есть мощные серверы и дорогая инфраструктура, но и в более бедных или распределённых средах, где защита данных критична, а вычислительные ресурсы ограничены.