Что происходит во тьме машинного разума?
Абсолютно прозрачный алгоритм искусственного интеллекта - наше безопасное будущее.
Искусственный интеллект (ИИ) часто работает как черный ящик: на выходе есть ответ, но путь к нему остаётся загадкой даже для разработчиков. Учёные из Университета Лафборо в Великобритании предлагают не пытаться вскрывать готовую нейросеть после обучения, а с самого начала строить систему так, чтобы обучение, память и решения можно было проследить шаг за шагом.
В работе описана математическая основа для ИИ, который показывает, как учится, что запоминает и почему выбирает тот или иной вариант. Для нынешних нейросетей это больное место: знания распределены по огромному числу внутренних параметров, поэтому итоговый ответ часто приходится объяснять снаружи, через дополнительные инструменты и приблизительные интерпретации.
Команда собрала прототип с двумя связанными частями: вычислительным модулем, который играет роль условного мозга, и отдельной памятью. Система может учиться непрерывно и при этом не разрушать прежние знания. Для ИИ такая способность важна: многие модели после дообучения хуже справляются со старыми задачами. Этот сбой называют катастрофическим забыванием. Человек может выучить новую мелодию и не перестать узнавать старую, а нейросеть без специальных защит иногда перестраивает внутренние связи так, что прежний навык просто ломается.
Авторы также пытаются решить проблему ложных воспоминаний. В ИИ под этим понимают ситуацию, когда система уверенно использует сведения, которых не было в её опыте, или связывает данные неверным образом. У генеративных моделей похожий эффект виден в правдоподобных, но ошибочных ответах. В прототипе из Лафборо память меняется прозрачно: можно увидеть, какая информация сохранилась, что со временем усилилось, что ослабло и откуда взялось конкретное состояние.
Первые проверки были простыми, но хорошо показывали идею. Прототип без обучения с учителем запоминал музыкальные ноты и короткие музыкальные фразы, а также распознавал и сохранял цвета на изображениях, например в мультяшных картинках. Во всех задачах система вела себя предсказуемо: исследователи могли проследить, как менялась память и как модель приходила к результату.
В основе подхода лежит математическая конструкция, которую авторы называют пластическим векторным полем. Векторное поле можно представить как карту направлений: в каждой точке система понимает, куда и как ей двигаться дальше. Слово пластическое здесь означает способность меняться под воздействием опыта.
Главная идея работы в том, что поведение, память и физическая структура системы нельзя рассматривать по отдельности. В естественном интеллекте поведение связано с активностью мозга, а активность мозга зависит от того, как устроены связи и как они меняются. Исследователи пытаются перенести эту логику в ИИ: не просто обучить модель выдавать правильный ответ, а задать понятный механизм, который показывает, как ответ возник.
Отдельно ученые критикуют современные искусственные нейросети. По их мнению, проблема объяснимости не сводится к нехватке удобных инструментов анализа. Ограничение заложено глубже, в самой архитектуре. Нейросеть может хорошо работать на практике, но разработчик не контролирует полностью, как модель учится и где именно хранит информацию. Поэтому объяснение часто оказывается догадкой, а не прямым наблюдением.
Прототип пока далёк от систем, которые можно сразу внедрять в медицину, финансы или автоматизированное управление. Модель нужно масштабировать, проверить на более сложных данных и понять, как она поведёт себя за пределами демонстрационных задач. Команда также хочет изучить, как такой принцип можно перенести на новые типы оборудования, где память и вычисления будут связаны теснее, чем в обычных программных нейросетях. Что ж, всё ещё впереди...