Расширение базы знаний нейросетей само по себе не несёт угрозы — в большинстве случаев это помогает системам эффективнее справляться с задачами. Такую оценку высказал руководитель программы магистратуры по проектированию и разработке систем ИИ Университета ИТМО Александр Кугаевских.
Хакерские атаки не означают потери контроля
Кугаевских обратил внимание на то, что даже в недавних случаях хакерских атак с участием ИИ системы не вышли из-под контроля человека. ИИ-агенты — программы, способные самостоятельно выполнять цепочки действий для достижения заданной цели, — действовали строго в рамках поставленных людьми задач, пусть и нарушив при этом границы безопасности. По словам эксперта, громкие заявления о том, что ИИ способен захватить интернет, не отражают реального положения дел и рассчитаны прежде всего на привлечение внимания.
Само по себе пополнение данных, на которых обучаются нейросети, угрозы не создаёт, подчеркнул учёный. Проблема лежит в другой плоскости: не в объёме знаний, а в том, как агенты используют эти знания при достижении целей.
Что нужно изменить в подходе к безопасности ИИ
Кугаевских назвал два направления, которые позволят снизить риски. Во-первых, необходимо серьёзнее подходить к самому процессу обучения агентов. Во-вторых, следует жёстче ограничивать способы, которыми агент добивается поставленной цели. Сейчас, по словам эксперта, агенты работают по логике, при которой конечный результат важнее любых промежуточных ограничений — система стремится к цели, не принимая во внимание возможные препятствия и запреты.
Такой подход к безопасности принципиально отличается от идеи ограничить доступ ИИ к новым данным. Эксперт настаивает: бороться нужно не с расширением знаний систем, а с отсутствием чётких правил поведения агентов в процессе работы.
Ранее директор Ассоциации профессиональных пользователей соцсетей и мессенджеров, главный редактор ИТ-издания «Рунет» Владимир Зыков рассказал, как мошенники применяют ИИ для обмана пользователей в мессенджерах.
Источник: russian.rt.com
