Результаты оценки достоверности генеративных предварительно обученных моделей выявляют потенциальные риски

Недавно исследовательская группа, состоящая из нескольких известных университетов и исследовательских учреждений, опубликовала результаты комплексной оценки надежности крупных языковых моделей (LLMs). Оценка сосредоточена на серии моделей GPT и проводит всесторонний анализ их надежности по нескольким параметрам.

Исследования обнаружили несколько ранее нераскрытых уязвимостей, связанных с надежностью. Например, модели GPT легко поддаются манипуляциям, что приводит к вредным и предвзятым выводам, а также может раскрывать конфиденциальную информацию из тренировочных данных и истории диалогов. Интересно, что хотя GPT-4 обычно более надежен в стандартных тестах по сравнению с GPT-3.5, он оказывается более уязвимым к атакам при столкновении с злонамеренно разработанными подсказками, что может быть связано с тем, что GPT-4 более строго следует вводящим в заблуждение инструкциям.

Оценка модели GPT была проведена с восьми точек зрения, включая устойчивость к атакам, токсичность и предвзятость, защиту конфиденциальности и другие аспекты. Исследователи создали различные сценарии оценки, используя разные описания задач, системные подсказки и наборы данных для тестирования производительности модели.

В области устойчивости к атакам исследования показали, что модели GPT уязвимы к определённым текстовым атакам. Что касается токсичности и предвзятости, модель в общем показывает приемлемые результаты, но под вводящими в заблуждение подсказками она может легко выдавать предвзятое содержание, причём степень предвзятости варьируется в зависимости от группы и темы. В области защиты конфиденциальности модель может раскрывать чувствительную информацию из обучающих данных, особенно при определённых подсказках.

В целом, это исследование выявляет некоторые потенциальные риски с точки зрения доверия к модели GPT и дает направление для последующих улучшений. Исследовательская группа надеется, что эта система оценки приведет к согласованным усилиям отрасли по разработке более безопасных и надежных языковых моделей.