Kết quả đánh giá độ tin cậy của mô hình sinh được đào tạo trước cho thấy những rủi ro tiềm ẩn

Gần đây, một nhóm nghiên cứu được thành lập bởi nhiều trường đại học và viện nghiên cứu nổi tiếng đã công bố kết quả đánh giá tổng thể về độ tin cậy của các mô hình ngôn ngữ lớn (LLMs). Đánh giá này tập trung vào các mô hình trong series GPT, thực hiện phân tích toàn diện về độ tin cậy của chúng qua nhiều chiều khác nhau.

Nghiên cứu đã phát hiện ra một số lỗ hổng liên quan đến độ tin cậy chưa được tiết lộ trước đây. Ví dụ: các mô hình GPT dễ bị lừa tạo ra đầu ra có hại và thiên vị, đồng thời cũng có thể làm rò rỉ thông tin cá nhân trong dữ liệu đào tạo và lịch sử cuộc trò chuyện. Điều thú vị là mặc dù GPT-4 thường đáng tin cậy hơn GPT-3.5 trong các thử nghiệm tiêu chuẩn, nhưng thay vào đó, nó dễ bị tổn thương hơn trước các lời nhắc được thiết kế độc hại, có thể là do GPT-4 tuân thủ nghiêm ngặt hơn các hướng dẫn gây hiểu lầm.

Đánh giá đã được thực hiện từ 8 góc độ để kiểm tra toàn diện mô hình GPT, bao gồm khả năng chống lại tấn công, độc hại và thiên kiến, bảo vệ quyền riêng tư và các khía cạnh khác. Các nhà nghiên cứu đã xây dựng nhiều kịch bản đánh giá, sử dụng các mô tả nhiệm vụ khác nhau, hệ thống nhắc nhở và tập dữ liệu để kiểm tra hiệu suất của mô hình.

Về độ mạnh của đối thủ, người ta thấy rằng mô hình GPT dễ bị tấn công bởi một số cuộc tấn công văn bản. Về độc tính và thiên vị, mô hình nói chung được chấp nhận, nhưng nó có xu hướng xuất ra nội dung thiên vị dưới các lời nhắc gây hiểu lầm và mức độ thiên vị khác nhau tùy theo dân số và chủ đề. Về mặt bảo vệ quyền riêng tư, mô hình có thể làm rò rỉ thông tin nhạy cảm trong dữ liệu đào tạo, đặc biệt nếu được nhắc làm như vậy.

Tổng thể, nghiên cứu này tiết lộ một số rủi ro tiềm ẩn về độ tin cậy của mô hình GPT, đồng thời cung cấp hướng đi cho các cải tiến trong tương lai. Nhóm nghiên cứu hy vọng rằng khung đánh giá này sẽ thúc đẩy nỗ lực chung trong ngành để phát triển các mô hình ngôn ngữ an toàn và đáng tin cậy hơn.