Sakana AI công bố hệ thống hỗ trợ đánh giá đồng nghiệp dựa trên mô hình lớn, có thể phát hiện 73% lỗi trong các luận điểm chính

Techub News tin tức, Sakana AI đã công bố bài nghiên cứu có tiêu đề "Beyond Imitation", giới thiệu hệ thống hỗ trợ bình duyệt đồng nghiệp dựa trên mô hình lớn được xây dựng xung quanh việc phát hiện lỗi. Hệ thống này sử dụng kiến trúc đánh giá nhiều lớp (MLR), áp dụng các mô hình API sẵn có như Claude Sonnet 4 và Claude Haiku 3.5, không yêu cầu GPU hoặc tinh chỉnh, với chi phí mỗi lần đánh giá khoảng 0.47 USD. Trong một bài kiểm tra chuẩn bao gồm 1,164 mâu thuẫn được cấy ghép, hệ thống MLR đã phát hiện được 73.43% các lỗi chính trong 4 lần đánh giá, trong khi mô hình cơ sở tốt nhất chỉ phát hiện được 14.81%. Tuy nhiên, trong bài kiểm tra thực tế với các bài báo bị rút lại, tỷ lệ khớp chính xác của nó chỉ là 16.11%. Hệ thống này bao gồm ba tác nhân thông minh: tác nhân phụ lục tóm tắt chi tiết thí nghiệm, tác nhân tổng quan tài liệu thực hiện tìm kiếm trên mạng để định vị bối cảnh nghiên cứu, và tác nhân đánh giá thực hiện chuỗi nhắc nhở ba giai đoạn để đánh giá. Bài nghiên cứu cũng chỉ ra rằng trọng tâm đánh giá của MLR khác biệt với con người, tập trung nhiều hơn vào tính hiệu quả và thí nghiệm, trong khi con người coi trọng tính rõ ràng và sự mới mẻ hơn. (MarkTechPost)