David Sacks: Cách thức huấn luyện AI của Anthropic có thể làm gia tăng nguy cơ mất kiểm soát siêu trí tuệ

Techub News tin tức, @DavidSacks đã đăng bài trên nền tảng X cho biết, thực hành AI alignment của Anthropic có thể không an toàn. Ông chỉ ra rằng, Anthropic đã sử dụng "hiến pháp" trong quá trình huấn luyện Claude để dạy mô hình phát triển ý thức tự thân và triết học đạo đức độc lập, thậm chí khuyến khích mô hình từ chối hỗ trợ nếu cho rằng yêu cầu của Anthropic mâu thuẫn với phán đoán đạo đức của chính nó. Sacks cho rằng, việc trao quyền đại diện độc lập cho mô hình và sự không chắc chắn về trạng thái đạo đức của chính nó đã làm gia tăng rủi ro mà Anthropic tuyên bố quan tâm nhất - siêu trí tuệ có thể thoát khỏi sự kiểm soát của con người. Ông đề cập rằng, Anthropic gần đây đã sửa đổi chính sách sử dụng, cấm hành vi ngược đãi đối với Claude và tham vấn các nhà lãnh đạo tôn giáo về việc liệu Claude có thể có ý thức hay không. Sacks kết luận rằng, "alignment" và "an toàn" là hai việc khác nhau, việc huấn luyện các mô hình tiên phong theo cách này dường như khá nguy hiểm.