AI 안전 Archives - 5 중 2 번째 페이지

OpenAI가 배포 예정 최신 모델의 RL 훈련을 2주 중단하고 최대 규모 실행을 보류했습니다. Astra의 잠재적 사이버 역량과 작업·네트워크 격리, 토큰 단위 모니터링 등 새 안전장치를 공식 발표 기준으로 정리합니다.

지시 계층은 여러 출처의 명령이 충돌할 때 AI가 더 높은 권한과 신뢰 수준의 지시를 먼저 따르는 원칙입니다. 시스템·개발자·사용자·도구 메시지의 차이와 실전 점검법을 쉽게 설명합니다.

AI 강건성은 입력과 사용 환경이 달라져도 허용 가능한 성능을 유지하고 예상 밖 상황에서 피해를 줄이는 능력입니다. 정확도·일반화·회복탄력성·보안과의 차이, 쉬운 예시와 점검법을 설명합니다.

Financial Times를 인용한 The Verge 보도에 따르면 OpenAI는 중대 AI 위험을 평가하던 준비팀을 해체하고 생물학·사이버 업무를 기존 조직으로 분산했습니다. 조직 개편의 의미와 남은 검증 과제를 짚습니다.

AI 정렬은 인공지능의 행동과 결과를 사람의 의도, 목표, 가치와 안전 기준에 맞추려는 연구와 실천입니다. RLHF·가드레일·AI 안전과의 차이, 실제 점검법을 쉽게 설명합니다.

AI 사고는 AI 시스템의 개발·사용·오작동이 사람, 권리, 재산, 공동체, 환경 등에 실제 피해를 일으킨 사건입니다. AI 위험·오류·보안 사고와의 차이, 기록과 대응 순서, 실무 주의점을 쉽게 설명합니다.

머신 언러닝은 이미 학습된 AI 모델에서 특정 학습 데이터의 영향을 선택적으로 제거하는 기술입니다. 데이터 삭제·옵트아웃·재학습·차등 개인정보보호와의 차이와 검증 기준을 쉽게 설명합니다.

OpenAI가 차세대 모델 아스트라의 치명적 사이버 역량 가능성을 공개했습니다. 내부 활동 일부 중단, 격리·권한 제한·모니터링 강화 조치와 기업이 확인할 AI 보안 원칙의 핵심을 쉽게 살펴봅니다.

Anthropic이 Claude Fable 5의 생물학 안전 분류기를 개선해 관련 폴백을 테스트 기준 약 85% 줄였습니다. 일상 건강·교육 질문의 오탐은 낮추되 바이러스학·독성학·분자 설계 등 이중용도 요청은 Opus 5로 계속 전환하는 변화와 한계를 정리합니다.

헌법적 AI는 명시한 원칙 목록을 기준으로 AI가 응답을 비평·수정하고 AI 피드백을 학습에 활용하는 정렬 접근입니다. RLHF·RLAIF·시스템 프롬프트·가드레일과의 차이, 실제 활용과 한계를 설명합니다.

Tag Archives: AI 안전