AI 안전 Archives - 5 중 4 번째 페이지

시스템 카드는 AI 모델이나 AI 제품의 위험, 안전 평가, 완화 조치, 한계를 정리한 안전성 문서입니다. 모델 카드·벤치마크·레드팀과의 차이까지 초보자 눈높이로 설명합니다.

RLHF는 사람이 더 낫다고 고른 답변이나 행동을 보상 신호로 바꿔 AI 모델을 조정하는 학습 방식입니다. 챗GPT 같은 대화형 AI를 이해할 때 꼭 알아야 할 기본 용어입니다.

자동화 편향은 AI나 자동화 시스템의 답을 사람이 과하게 믿고 원문 확인과 사람 검토를 줄이는 판단 오류입니다.

모더레이션은 AI 입력과 출력이 안전 정책에 어긋나는지 검사하고 차단, 경고, 사람 검토 같은 조치로 연결하는 콘텐츠 안전 점검 과정입니다.

미국 정부가 OpenAI의 새 모델 출시 속도 조절을 요청했다는 보도를 바탕으로 AI 안전 검증과 거버넌스의 의미를 짚습니다.

NVIDIA Halos for Robotics는 물리 AI와 로봇 안전을 통합하는 플랫폼입니다. IGX Thor와 Halos OS가 산업용·휴머노이드 로봇 도입에서 왜 중요한지 정리합니다.

AI 레드팀은 AI 시스템을 공격자나 악의적 사용자 관점에서 시험해 보안 취약점, 유해 출력, 데이터 유출, 정책 우회, 자동화 오작동 가능성을 미리 찾는 안전 평가 활동입니다.

Google DeepMind가 AI 에이전트 보안과 내부 시스템 보호를 강조했습니다. 에이전틱 AI 시대에 권한 관리, 승인 절차, 로그와 거버넌스가 왜 중요한지 정리합니다.

Anthropic 서울 오피스 개소와 한국 기업 파트너십이 Claude Code, 기업 AI 도입, AI 안전 경쟁에 주는 의미를 정리합니다.

휴먼 인 더 루프는 AI 자동화 과정 중간에 사람이 검토, 수정, 승인, 중단할 수 있는 단계를 넣어 위험한 실수를 줄이는 운영 방식입니다.

Tag Archives: AI 안전