AI 책임 원칙: 선언에서 운영 체계로의 흐름

Responsible AI(책임있는 AI)는 대학원 시절부터 항상 관심있던 분야였다. 가끔 찾아볼 때에 그 내용과 필요성에 공감은 하면서도 막상 실질적으로 와닿지가 않았다. 그래서 어떻게 실천하고 있는 건지, 기술적으로는 어떻게 녹여내고 있는지, 이것이 실무적으로 적용되고 있는지에 대한 방법론과 세부 내용들에 대한 자료가 많이 없는 느낌..? 은 내가 제대로 연구하지 않아서 그럴지도

최근 AI의 폭발적인 발전과 함께 그만큼 위험성에 대한 외침과 규율에 대한 필요성이 더욱 눈에 띄는 것 같다. Agentic AI에 대해 Harness를 만져보고 겪어보면서 이 부분들이 어쩌면 책임 있는 AI와 맞닿아 있지 않나 생각도 들었다. 오랜만에 관련 자료들을 스크랩하면서 기록 겸 공부 겸 정리해두려고 한다. 기존에 봤던 자료들은 AI 윤리 선언처럼 느껴졌는데, OECD, UNESCO, NIST, Microsoft 자료를 같이 읽어보니 흐름은 조금 달랐다. 이제 책임 있는 AI는 좋은 말의 목록이라기보다, AI 시스템을 설계하고 평가하고 배포하고 감시하는 운영 체계에 가까워지고 있다.

책임 있는 AI는 무엇을 책임지는가#

책임 있는 AI를 말할 때 흔히 떠올리는 키워드는 공정성, 투명성, 프라이버시, 안전성, 설명가능성, 책임성이다. 이 단어들은 중요하지만, 추상어로만 남으면 실무에서는 잘 움직이지 않는다.

예를 들어 “공정한 추천”이라고 할 때도 질문은 금방 복잡해진다.

• 학생에게 가장 잘 맞는 콘텐츠를 추천하는 것이 공정한가?
• 학습 기회가 부족했던 학생에게 보충 경로를 더 많이 열어주는 것이 공정한가?
• 인기 콘텐츠만 계속 노출하지 않는 것이 공정한가?
• 추천 이유를 학생과 교사가 이해할 수 있어야 공정한가?

결국 책임 있는 AI의 핵심은 “착한 AI를 만들자”가 아니라, AI 시스템이 영향을 미치는 사람과 맥락을 기준으로 위험을 정의하고 관리하는 것에 가깝다.

이 관점에서 보면 책임 있는 AI는 모델 하나의 속성이 아니라 시스템 전체의 속성이다. 같은 모델이라도 교육용 추천에 쓰일 때와 대출 심사에 쓰일 때의 위험은 다르고, 챗봇이 단순히 답변만 할 때와 외부 도구를 호출해 실제 행동을 할 때의 통제 지점도 달라진다. 따라서 “이 모델은 공정한가?”라는 질문보다 “이 시스템은 누구에게 어떤 결정을 내리고, 그 결정이 틀렸을 때 어떤 피해가 생기며, 그 피해를 어떻게 발견하고 바로잡을 것인가?”라는 질문이 먼저 와야 한다.

자료들이 서로 다른 층위를 맡고 있다는 점도 이때 분명해진다.

OECD와 UNESCO: 원칙의 언어#

OECD AI Principles는 2019년에 채택되고 2024년에 업데이트된 국제 원칙이다. 큰 방향은 인간 중심, 인권, 민주적 가치, 지속가능한 발전, 투명성, 안전성, 책임성이다.

OECD 원칙이 유용한 이유는 AI를 기술 내부의 문제가 아니라 사회적 제도와 연결해서 본다는 점이다. AI는 국경을 쉽게 넘고, 모델·데이터·서비스 공급망이 복잡하게 얽혀 있다. 그래서 한 회사의 내부 원칙만으로는 부족하고, 서로 다른 조직과 국가가 대화할 수 있는 최소한의 공통 언어가 필요하다.

다만 원칙은 설계 문서의 마지막 줄에 붙이는 문구가 아니다. 예를 들어 “인간 중심”을 실제 요구사항으로 바꾸면 사용자가 이의를 제기할 수 있는가, 자동 결정을 사람이 재검토할 수 있는가, 사용자가 AI와 상호작용하고 있다는 사실을 알 수 있는가 같은 질문이 된다. “투명성”도 모델 내부를 전부 공개하라는 뜻으로만 읽기보다, 영향을 받는 사람이 결과의 성격과 한계, 이의 제기 방법을 이해할 수 있어야 한다는 요구로 해석하는 편이 현실적이다.

UNESCO의 AI 윤리 권고는 더 분명하게 인권과 인간 존엄을 중심에 둔다. 이 권고는 2021년에 채택됐고, UNESCO 회원국 전체에 적용되는 글로벌 윤리 표준으로 소개된다. 흥미로운 점은 윤리를 추상 원칙에 가두지 않고 데이터 거버넌스, 환경, 젠더, 교육, 보건 같은 정책 영역으로 확장한다는 것이다.

이 둘은 실무자 입장에서 당장 “내일 무엇을 고칠까?”에 대한 답을 주지는 않는다. 대신 무엇을 성능의 바깥에 놓으면 안 되는지 알려준다. 정확도, 클릭률, 비용 절감은 측정하기 쉽지만 인권, 존엄, 접근성, 장기적인 기회 같은 가치는 숫자 하나로 압축하기 어렵다. 그렇다고 측정하기 어렵다는 이유로 제외하면, 시스템은 결국 가장 쉬운 대리 지표만 최적화하게 된다.

내가 OECD와 UNESCO를 읽으며 받아들인 역할은 여기까지다. 이 자료들은 개발자가 바로 실행할 명령어를 주기보다, 제품 목표를 정할 때 빠뜨리기 쉬운 사람과 사회의 관점을 테이블 위에 올려놓는다. 그 다음에 필요한 것이 NIST 같은 위험관리 프레임워크다.

NIST: 원칙을 위험관리로 바꾸는 방법#

실무적으로 가장 손에 잡히는 자료는 NIST AI Risk Management Framework다. NIST AI RMF는 자발적 프레임워크이고, AI 제품과 시스템의 설계, 개발, 사용, 평가에 신뢰성 고려를 통합하기 위한 틀이다.

NIST 쪽 자료를 읽을 때 좋았던 점은 “신뢰할 수 있는 AI”를 꽤 구체적인 구성 요소로 나눈다는 것이다. NIST Trustworthy and Responsible AI는 타당성·신뢰성, 안전성, 보안·복원력, 책임성·투명성, 설명가능성·해석가능성, 프라이버시, 공정성을 주요 요소로 제시한다.

이 항목들을 보면 모델 평가가 단순히 accuracy, F1 score, AUC 같은 숫자로 끝날 수 없다는 사실이 분명해진다. NIST AI RMF가 제안하는 Govern, Map, Measure, Manage라는 네 가지 기능도 같은 방향을 가진다. 조직의 책임 구조를 만들고(Govern), 사용 맥락과 위험을 파악한 뒤(Map), 측정 가능한 방법으로 평가하고(Measure), 그 결과를 바탕으로 우선순위를 정해 대응하는 것(Manage)이다.

이 순서는 모델을 다 만든 뒤 검사하는 절차와 다르다. Map 단계에서 애초에 어떤 사용자는 시스템의 직접적인 영향을 받고, 어떤 사용자는 데이터에만 간접적으로 반영되는지 그려봐야 한다. Measure 단계에서는 평균 성능뿐 아니라 집단별 성능, 극단적인 입력, 오래된 데이터, 적대적 입력, 사람의 오판 가능성을 함께 봐야 한다. Manage 단계에서는 위험을 발견했다는 사실만 기록하는 것이 아니라 출시 보류, 기능 제한, 추가 고지, 사람의 승인 단계 같은 실제 조치까지 연결해야 한다.

성능 평가
  -> 모델이 예측을 잘하는가?

위험 평가
  -> 누구에게 어떤 피해가 생길 수 있는가?
  -> 어떤 상황에서 실패하는가?
  -> 실패를 발견하고 멈출 수 있는가?
  -> 설명과 책임 소재가 남는가?

추천 시스템을 예로 들면, 성능 평가는 “클릭률이 올랐는가”를 본다. 위험 평가는 거기에 더해 “특정 집단이 계속 낮은 품질의 콘텐츠만 추천받는가”, “사용자가 추천 이유를 오해할 가능성이 있는가”, “잘못된 추천이 학습 경로를 왜곡하는가”, “운영자가 추천을 중단하거나 수정할 수 있는가”를 본다.

이 차이가 중요하다. 책임 있는 AI는 모델 개발 말미에 붙이는 윤리 체크리스트가 아니라, 문제 정의 단계부터 들어와야 한다. 특히 에이전트처럼 모델이 검색, 코드 실행, 메시지 전송, 데이터베이스 변경까지 수행할 수 있다면 “답변이 맞는가?”만으로는 부족하다. 호출할 수 있는 도구의 범위를 제한했는지, 승인 없이 실행되어도 되는 행동과 안 되는 행동을 나눴는지, 모든 행동을 추적할 로그가 남는지까지 평가 범위가 넓어진다.

Microsoft 사례: 책임은 도구와 프로세스로 내려와야 한다#

Microsoft 2025 책임 있는 AI 투명성 보고서는 원칙이 실제 조직 안에서 어떤 형태를 갖는지 보여주는 자료다.

보고서에서 인상적이었던 부분은 책임 있는 AI가 점점 더 운영 업무가 되고 있다는 점이다. Microsoft는 2024년에 텍스트뿐 아니라 이미지, 오디오, 비디오 리스크 측정과 완화 범위를 확장했고, 에이전틱 시스템에 대한 지원도 넓혔다고 설명한다. 또한 출시 전 검토, 레드팀 활동, 고위험 AI 활용 사례에 대한 감독, 책임 있는 AI 문서화를 위한 내부 워크플로우 도구를 언급한다.

여기서 중요한 것은 특정 기업의 도구를 그대로 따라 하는 일이 아니다. 오히려 책임을 담당자의 선의에만 맡기지 않고 반복 가능한 프로세스로 만들려는 방향이다. 출시 전에 검토한다고 해도 검토 결과가 어디에 기록되는지, 어떤 조건이면 출시를 보류하는지, 완화 조치가 실제로 효과가 있었는지 확인하지 않으면 검토는 형식적인 승인 절차가 되기 쉽다.

Microsoft Research의 AI Testing and Evaluation 자료도 같은 문제를 다른 각도에서 보여준다. AI 테스트는 전통적인 소프트웨어 테스트처럼 정답 입력과 예상 출력만 비교하기 어렵다. 입력의 분포가 넓고, 같은 기능도 사용자와 맥락에 따라 실패 양상이 달라지기 때문이다. 따라서 테스트 데이터셋, 시뮬레이션, 전문가 검토, 레드팀, 실제 사용 중 모니터링을 조합해야 한다.

내가 이 부분에서 특히 중요하다고 느낀 것은 “문제가 없는지 확인한다”와 “문제가 생겼을 때 운영자가 움직일 수 있다”가 서로 다른 요구사항이라는 점이다. 전자는 평가의 문제이고 후자는 통제의 문제다. 책임 있는 시스템에는 둘 다 필요하다.

이건 꽤 현실적인 메시지다. 원칙은 선언만으로 작동하지 않는다. 책임 있는 AI가 실제로 작동하려면 다음이 필요하다.

• 누가 승인하고 누가 책임지는지에 대한 역할 정의
• 출시 전 평가 기준
• 레드팀과 오남용 테스트
• 위험 완화 조치와 문서화
• 배포 후 모니터링
• 문제가 생겼을 때 중단하거나 수정하는 절차
• 외부 모델, 데이터, 도구를 쓸 때의 공급망 책임

특히 공급망 책임은 앞으로 더 중요해질 것 같다. 요즘 AI 서비스는 한 조직이 모든 것을 직접 만들지 않는다. 기반 모델, 벡터 DB, 검색 시스템, 외부 API, 오픈소스 라이브러리, 고객 데이터가 섞인다. 이때 “문제가 생기면 누가 책임지는가?”라는 질문은 생각보다 어렵다. 모델 제공자는 학습 데이터와 모델의 한계를 모두 알지 못할 수 있고, 서비스를 조합한 팀은 실제 사용 맥락에 대한 책임을 피하기 어렵다. 그래서 모델 카드나 이용약관만 전달하는 것으로 끝내기보다, 어떤 버전을 사용했는지, 어떤 안전 설정을 켰는지, 어떤 입력을 외부 서비스로 보내는지까지 남겨야 한다.

여러 정책을 비교해서 보기#

The anatomy of AI policies는 여러 책임 있는 AI 정책에 대한 리서치 페이퍼로, 연구진은 싱가포르, 미국, 영국, 캐나다, 호주, 히로시마와 OECD·ISO 같은 국제기구에서 나온 17개의 프레임워크·표준·규정을 비교했다.

각 정책이 어떤 책임 있는 AI 원칙을 포함하는지, AI 생애주기의 어느 단계를 다루는지, 개발자·배포자·정책 담당자 중 누구를 대상으로 하는지, 특정 기술에 한정되는지, 자발적 기준인지 의무 규정인지, 실제 실행을 위한 입력·출력·도구를 제공하는지 공통된 분석 항목으로 분해하여 비교한다.

이렇게 보면 “AI 정책”이라는 말이 하나의 종류를 가리키지 않는다는 사실이 드러난다. 어떤 문서는 방향을 제시하는 원칙 선언에 가깝고, 어떤 문서는 위험관리 절차에 가깝다. 어떤 규정은 데이터와 개인정보를 중심으로 하고, 어떤 프레임워크는 생성형 AI나 특정 산업의 사용 맥락을 더 세밀하게 다룬다. 정책의 차이는 단순히 국가별 표현의 차이가 아니라, 누구에게 무엇을 요구하는지와 어느 단계에 개입하는지의 차이다.

논문에서 비교 대상으로 등장하는 사례를 몇 가지 유형으로 묶어보면 다음과 같다.

• 위험관리 프레임워크: NIST AI RMF와 생성형 AI 프로파일, NIST ARIA, 싱가포르의 Model Governance Framework for Generative AI처럼 위험을 식별하고 평가하는 절차를 중심으로 한다.
• 영향평가·규제 도구: 캐나다의 Algorithmic Impact Assessment처럼 질문지를 입력받고 조직의 위험 수준과 권고사항을 산출하는 방식이 있다.
• 데이터·개인정보 중심 규정: EU GDPR, 미국의 Blueprint for an AI Bill of Rights, 캐나다의 Consumer Privacy Protection Bill C-27처럼 데이터 관리와 권리 보호를 중심에 둔다.
• 원칙과 표준: OECD AI Principles나 ISO 계열 표준처럼 조직이 책임 있는 AI를 설계할 때 참고할 공통 언어와 관리 체계를 제공한다.

같은 “책임 있는 AI”라는 표현을 쓰더라도 어떤 자료는 원칙을, 어떤 자료는 생애주기를, 어떤 자료는 감사와 영향평가를 주된 대상으로 삼는다. 각 정책이 무엇을 포함하고 무엇을 포함하지 않는지 비교할 수 있게 해주는 지도의 느낌이 들었다. 이처럼 정책의 종류와 역할을 나눠서 보면, 책임 있는 AI를 공부하는 일이 선언문을 모으는 일에서 실제 설계 재료를 고르는 일로 바뀐다. 제품의 가치와 권리를 정리할 때는 OECD·UNESCO를 보고, 위험관리 흐름을 설계할 때는 NIST를 보기. 개인정보나 규제 적용 가능성을 검토할 때는 GDPR 같은 법적 규정을 따로 확인하고, 생성형 AI나 에이전트의 특수한 위험을 다룰 때는 기술별 프로파일과 영향평가 도구를 찾아보면서.. 그 과정에서 시스템에 필요한 평가와 통제 질문을 구체화해가는 것 아닐까.. 하나의 정책이 모든 질문에 답해줄 것이라고 기대하지 않는 것이 중요하다.

Alignment Problem#

Brian Christian의 The Alignment Problem은 AI가 인간의 의도, 가치, 사회적 기준과 어떻게 어긋나는지를 다룬다. 채용, 보석·가석방, 의료, 자율주행 같은 사례를 보면 문제는 단순히 “모델이 틀렸다”가 아니다. 무엇을 맞았다고 볼 것인지, 누가 그 기준을 정했는지, 틀렸을 때 누구에게 어떤 피해가 가는지가 더 어려운 문제다.

The Alignment Problem은 먼 미래의 초지능 문제만이 아니다. 지금 쓰는 예측 모델, 추천 시스템, 자동화 의사결정, 에이전트 시스템 안에서도 계속 발생한다.

라벨은 진실이 아니라 과거 제도와 사람의 판단이 남긴 흔적일 수 있다. 목적 함수는 인간 가치 전체가 아니라 아주 좁은 대리 지표일 수 있다. 클릭률을 높이는 모델은 사용자의 장기 만족이나 학습 효과와 정렬되지 않을 수 있다. 정확도가 높은 모델도 특정 집단에 더 큰 오류 비용을 떠넘길 수 있다.

그래서 책임 있는 AI는 “AI가 나쁜 짓을 하지 않게 하자”보다 더 넓은 문제다.

AI가 최적화하는 것과 사람이 실제로 중요하게 여기는 것 사이의 간격을 계속 발견하고 줄이는 일이다.

이 간격은 한 번의 평가로 사라지지 않는다. 데이터가 바뀌고, 사용자가 바뀌고, 모델이 쓰이는 맥락이 바뀌면 다시 생긴다. 그래서 책임 있는 AI는 출시 전 심사만이 아니라 배포 후 관찰과 수정까지 포함해야 한다.

마무리#

대학원 시절부터 관심은 있었지만 실질적으로 와닿지 않았던 이유도 이제 조금 알 것 같다. Responsible AI라는 이름 아래에는 하나의 기술이나 도구가 있는 것이 아니라, 서로 다른 수준의 질문이 겹쳐 있었다.

OECD와 UNESCO는 우리가 지켜야 할 가치의 방향을 제시하고, NIST는 그 가치를 위험관리의 단계로 번역한다. Microsoft의 사례와 평가 자료는 그 단계들이 조직의 도구와 승인 절차, 테스트와 모니터링으로 내려와야 한다는 사실을 보여준다.

그리고 Agentic AI를 만지며 느꼈던 불안도 이 흐름 안에서 다시 보게 된다. 에이전트가 더 많은 일을 할수록 책임 있는 AI는 답변의 품질만 확인하는 문제가 아니다. 어떤 권한을 주고, 어떤 행동을 승인받게 하며, 실행 과정에 어떤 로그와 중단 지점을 둘지 설계하는 문제가 된다.

결국 책임 있는 AI는 원칙 선언에서 끝나지 않고, 테스트·평가·문서화·레드팀·모니터링·공급망 책임을 포함하는 운영 체계로 이동하고 있다.

AI 시스템이 점점 더 많은 의사결정에 들어갈수록 중요한 질문은 “이 모델이 얼마나 똑똑한가”만이 아니다. 이 모델이 무엇을 기준으로 판단하고, 어떤 위험을 만들 수 있으며, 그 위험을 누가 어떻게 관리하는가가 같이 물어져야 한다.

내가 앞으로 AI 시스템을 만들거나 평가할 때 기억하고 싶은 것도 거창한 선언은 아니다. 정확도를 높이는 일과 함께, 그 정확도가 누구에게 어떤 의미인지 묻는 것. 문제가 생겼을 때 설명할 수 있도록 기록을 남기는 것. 사람의 개입과 중단이 실제로 가능한지 미리 확인하는 것. 그리고 배포 이후에도 처음의 가정이 여전히 맞는지 계속 살펴보는 것이다.

책임 있는 AI는 기술의 속도를 늦추자는 이야기가 아니라, 기술이 실제 사람과 사회 안에서 오래 작동할 수 있게 만드는 기본 조건에 가깝다. 이번에 자료들을 다시 읽으며, 내가 궁금했던 “실제로 어떻게 적용되는가?”라는 질문에 대한 답도 결국 이 운영의 디테일에 있다는 생각이 들었다.

참고한 자료#

• OECD AI Principles
• UNESCO Recommendation on the Ethics of Artificial Intelligence
• NIST AI Risk Management Framework
• NIST Trustworthy and Responsible AI
• Microsoft Research: AI Testing and Evaluation, Learnings from Science and Industry
• Microsoft 2025 책임 있는 AI 투명성 보고서
• The anatomy of AI policies: a systematic comparative analysis of AI policies across the globe
• Brian Christian, The Alignment Problem