본문
ChatGPT가 등장한 이후, 생성형 AI가 기업 업무의 필수 도구가 되었으나, 프롬프트 인젝션으로 인한 데이터 유출, 학습 데이터 오염을 통한 모델 왜곡, 딥페이크를 활용한 사기 범죄 등 AI에 대한 보안 위협도 함께 급증하고 있습니다.
이에 정부는 'AI 기본법' 제정과 범정부 차원의 종합 대응 체계를 제시하였습니다. 국가정보원은 AI 시스템의 15개 보안 위협과 30개 대책을, 과학기술정보통신부는 개발자·서비스제공자·이용자별 보안 프레임워크를, 개인정보보호위원회는 생성형 AI의 생애주기별 개인정보 처리 기준을 각각 발표하며, 보안과 프라이버시 보호를 통합 관리하는 가이드라인을 배포하였습니다.
이번 뉴스레터는 정부의 AI 보안 가이드라인의 주요내용을 분석하고, 기업이 대비해야 할 전략적 과제를 제시합니다.
1. 배경
2. AI 보안 가이드라인 주요내용
가. [국가정보원] 국가ㆍ공공기관_AI보안_가이드북
나. [과학기술정보통신부] AI(AI) 보안 안내서
다. [개인정보보호위원회] 생성형 AI 개발 활용을 위한 개인정보 처리 안내서
라. [개인정보보호위원회] AI 프라이버시 리스크 관리 모델
3. AI 도입·활용 시 고려해야 할 보안 사항
4. 시사점
1. 배경
생성형 AI 기술의 급속한 발전은 혁신적인 콘텐츠 제작을 가능하게 했지만, 동시에 딥페이크 범죄나 프롬프트 인젝션과 같은 새로운 보안 위협을 낳았습니다. AI 개발 및 활용 과정에서 수반되는 대규모 개인정보 처리는 프라이버시 침해 우려를 증폭시키며, 보안과 개인정보 보호를 함께 고려한 통합적 관리 체계의 필요성을 높였습니다.
2024년 12월 'AI 발전과 신뢰 기반 조성 등에 관한 기본법'이 국회를 통과하며 제도적 기반이 마련되었고, 이어 개인정보보호위원회가 2024년 12월 AI 프라이버시 리스크 관리 모델을, 2025년 8월 생성형 AI의 생애주기 각 단계에서 개인정보 보호법 준수를 위한 안내서를 공개, 2025년 12월 국가정보원과 과학기술정보통신부가 AI 시스템의 보안 가이드라인을 각각 공개함으로써 기업들이 AI 보안과 개인정보 보호를 통합적으로 관리할 수 있는 범정부 차원의 포괄적 프레임워크가 완성되었습니다.
2. AI 보안 가이드라인 주요내용
가. [국가정보원] 국가ㆍ공공기관_AI보안_가이드북
국가정보원은 2024년 11월 초판에 이어 2025년 12월 AI 시스템의 전 수명주기를 아우르는 보안 가이드북을 발표했습니다. 이 가이드북의 핵심은 AI 고유의 보안 위협을 체계적으로 분류하고, 에이전틱 AI·피지컬 AI와 같은 차세대 기술에 대한 선제적 대응 방안을 제시한 점입니다.
AI 보안 위협 15종과 대응 방안: 가이드북은 전통적 사이버 위협을 넘어 AI 특유의 위협을 세 가지 범주로 분류합니다. 공격자가 학습 데이터에 악의적 정보를 주입해 모델의 편향이나 오작동을 유도하는 학습 데이터 오염(T01), 악의적 지시문으로 모델의 가드레일을 우회하는 프롬프트 인젝션(T08), 그리고 AI 공급망을 겨냥한 공격까지 총 15개 위협 유형을 식별하고, 각각에 대응하는 30개 보안 대책을 제시합니다.
특히 데이터 보호(신뢰 출처 활용, 저장 시 암호화), 모델 보호(입출력 필터링, AI-DLP 솔루션 도입, 적대적 모의해킹), 운영 단계 통제(AI 명세서 기반 공급망 관리, 전용 로깅 시스템) 등 실무적으로 즉시 적용 가능한 조치에 초점을 맞춰, AI 수명주기별, 구축 유형별 보안위협 및 보안대책을 마련하였습니다.
차세대 AI에 대한 선제적 대응: 가이드의 주목할 점은 에이전틱 AI와 피지컬 AI라는 차세대 기술에 대한 가이드로 제공합니다. 자율적으로 외부 도구를 활용하는 에이전틱 AI는 과도한 권한 부여 시 잘못된 조작이나 권한 침해 위험이 있어, 화이트리스트 기반 도구 사용 체계와 'Human-in-the-loop' 설계가 권고됩니다. 가이드북은 에이전트 간 통신 공격, AI의 무단 권한 침해 등 11개 위협과 17개 대응방안을 제시하였습니다.
로봇·드론 등 물리적 환경과 결합하는 피지컬 AI의 경우, 센서 데이터 위변조나 권한 탈취가 인명 피해로 직결될 수 있습니다. 이에 가이드북은 비상시 즉각 작동하는 안전모드 탑재와 비상대응 체계 구축을 핵심 대책으로 제시하며, 5개 위협과 10개 대응방안을 마련했습니다.
나. [과학기술정보통신부] AI(AI) 보안 안내서
과학기술정보통신부 안내서는 AI 개발자, 서비스 제공자, 일반 이용자 등 참여 주체별로 구체적인 보안 체크리스트를 제공합니다. AI 시스템의 생애주기를 '계획 및 설계 → 데이터 수집 및 준비 → 모델 개발 → 모델 배포 → 운영 및 유지보수 → 파기' 6단계로 세분화하고, 각 단계에서 점검해야 할 사항을 제시한 것이 특징입니다.
(AI 개발자) 보안 거버넌스 수립: AI 개발자는 시스템의 기획부터 파기까지 전 과정에서 보안성을 확보하는 주체로서, 체계적인 보안 거버넌스를 구축해야 합니다. 정보보호최고책임자(CISO)를 중심으로 명확한 역할 분담 체계를 갖추고, 계획 및 설계 단계에서부터 위협 모델링을 실시해 발생 가능한 위험 요소를 선제적으로 분석하는 것이 핵심입니다.
데이터 수집 시 네트워크 암호화와 무결성 검증, 모델 개발 시 프롬프트 인젝션이나 적대적 공격에 대한 기술적 대응, LLM 관련 오픈소스 라이브러리 취약점 관리 등이 생애주기별로 요구됩니다.
(AI 서비스 제공자) 예방과 탐지·대응의 이중 체계: AI 서비스 제공자는 '예방(Prevention)'과 '탐지 및 대응(Detection & Response)' 두 축의 보안 프레임워크를 운영해야 합니다. 예방 측면에서는 공급업체와의 서비스 수준 계약(SLA)에 보안 요구사항 명시, 소스 코드 취약점 점검, API 통신 암호화 및 호출 제한 적용 등이 필요합니다.
탐지 및 대응 측면에서는 실시간 모니터링을 통한 모델의 비정상 활동 감시, 모델 드리프트 탐지, 다중화 및 백업 시스템 운용이 요구됩니다.
(AI 이용자) 악용 위협 인식과 보안 수칙: 일반 이용자는 AI를 악용한 딥페이크 사기, 보이스피싱 등의 위협을 인식하고 스스로를 보호하기 위한 수칙을 생활화해야 합니다. 프로그램 다운로드 시 공식 사이트 이용, 접속 시 보안 인증서 확인, 민감 정보 프롬프트 입력 자제, AI 결과물의 진위 별도 검증 등이 권장됩니다.
다. [개인정보보호위원회] 생성형 AI 개발 활용을 위한 개인정보 처리 안내서
개인정보보호위원회는 2025년 8월 생성형 AI의 생애주기 각 단계에서 개인정보 보호법 준수를 위한 최소 기준과 안전조치를 담은 안내서를 제정했습니다. 이는 생성형 AI의 개인정보 처리 이슈를 체계화하고 법적 기준을 제시해, 기업의 예측 가능성과 자율 준수 역량을 높이기 위한 것입니다.
안내서는 생성형 AI를 ①목적 설정, ②전략 수립, ③AI 학습 및 개발, ④시스템 적용 및 관리 4단계로 구분합니다. 목적 설정 단계에서는 처리 목적 구체화 및 적법 근거(동의·계약·정당한 이익) 확보가, 전략 수립 단계에서는 '개인정보 안심설계(Privacy by Design)' 원칙 적용과 개인정보 영향평가(PIA) 실시가 필요합니다. AI 학습 및 개발 단계에서는 출처 검증, 가명·익명처리, 고유식별정보 제거와 함께 모델 미세조정(Fine-tuning) 및 정렬(Alignment)이 요구됩니다. 시스템 적용 및 관리 단계에서는 배포 전 레드팀 테스트, '허용되는 이용방침(AUP)' 공개, 정보주체 권리행사 지원 체계 구축이 핵심입니다.
개인정보 처리의 적법성 확보는 출처별로 달리 접근해야 합니다. 공개된 개인정보는 '정당한 이익' 조항(제15조 제1항 제6호)을 근거로 활용할 수 있으나, 목적의 정당성·처리의 필요성·이익형량을 종합 검토하고 비식별 조치 및 옵트아웃을 제공해야 합니다. 이용자 데이터는 당초 목적 범위 내 서비스 개선은 가능하나, 목적 외 추가 이용 시에는 관련성·예측 가능성·이익 침해 여부를 고려해야 하며, 민감정보나 고유식별정보는 별도 동의 또는 법적 근거가 필수입니다.
라. [개인정보보호위원회] AI 프라이버시 리스크 관리 모델
개인정보보호위원회는 2024년 12월 'AI 프라이버시 리스크 관리 모델'을 통해 리스크 기반 접근 방식(Risk-based Approach)을 제시했습니다. 이는 AI의 불확실성을 고려해 일률적 규제보다 개별 맥락에 따라 리스크 수준에 비례하는 안전장치를 마련하는 유연한 체계입니다.
리스크 관리는 ①AI 유형·용례 파악 → ②리스크 식별 → ③리스크 측정 → ④경감방안 도입 4단계로 진행됩니다. AI 유형·용례 파악 단계에서는 모델 목적·범위·처리 데이터를 분석하고, 리스크 식별 단계에서는 기획·개발 단계의 적법하지 않은 학습데이터 수집이나 서비스 제공 단계의 학습데이터 암기·개인정보 유출·자동화된 결정으로 인한 권리 약화 등을 매핑합니다. 리스크 측정 단계에서는 발생 확률과 중대성을 평가해 우선순위를 결정하고, 리스크 경감 단계에서는 기술적 조치(데이터 전처리, 입출력 필터링, 차분 프라이버시)와 관리적 조치(출처 관리, 레드팀 운영)를 도입합니다.
리스크 기반 접근은 PbD(Privacy by Design) 원칙에 따라 기획 단계부터 리스크를 관리합니다. 내부 관리체계는 CPO 중심의 거버넌스를 마련하고, '3차 방어선(3LoD) 모델'을 참고하며, 리스크 관리 원칙과 절차를 문서화하고 최고 책임자 보고 체계를 구축하는 것이 중요합니다.
3. AI 도입·활용 시 고려해야 할 보안 사항
AI 도입은 단순한 기술 선택이 아닌 기업의 중장기 경쟁력을 좌우하는 전략적 의사결정입니다. 특히 보안과 프라이버시 리스크는 금전적 손실을 넘어 브랜드 신뢰 추락과 법적 책임으로 직결되는 만큼, 경영진은 다음 핵심 영역을 전략적으로 관리해야 합니다.
첫째, AI 거버넌스를 최고 경영층의 핵심 의제로 격상해야 합니다. 개인정보보호법 위반 시 전체 매출의 3%에 달하는 과징금이 부과될 수 있고, 보안 사고 발생 시 주가 하락과 고객 이탈이라는 직접적 피해가발생합니다. CISO, CPO, CAIO가 협력하는 통합 거버넌스 체계를 구축하고, 이사회 차원에서 AI 리스크를 정기적으로 점검해야 합니다.
둘째, 'Security & Privacy by Design' 원칙을 경영 철학으로 내재화해야 합니다. AI 시스템을 기획하는 초기 단계부터 보안과 프라이버시를 설계에 반영하면 사후 대응 비용을 획기적으로 절감할 수 있습니다. 기획 단계에서 위협 모델링과 개인정보 영향평가를 동시에 실시하여 학습 데이터 오염, 프롬프트 인젝션, 공급망 공격 등 AI 고유의 위협을 조기에 발견하고 예방해야 합니다.
셋째, AI 생애주기 전 단계에 걸친 체계적 리스크 관리 프로세스를 확립해야 합니다. 데이터 수집 시 출처 검증과 가명·익명처리, 모델 개발 시 적대적 공격 시뮬레이션과 오픈소스 취약점 점검, 배포 단계에서 레드팀 테스트와 AI-DLP 솔루션 도입, 운영 단계에서 실시간 모니터링 체계 구축이 필요합니다.
넷째, 차세대 AI 기술 도입 시 특화된 보안 전략을 선제적으로 마련해야 합니다. 에이전틱 AI는 화이트리스트 기반 도구 통제와 'Human-in-the-loop' 설계가 필수이며, 피지컬 AI는 비상 안전모드 탑재와 실시간 비상대응 체계가 경영진의 최우선 과제입니다.
다섯째, 임직원과 고객 등 이용자 관점의 보안 교육과 안전장치를 강화해야 합니다. 기술적 보안 체계가 완벽하더라도 이용자의 부주의로 인한 보안 사고가 빈번히 발생합니다. 임직원에게는 업무용 AI 서비스 이용 시 기업 기밀이나 고객 정보를 프롬프트에 입력하지 않도록 하는 보안 수칙 교육이 필수이며, 고객에게는 딥페이크 사기와 AI 기반 보이스피싱 등 악용 사례를 안내하고 공식 사이트 이용, 보안 인증서 확인, AI 결과물의 진위 검증 등 기본 수칙을 제공해야 합니다. 또한 서비스 차원에서 '허용되는 이용방침(AUP)'을 명확히 공개하고, 의심스러운 활동 발견 시 신고할 수 있는 채널을 마련하는 것이 중요합니다.
여섯째, AI 보안을 비용이 아닌 경쟁 우위 창출의 기회로 인식해야 합니다. 보안과 프라이버시를 투명하게 관리하는 기업은 고객 신뢰를 확보하며, 금융·의료·공공 부문 등 높은 보안 수준을 요구하는 시장에서 진입 우위를 점할 수 있습니다. AI 보안 투자는 시장 신뢰 확보와 장기적 성장을 위한 전략적 투자입니다.
4. 시사점
정부는 이번 가이드라인 공개를 통해 AI 시스템의 기술적 보안과 개인정보 보호를 통합 관리해야 할 핵심 과제로 제시했습니다. 국가정보원과 과학기술정보통신부가 외부 위협 차단과 내부 보안 통제를 강조한 반면, 개인정보보호위원회는 대규모 개인정보 처리의 적법성 확보와 정보주체 권리 보장을 강조해 보안과 프라이버시의 균형잡힌 관리체계를 완성했습니다. 특히 리스크 기반 접근 방식을 일관되게 제시함으로써, AI의 유형·용례·데이터 민감성을 고려한 맞춤형 대응을 권장하며 EU AI Act, NIST AI RMF 등 국제적 흐름과도 일치하도록 가이드라인을 구성하고 공개하였습니다.
AI의 활용이 일상화됨에 따라, AI 관련 법제 또한 구체화될 것으로 예상됩니다. 이번 가이드라인을 이용하여 시장 신뢰도 제고와 경쟁 우위 확보를 위해 AI 보안 체계를 조기에 내재화할 필요가 있습니다.
화우 정보보호센터는 오랜 경험과 축적된 노하우를 기반으로 기업 고객을 위한 최적의 솔루션을 안내해 드리고 있습니다. 정보보호 관련 법령의 해석 및 그 대응과 정보보호 기술적 자문(해킹 진단, 보안취약점) 등 포괄적인 올인원(All-in-One) 서비스를 제공하고 있습니다. 관련하여 문의사항이 있으신 경우 언제든지 화우에 연락하여 주시기 바랍니다.
- 관련 분야
- #정보보호센터
