AI기본법 시행·EU AI Act 본격화, 고영향 AI·생성형 AI 표시·개인정보 보호가 기업 경쟁력으로

[AI 골드러시⑧] 빠른 AI, 늦은 신뢰…규제가 된 산업 인프라. 사진=K trendy NEWS DB ⓒ케이 트렌디뉴스 무단전재 및 수집, 재배포금지
[AI 골드러시⑧] 빠른 AI, 늦은 신뢰…규제가 된 산업 인프라. 사진=K trendy NEWS DB ⓒ케이 트렌디뉴스 무단전재 및 수집, 재배포금지

[KtN 최기형기자]2026년 1월 22일, 한국의 ‘인공지능 발전과 신뢰 기반 조성 등에 관한 기본법’이 시행됐다. 법은 고영향 인공지능과 생성형 인공지능을 규율 대상으로 놓고, 투명성·안전성·사업자 책무를 제도권 안으로 끌어들였다. 유럽연합(EU)은 2024년 8월 AI Act를 발효시킨 뒤 일반목적 AI 모델 의무를 2025년 8월부터 적용하고 있다. AI 투자는 모델 성능과 GPU, 데이터센터, 전력망을 넘어 설명 가능한 시스템, 생성물 표시, 개인정보 처리, 안전 검증까지 요구하는 단계로 들어섰다.

샌프란시스코와 베이 지역의 AI 골드러시는 자본의 속도를 먼저 드러냈다. 맥킨지는 샌프란시스코가 2019년부터 2024년까지 약 1230억 달러의 AI 관련 민간자본을 끌어들였고, 2025년에는 샌프란시스코 기반 기업들이 전 세계 벤처캐피털 자금의 30%를 받았다고 설명했다. 2019년부터 2025년까지 샌프란시스코가 확보한 AI 소프트웨어·서비스 투자액은 약 3750억 달러였다.

같은 보고서에는 자본 집중의 취약성도 함께 담겼다. AI 관련 활동은 샌프란시스코 전체 임대 수요의 35%를 차지했고, 생성형 AI의 영향이 더 클 수 있는 산업이 샌프란시스코 GDP의 약 40%와 연결돼 있었다. 맥킨지는 이 구조가 규제 충격이나 일자리 대체 위험에 노출될 수 있다고 짚었다. AI 자본이 빠르게 몰린 도시일수록 기술의 부작용을 다룰 규칙과 책임 체계도 먼저 요구받는 셈이다.

한국의 AI기본법은 산업 진흥과 신뢰 확보를 한 법 안에 묶었다. 과학기술정보통신부는 AI기본법이 3년마다 인공지능 기본계획을 세우고, 대통령 소속 국가인공지능위원회와 AI안전연구소의 법적 근거를 마련하며, 연구개발·표준화·학습용 데이터·AI 도입·AI 클러스터·AI 데이터센터 지원 근거를 담았다고 밝혔다. 같은 법은 고영향 AI와 생성형 AI를 규율 대상으로 삼고, 투명성·안전성·사업자 책무와 민간의 안전·신뢰성 검인증, AI 영향평가의 법적 근거도 포함했다.

법의 방향은 단순한 규제가 아니다. AI 산업을 키우려면 기업이 데이터를 쓸 수 있어야 하고, 공공과 금융·의료·교육·제조 현장에 AI가 들어가야 한다. 동시에 AI가 사람의 권리, 안전, 신체, 재산, 일자리, 신용, 교육 기회에 영향을 줄 때는 설명과 책임이 따라야 한다. AI기본법이 산업 지원 조항과 고영향 AI 책무를 함께 둔 이유도 이 균형에 있다.

생성형 AI 표시 의무는 가장 먼저 체감되는 변화다. 생성형 AI가 만든 글, 이미지, 음성, 영상이 실제 사람의 창작물이나 발언처럼 유통되면 이용자는 판단 근거를 잃는다. 딥페이크 광고, 가짜 인터뷰, 합성 음성, 조작된 영상이 선거와 금융, 의료, 연예, 언론 영역으로 들어오면 피해는 개인을 넘어 시장 신뢰로 번진다. 한국 AI기본법은 고영향 AI와 생성형 AI를 대상으로 투명성 의무를 두고, 과기정통부 발표도 투명성·안전성·사업자 책무를 핵심 축으로 제시했다.

EU는 규제의 강도를 더 일찍 국제 통상 조건으로 만들었다. EU AI Act는 2024년 8월 1일 발효됐고, 원칙적으로 2026년 8월 2일부터 전면 적용되는 구조다. 일반목적 AI 모델 제공자 의무는 2025년 8월 2일부터 적용되기 시작했다. EU 집행위원회는 일반목적 AI 모델 제공자가 투명성·저작권 관련 의무를 지고, 시스템 위험이 있는 고성능 모델은 추가 통지와 안전·보안 의무를 부담한다고 설명했다.

EU의 규칙은 유럽 기업만의 문제가 아니다. 한국 AI 기업이 유럽 고객에게 서비스를 팔거나, 한국 제조기업이 유럽 공급망 안에서 AI 기반 품질관리·채용·안전관리·의료기기·금융 서비스를 제공하면 EU의 위험 분류와 문서화 요구를 피하기 어렵다. 한국 기업의 AI 경쟁력은 모델 성능뿐 아니라 어떤 데이터로 학습했는지, 어떤 위험을 평가했는지, 이용자에게 무엇을 고지했는지, 사고가 났을 때 누가 책임지는지까지 포함하게 됐다.

미국은 법률보다 표준과 프레임워크를 앞세워 움직여 왔다. 미국 국립표준기술연구소(NIST)는 AI 위험관리 프레임워크에서 신뢰할 수 있는 AI의 속성으로 유효성·신뢰성, 안전성, 보안과 회복력, 책임성과 투명성, 설명가능성과 해석가능성, 개인정보 보호, 유해한 편향 관리 등을 제시했다. 2024년에는 생성형 AI 위험관리 프로파일도 내놓았다. 법의 강제력과 별개로 글로벌 기업의 내부 감사, 조달, 보안, 보험, 투자 심사에서는 이런 표준이 사실상 공통 언어로 쓰인다.

한국 기업에는 세 갈래 압박이 동시에 온다. 국내에서는 AI기본법과 개인정보 보호 기준을 맞춰야 한다. 유럽 시장에서는 AI Act와 개인정보 규정, 저작권 투명성 요구를 봐야 한다. 미국 기업과 거래할 때는 NIST식 위험관리와 보안 기준, 클라우드·공급망 감사에 대응해야 한다. AI를 잘 만드는 능력과 AI를 설명하고 검증하는 능력이 분리되기 어려워졌다.

개인정보는 AI 신뢰 체계의 중심에 놓였다. 개인정보보호위원회는 2025년 8월 생성형 AI 개발·활용을 위한 개인정보 처리 안내서를 공개했다. 안내서는 생성형 AI 수명주기의 단계별 개인정보 처리와 보호 이슈를 체계화하고, 법적 기준과 안전조치를 제시하는 데 초점을 뒀다. 공개 데이터와 고객 데이터, 센서 데이터, 로그 데이터가 모두 AI 학습과 추론에 들어가는 상황에서 개인정보 처리는 사후 법무 검토가 아니라 모델 설계 단계의 조건으로 바뀌고 있다.

제조업 AI도 개인정보와 무관하지 않다. 공장 데이터에는 설비 운전 기록만 있는 것이 아니다. 작업자 동선, 근태, 안전장비 착용 여부, 작업 속도, 품질 검사 담당자 정보가 함께 섞일 수 있다. 물류센터와 병원, 조선소, 건설 현장, 자동차 공장에 들어가는 피지컬 AI는 사람의 움직임과 판단을 계속 기록한다. 생산성 개선을 위한 데이터가 노동 감시나 평가 자동화로 넘어가는 순간, 제조업 AI는 기술 문제가 아니라 노사관계와 인권의 문제로 확장된다.

저작권도 AI 산업의 비용표에 들어왔다. 한국저작권위원회는 생성형 AI 저작권 안내서와 생성형 AI 활용 저작물의 저작권 등록 안내서를 발간했고, 2026년에는 AI·저작권 안내서 4종을 묶어 제공했다. 생성형 AI가 학습 데이터와 결과물, 등록 가능성, 분쟁 예방을 동시에 다루는 영역으로 커지면서 콘텐츠 기업과 플랫폼, 언론사, 광고회사, 게임사, 엔터테인먼트 기업의 계약 구조도 바뀌고 있다.

콘텐츠 산업은 AI 신뢰 논쟁의 최전선에 있다. K팝 보컬 합성, 배우 얼굴 합성, 웹툰 그림체 학습, 기사 자동 생성, 광고 이미지 제작, 게임 캐릭터 음성 합성은 이미 상업 영역 안에 들어왔다. 창작자의 동의와 보상, 학습 데이터 출처, 결과물 표시, 초상권과 퍼블리시티권, 팬덤의 수용성까지 함께 걸린다. 한국이 K콘텐츠를 AI와 결합하려면 빠른 제작만으로는 부족하다. 저작권과 인격권, 계약 구조를 정리하지 못하면 AI 제작물의 해외 유통과 플랫폼 판매는 법적 분쟁을 안고 출발한다.

고영향 AI는 더 무거운 책임을 요구한다. 의료 AI는 진단과 치료 방향에 영향을 줄 수 있고, 금융 AI는 대출과 보험, 신용평가를 바꾼다. 교육 AI는 학생 평가와 진로 추천에 들어갈 수 있고, 채용 AI는 면접과 서류 평가에 쓰인다. 공공 AI는 복지 자격, 행정 처분, 치안·안전 판단과 연결될 수 있다. 한 번의 오류가 단순한 서비스 불만이 아니라 권리 침해와 생계 피해로 이어지는 영역이다.

기업 현장에서는 문서화 능력이 새 경쟁력이 된다. 어떤 데이터를 썼는지, 데이터 정제 과정에서 무엇을 제거했는지, 모델이 어떤 조건에서 잘못 작동하는지, 사람의 검토가 어디에 들어가는지, 사고가 났을 때 로그를 어떻게 확인할지 남겨야 한다. AI기본법과 EU AI Act, NIST 프레임워크가 서로 다른 언어를 쓰더라도 공통적으로 요구하는 방향은 비슷하다. 모델의 성능보다 모델 운영의 책임 체계를 묻는 흐름이다.

스타트업에는 부담이 더 크게 느껴진다. 대기업은 법무팀, 보안조직, 개인정보보호책임자, 내부감사 체계, 클라우드 계약 경험을 갖고 있다. 초기 AI 기업은 제품 개발과 투자 유치, 고객 확보를 동시에 해야 한다. 표시 의무, 영향평가, 보안 문서, 개인정보 처리 기준, 저작권 검토가 한꺼번에 들어오면 속도가 느려질 수 있다. 로이터는 한국 AI기본법 시행 당시 스타트업 업계에서 모호한 문구와 규제 부담에 대한 우려가 나왔다고 보도했다.

그렇다고 신뢰 체계를 늦출 수도 없다. AI 사고는 한 번 발생하면 서비스 하나의 문제가 아니라 산업 전체의 불신으로 번진다. 의료 AI가 오진 논란을 만들고, 채용 AI가 차별 논란을 일으키고, 금융 AI가 설명 없는 거절을 반복하고, 생성형 AI가 허위 정보를 대량 유통시키면 시장은 기술을 받아들이는 속도를 늦춘다. 규제의 빈틈이 단기 성장에는 편해 보여도, 장기 확산에는 더 큰 비용으로 돌아올 수 있다.

공공부문 AI는 신뢰 체계 없이는 확산되기 어렵다. 행정, 복지, 세금, 치안, 교육, 의료, 안전 분야에 AI를 도입하면 시민은 편리함과 동시에 설명을 요구한다. 왜 지원 대상에서 제외됐는지, 왜 위험군으로 분류됐는지, 왜 검사나 심사가 지연됐는지, 어떤 데이터가 판단에 들어갔는지 알 수 있어야 한다. 공공 AI는 효율을 높이는 도구이면서 국가의 판단을 자동화하는 장치다. 책임 소재를 흐리면 행정 신뢰가 먼저 흔들린다.

금융과 보험은 AI 검증 체계의 강도가 빠르게 높아질 가능성이 큰 영역이다. 신용평가, 이상거래 탐지, 보험금 심사, 투자 추천, 고객 상담에 AI가 들어가면 정확도뿐 아니라 설명가능성, 차별 방지, 개인정보 보호, 사이버 보안이 함께 요구된다. 모델이 높은 수익률이나 낮은 부실률을 만들더라도 특정 계층에 불리하게 작동하면 규제와 평판 리스크가 동시에 발생한다. 금융 AI는 성능보다 감사 가능한 구조가 먼저 요구되는 영역으로 이동하고 있다.

의료 AI도 같은 방향이다. 영상 판독, 병리 분석, 신약 탐색, 환자 모니터링, 병원 행정 자동화는 의료진 부족과 비용 압박을 줄일 수 있다. 다만 의료 데이터는 가장 민감한 개인정보이고, AI 판단은 환자의 생명과 치료 선택에 영향을 줄 수 있다. 병원 안에서 AI가 의사의 판단을 보조하는지, 환자에게 어떤 설명을 제공하는지, 오류 책임을 누가 지는지 정리되지 않으면 도입 속도는 제한될 수밖에 없다.

제조업에서는 신뢰가 공급망 조건으로 바뀐다. 글로벌 완성차와 반도체, 배터리, 조선, 방산 기업은 협력사에 품질·보안·탄소 기준을 요구해 왔다. AI가 품질관리와 생산계획, 재고관리, 설비 안전에 들어가면 AI 모델의 데이터 보안과 설명가능성도 공급망 심사 항목이 될 수 있다. 한국 중소 제조기업이 AI 솔루션을 도입할 때 단순 기능보다 고객사가 요구하는 감사와 보안 기준을 함께 맞춰야 하는 이유다.

국가 간 AI 경쟁은 규칙 경쟁이기도 하다. 미국은 기술기업과 표준기관을 중심으로 위험관리 언어를 만들고, EU는 법률과 시장 접근 조건으로 규제를 수출한다. 중국은 국가 주도의 데이터와 플랫폼 통제를 바탕으로 AI 산업을 키운다. 한국은 반도체와 제조업, 콘텐츠, 공공 디지털 인프라를 갖고 있지만, 국제 규칙을 직접 설계하는 힘은 아직 제한적이다. AI기본법을 시행한 이후의 과제는 법 조문을 갖춘 데서 끝나지 않는다. 국제 표준과 통상 규칙에서 한국 기업이 쓸 수 있는 신뢰 언어를 만드는 단계가 남아 있다.

AI 안전연구소의 역할도 커질 수밖에 없다. 과기정통부는 AI기본법이 AI안전연구소의 법적 근거를 마련했다고 설명했고, 2024년 AI 서울 정상회의 이후 AI안전연구소 출범도 발표했다. 고성능 모델의 위험 평가, 딥페이크 탐지, 안전성 벤치마크, 보안 취약점 검증, 국제 공동평가 체계가 쌓이면 기업은 각자 대응하던 위험을 공통 기준 위에서 다룰 수 있다.

신뢰 인프라는 대기업만의 내부 통제로 끝나면 안 된다. 중소기업과 스타트업이 쓸 수 있는 표준 계약서, 데이터 처리 가이드, 모델 평가 도구, 개인정보 비식별화 지원, 저작권 검토 체계, 공공 실증용 샌드박스가 필요하다. 대기업은 규제 대응을 비용으로 흡수할 수 있지만, 작은 기업은 같은 요구를 맞추는 순간 제품 개발 속도가 급격히 떨어진다. 신뢰 규칙이 산업 장벽으로 굳어지지 않게 만드는 일도 정책의 일부다.

언론과 시민사회도 AI 신뢰 구조 안에 들어온다. 생성형 AI가 기사, 사진, 영상, 음성을 빠르게 만들수록 출처 확인과 표시 기준은 더 중요해진다. 언론사가 AI 생성물을 쓸 때 독자에게 어떤 범위까지 고지할지, 취재 자료와 학습 데이터의 경계를 어떻게 둘지, 인물 사진과 음성 합성을 어디까지 허용할지 정하지 않으면 보도 신뢰는 쉽게 훼손된다. AI 시대의 저널리즘은 생산 속도를 높이는 기술보다 검증과 책임의 절차를 먼저 정교하게 만들어야 한다.

시민의 AI 수용성도 산업 성패와 연결된다. 사람들은 편리한 서비스를 빠르게 받아들이지만, 자신의 데이터가 어디에 쓰이는지 모른다고 느끼면 사용을 멈춘다. AI 판단을 수정하거나 이의제기할 방법이 없으면 공공서비스와 금융·의료 서비스의 신뢰는 떨어진다. 기술 수용성은 홍보로 만들어지지 않는다. 사용자가 설명을 듣고, 거부할 수 있고, 잘못된 결과를 바로잡을 수 있는 절차에서 생긴다.

한국형 AI 골드러시는 이제 신뢰의 비용을 피할 수 없다. 반도체와 전력망, 데이터센터, 피지컬 AI, 지역 산단, 벤처투자가 모두 연결돼도 시장이 AI 판단을 믿지 못하면 확산은 느려진다. 기업은 규제를 비용으로만 볼 것이 아니라 해외 시장에 들어가기 위한 인증 언어로 써야 한다. 정부는 규제 완화와 규제 강화의 이분법에서 벗어나, 산업별 위험에 맞는 평가와 지원 체계를 동시에 설계해야 한다.

AI 골드러시는 빠른 자본과 빠른 기술만으로 유지되지 않는다. 한국의 AI기본법 시행, EU AI Act의 단계적 적용, NIST의 위험관리 프레임워크, 개인정보보호위원회와 저작권위원회의 안내서는 같은 방향을 가리킨다. AI가 산업과 공공서비스, 금융, 의료, 교육, 콘텐츠, 제조 현장으로 들어갈수록 신뢰는 선택사항이 아니라 인프라가 된다. 한국이 AI 3대 강국을 말하려면 GPU와 반도체, 데이터센터뿐 아니라 설명 가능한 모델, 표시 기준, 개인정보 보호, 저작권 질서, 안전 검증, 시민의 이의제기 절차까지 함께 갖춰야 한다. 빠른 AI를 오래 쓰게 만드는 힘은 결국 신뢰를 산업의 언어로 바꾸는 능력에 달렸다.