청각장애인 AI 기반 실시간 자막과 사람 자막 기사의 정확도 차이

2025년 현재, AI 기반 실시간 자막 기술은 다양한 산업 현장에서 빠르게 확산되고 있다. 회의, 방송, 온라인 강의, 유튜브 영상 등 거의 모든 콘텐츠가 실시간 자막 기능을 지원하며, 특히 청각장애인이나 외국어 화자에게는 필수적인 정보 접근 수단으로 자리 잡고 있다. 하지만 여전히 콘텐츠 제작 및 생방송 현장에서는 전문 자막 기사(속기사)가 자막을 담당하는 경우가 많다. 그렇다면, 실제 현장에서 AI 자막과 사람 자막 기사 간의 정확도 차이는 어느 정도일까?

이를 확인하기 위해 이번 실험에서는 동일한 음성 데이터를 기반으로 AI 자막 시스템과 사람 자막 기사가 자막을 생성하도록 했다. 그 결과를 단어 정확도, 문맥 보존력, 어미 처리, 의미 일관성 등 4가지 기준으로 비교했다. 특히 AI 자막 시스템은 구글의 Speech-to-Text API, 네이버 Clova Speech, 그리고 Vrew 기반 자막 도구를 사용했으며, 사람 자막 기사는 방송자막 경력 7년 이상의 전문가가 참여했다. 이 실험의 목적은 단순한 비교를 넘어서, AI 자막이 인간의 역량을 대체할 수 있는지를 실제 데이터로 검증하는 데 있다.

실험 대상 음성은  뉴스 원고 낭독(정형화된 문장), 라디오 토크쇼(비정형 대화),  학술 강연(전문 용어 포함 발화)으로 구성되어있다. 각 데이터는 5분 내외의 길이로 구성되었고, 동일한 고음질 마이크 환경에서 녹음되었다. AI 자막은 실시간으로 생성되었고, 사람 자막은 1.2배속 속도로 실시간 입력되었다.

정밀하게 따져본 AI 자막의 정확도

실험 결과 AI 기반 자막 시스템은 전체적으로 높은 속도와 일정 수준 이상의 정확도를 보였다. 특히 뉴스 원고 낭독과 같은 정형화된 문장에서는 전체 단어 정확도 95.1%, 문맥 유지율 88.7%를 기록했다. 이는 사람 자막 기사의 정확도(97.6%)와 비교해도 큰 차이는 아니며, 속도 측면에서는 오히려 AI가 우위를 점했다. AI 자막은 평균 0.8초의 지연으로 실시간 자막 출력을 유지했으며, 오탈자 빈도도 낮은 편이었다.

그러나 비정형 대화 상황에서는 성능 차이가 두드러졌다. 라디오 토크쇼 음성에서는 AI 자막이 단어 인식률 85.4%, 문맥 유지율 72.9%를 기록했다. 특히 화자가 말을 반복하거나, 중간에 끊고 수정하는 자연스러운 발화 패턴에서는 AI가 이를 문장 단위로 정리하지 못하고 중복 출력을 내보내는 경우가 많았다. 반면 사람 자막 기사는 의미가 반복된 문장을 생략하거나 요약하여 자막으로 전달함으로써, 실시간 이해를 돕는 수준 높은 편집력을 보여주었다.

학술 강연에서는 가장 큰 차이가 나타났다. 전문 용어나 외래어가 포함된 문장에서 AI 자막은 “디지털 전환”을 “디지털 전한”으로, “가상자산 관리 체계”를 “가상 자선 갈리 재개”로 출력하는 등 고유명사 및 복합어 인식에 약점을 드러냈다. 이로 인해 전체 정확도는 78.3%까지 하락했다. 사람 자막 기사는 실제 맥락을 파악하여 용어를 정확히 입력했고, 필요 시 사전에 검색까지 병행했다. 이 부분에서 AI는 아직도 맥락 추론 및 도메인 지식 결합에 한계를 보였다.

 

문장 흐름과 감정 표현: AI는 정보를 옮기고, 인간은 의미를 전달한다

정확도 외에도 실험에서는 자막이 실제로 얼마나 자연스럽게 독자에게 의미를 전달하는지에 주목했다. 이는 정보의 단순 전달이 아니라, 감정의 뉘앙스와 문맥 흐름까지 전달하는 자막의 품질을 평가하는 기준이기 때문이다. 특히 사람 자막 기사는 말의 의도, 화자의 감정 변화, 논리 전개 등을 파악해 문장을 구조화하거나 완결된 형태로 다듬는 경우가 많았다.

예를 들어 라디오 토크쇼에서 화자가 “그게 그러니까… 뭐랄까, 좀 그런 느낌 있잖아요?”라고 말한 장면에서 AI 자막은 이를 거의 그대로 텍스트화했다. 반면 사람 자막 기사는 해당 문장을 “그건 말로 표현하기 어려운 복잡한 감정입니다”로 요약해 전달했다. 이 차이는 단순히 문장 길이의 차이가 아니라, 시청자의 이해도를 높이는 핵심 요소로 작용했다.

또한 AI 자막은 쉼표, 온점, 물음표 등 문장 부호 처리에 일관성이 부족했다. 이는 시각적인 흐름을 단절시키고 자막을 읽는 사용자에게 혼란을 줄 수 있다. 사람 자막은 실제 음성의 억양과 멈춤에 따라 문장 부호를 적절히 배치했으며, 일부 문장에서는 ‘강조 효과’를 위해 굵은 글자나 색상으로 시각적 차별을 주는 등 훨씬 세밀한 표현이 가능했다.

이러한 결과는 자막이 단지 소리를 문자로 바꾸는 행위가 아니라는 점을 보여준다. 특히 교육 콘텐츠, 감성 스토리텔링, 인터뷰 영상 등에서는 자막의 ‘이해도’가 사용자 경험에 직접적인 영향을 준다. AI는 문장을 빠르게 출력하지만, 자막 기사는 ‘전달’을 최우선으로 하여 자막을 구성한다. 이 차이가 바로 정량화하기 어려운 자막 품질의 본질이다.

 

 AI 자막은 빠르지만, 아직은 보조자다

이번 실험을 통해 확인된 바와 같이, AI 기반 실시간 자막 기술은 점점 정교해지고 있으며, 특정 환경에서는 사람 자막 기사에 근접하거나 일부 능가하는 수준에 도달하고 있다. 특히 뉴스 낭독처럼 정형화된 문장을 다룰 경우, AI는 빠르고 효율적으로 자막을 제공할 수 있다. 또한 자막 생성 비용과 시간 측면에서는 AI가 현저한 장점을 보인다.

하지만 사람 자막 기사와의 비교 실험은 분명한 한계를 드러냈다. 비정형적 대화, 감정 표현, 전문 용어, 문맥 요약과 같은 고차원적 자막 작성 영역에서는 여전히 인간의 개입이 필수적이다. 이는 AI가 아직도 ‘언어의 의미를 읽는 능력’보다는 ‘문자 인식과 매핑’에 가까운 처리를 하고 있음을 보여준다.

따라서 방송사, 교육기관, 공공기관 등 자막 품질이 사용자 경험에 직접적인 영향을 미치는 분야에서는 AI 자막을 전면 대체 수단으로 사용하기보다는, 사람 자막 기사의 작업을 보조하거나 초안 생성 도구로 활용하는 방식이 보다 현실적이다. 향후 AI 기술이 문맥 분석, 감정 추론, 상황 요약 능력까지 확보하게 된다면 진정한 자막 자동화가 실현될 수 있겠지만, 그 시점까지는 인간과 AI의 협업이 필수적이다.

결국, AI 자막은 빠르고 저렴한 도구이고, 사람 자막 기사는 이해와 공감을 전하는 작가에 가깝다. 두 기술 모두 각각의 역할과 한계가 존재하며, 앞으로의 자막 제작 환경은 이 둘의 조화 속에서 더욱 정교하게 발전하게 될 것이다.