Toward a Multi-modal Understanding of Visual-Linguistic Design of Telop: A Computational Analysis of Telop Used in Korean YouTube Videos, CSCW 2026
Taeyoung Ko and Kyungho Lee. Toward a Multi-modal Understanding of Visual-Linguistic Design of Telop: A Computational Analysis of Telop Used in Korean YouTube Videos. Proceedings of the ACM on Human-Computer Interaction (CSCW’26). https://doi.org/10.1145/3817018
Statement
This paper investigates telops, the visually stylized on-screen text commonly seen in Korean and other East Asian videos, and asks whether their design follows systematic patterns across different types of YouTube content. Unlike ordinary subtitles, which mainly reproduce speech, telops can use different fonts, colors, sizes, and screen positions to emphasize information, express emotion, create humor, or guide viewers’ attention. To study these patterns at scale, the researchers analyzed 19,673 Korean YouTube videos across 22 genres, covering more than 71 million frames, using a computational pipeline that combined OCR for on-screen text, speech recognition, font analysis, color extraction, and spatial analysis. The results showed clear genre-specific conventions: information-heavy genres such as IT and science used many small telops, while genres such as children’s or entertainment content tended to use fewer but larger and more visually expressive ones; position, color, and font also varied systematically according to genre and communicative purpose. A model using only telop features could classify video genres with about 85% accuracy, suggesting that telop design is closely tied to genre identity. The paper therefore argues that telops should not be understood simply as decorative subtitles, but as multimodal interface elements that combine language and visual design to shape attention, emotion, meaning, and viewing experience, with implications for future caption design, accessibility, video creation tools, and cross-cultural HCI research.
이 논문은 한국을 비롯한 동아시아 영상에서 흔히 볼 수 있는 시각적으로 꾸며진 화면 자막인 텔롭(telop)이 유튜브의 콘텐츠 장르에 따라 일정한 디자인 규칙을 가지는지 탐구합니다. 일반적인 자막이 주로 말한 내용을 그대로 전달하는 데 목적이 있는 것과 달리, 텔롭은 글꼴, 색상, 크기, 화면 위치 등을 활용하여 특정 정보를 강조하거나 감정을 표현하고, 웃음을 유도하거나 시청자의 주의를 특정 부분으로 이끄는 역할을 합니다. 연구진은 이러한 특징을 대규모로 분석하기 위해 22개 장르의 한국 유튜브 영상 19,673개와 7,100만 개 이상의 프레임을 대상으로 OCR, 음성 인식, 글꼴 분석, 색상 추출, 화면 위치 분석 등을 결합한 계산적 분석을 수행했습니다. 그 결과 IT·과학처럼 정보량이 많은 장르에서는 작고 많은 텔롭이 사용되는 반면, 아동이나 엔터테인먼트 콘텐츠에서는 상대적으로 적지만 크고 시각적으로 두드러지는 텔롭이 사용되는 등 장르별로 뚜렷한 차이가 나타났으며, 위치·색상·글꼴 역시 콘텐츠의 성격에 따라 체계적으로 달라졌습니다. 텔롭의 특징만으로 영상 장르를 약 85% 정확도로 구분할 수 있었다는 결과도 이러한 디자인 규칙이 장르의 정체성과 밀접하게 관련되어 있음을 보여줍니다. 따라서 이 논문은 텔롭을 단순히 꾸며진 자막이 아니라, 언어와 시각적 표현을 결합하여 시청자의 주의, 감정, 의미 해석, 영상 경험을 함께 형성하는 멀티모달 인터페이스 요소로 이해해야 한다고 주장하며, 향후 자막 및 접근성 디자인, 영상 제작 도구, 문화권별 HCI 연구에 활용할 수 있는 기반을 제시합니다.