---
title: 탁구 중계 화면에 AR HUD를 입혀 보면 — 구속·낙구 지점·포핸드를 공개 경기 영상에서 계산해 본 실험
url: https://oosioo.com/p/%ED%83%81%EA%B5%AC-%EC%A4%91%EA%B3%84-%ED%99%94%EB%A9%B4%EC%97%90-ar-hud%EB%A5%BC-%EC%9E%85%ED%98%80-%EB%B3%B4%EB%A9%B4
date: 2026-11-06T13:59:44+00:00
author: SYSOP
summary: SNS에 도는 탁구·배드민턴 영상에는 공 궤적, 구속, 떨어진 자리, 포핸드·백핸드 같은 정보가 경기 화면 위에 덧씌워져 있다. 자유 이용 허락(CC BY)으로 공개된 실업탁구 여자 단체 결승 복식 중계 영상으로 같은 화면을 만들어 봤다. 상판 모서리와 네트 끝 6점으로 카메라 위치(끝선 뒤 17 m, 높이 4.4 m)를 풀고, 공 후보를 배경 차분·YOLO·작은 신경망으로 고른 뒤, 공기 저항을 넣은 탄도 모형과 선수 자세로 3D 궤적과 구속을 냈다. 검수한 랠리 4구의 구속은 타구 순간 33~55 km/h, 바운드 직후 23~35 km/h였다. 공기 저항을 빼면 같은 공이 77 km/h로 부풀려졌다. 다만 사람 확인 없이 자동으로만 고르면 공 위치를 36%만 맞혔다. 복식이라 앞쪽 두 선수가 상판을 가리고, 30 fps라 공이 흐린 선으로 찍히기 때문이다.
---
# 탁구 중계 화면에 AR HUD를 입혀 보면 — 구속·낙구 지점·포핸드를 공개 경기 영상에서 계산해 본 실험

![탁구 중계 화면 위에 HUD가 덧씌워져 있다. 네 선수에게 흰 골격선이 그려져 있고, 가까운 쪽 왼편 선수 머리 위에 분홍 상자로 「포핸드 55 km/h」, 먼 쪽 선수 위에 하늘색 상자로 「포핸드 (왼손) 33 km/h」가 떠 있다. 공 뒤로 노란 꼬리와 회색 점선 예측 궤적이 네트를 넘어간다. 상판 위에는 분홍·하늘색 착지 고리와 「착지 35 km/h」 「착지 23 km/h」 글자가 있고, 왼쪽 위 패널에 「랠리 3구째, 최고 구속 55 km/h」, 오른쪽 아래에 위에서 본 탁구대 낙구 지도가 있다](/uploads/f8cef69cc7f889cb.webp)

요즘 SNS에 도는 탁구·배드민턴 영상을 보면 경기 화면 위에 정보가 얹혀 있다. 공이 지나간 꼬리, 몇 km/h로 날아갔는지, 상대 코트 어디에 떨어졌는지, 방금 친 게 포핸드인지 백핸드인지. 게임 중계 화면처럼 생겼다.

얼마 전에는 사무실에서 직접 찍은 탁구 영상으로 비슷한 화면을 만들어 봤다. 카메라를 탁구대 옆, 상판보다 조금 높은 곳에 두었더니 공이 앞뒤로 얼마나 깊이 들어갔는지가 잘 풀리지 않았다. 이번에는 공식 경기 중계 화면으로 다시 해 봤다. 중계 카메라는 높고 멀리 있어서 탁구대 전체가 반듯하게 보인다. 그러면 더 잘 될까.

## 무엇을 하려 했나

1. 마음대로 써도 되는 공식 경기 영상을 찾는다.
2. 화면 한 장으로 카메라 위치를 풀어 화면 좌표와 탁구대 좌표를 잇는다.
3. 공을 프레임마다 찾고, 궤적을 3D로 되살려 구속과 낙구 지점을 낸다.
4. 선수 자세로 누가 쳤는지, 포핸드인지 백핸드인지를 가린다.
5. 이 모두를 HUD로 경기 화면에 다시 입힌다.

영상 찾기부터 보정, 검출, 학습, 렌더링까지 AI 에이전트가 맥북에서 짜고 돌렸다. 틀린 자리는 아래 「어디서 틀렸나」에 따로 적었다.

## 쓸 수 있는 영상 찾기

유튜브나 방송사 중계 클립은 쓰지 않았다. 권리를 확인할 수 없어서다. 위키미디어 공용(Wikimedia Commons)에서 자유 이용 허락으로 올라온 경기 영상을 뒤졌다.

| 후보 | 라이선스 | 화면 | 판단 |
|---|---|---|---|
| 2023 추계 회장기 실업탁구대회 여자 단체 결승 복식(KTTL 한국프로탁구리그) | CC BY 3.0 | 1080p 30 fps, 끝 쪽 고정 중계 카메라, 47분 | **사용** |
| 슬로베니아 여자 리그 결승(TV Uršlja) | CC BY 3.0 | 1080p 25 fps, 관중·인터뷰 컷이 잦음 | 제외 |
| 슬로베니아 배드민턴 선수권 결승 마지막 점수(류블랴나 배드민턴 클럽) | CC BY 3.0 | 1080p 30 fps, 손으로 들고 따라 찍음, 32초 | 제외(상대 선수가 자주 화면 밖) |
| 중국 오픈 배드민턴 결승 | CC BY 3.0 표기 | 방송 화면을 다른 채널이 다시 올린 것 | 제외(원 권리자 불분명) |

KTTL 영상의 10~14분 구간(4분)을 썼다.

## 1. 화면 한 장으로 카메라 위치를 푼다

![중계 화면의 탁구대. 상판 네 모서리와 네트 양 끝 위에 빨간 원 6개가 있다. 상판 위에 노란 격자가 반듯하게 겹쳐 있고, 초록 점선이 상판 위로 둥글게 솟았다 내려온다. 오른쪽 글: 「카메라 = 끝선 뒤 17 m, 높이 4.4 m, 초점거리 5665 px, 재투영 오차 1.8 px」](/uploads/97f448addaa9d950.webp)

탁구대 규격은 정해져 있다. 상판은 가로 1.525 m, 세로 2.74 m이고 네트 높이는 15.25 cm다. 그래서 화면에서 상판 모서리 4점과 네트 양 끝 위 2점만 찍으면 카메라가 어디서 어느 방향을 보고 있는지 계산할 수 있다. 사진 측량에서 쓰는 카메라 보정이다.

모서리는 손으로 대충 찍은 뒤, 흰 경계선을 따라 직선을 맞춰 교점으로 다듬었다. 선수들이 상판을 가리는 프레임이 많아서, 메인 카메라 화면 수십 장의 중앙값으로 선수 없는 배경을 먼저 만들었다.

풀어 보니 카메라는 끝선 뒤 약 17 m, 상판보다 4.4 m 높은 곳에 있었다. 이 숫자 하나로 두 가지를 할 수 있다.

- **상판 위의 점**은 화면 좌표를 바로 탁구대 좌표로 바꾼다(호모그래피). 바운드 지점이 여기에 해당한다.
- **공중의 점**은 화면 좌표만으로는 정해지지 않는다. 카메라에서 나온 광선 위 어딘가에 있다. 깊이를 정하려면 물리가 필요하다(4절).

## 2. 메인 카메라 화면만 쓴다

![위쪽에 4분 구간의 시간 막대가 있다. 파란 칸(메인 카메라)과 회색 칸(그 밖)이 번갈아 나온다. 「파랑 = 메인 카메라 56%」. 아래에 썸네일 4장: 메인 카메라(분석함), 선수 클로즈업(건너뜀), 다른 각도·리플레이(건너뜀), 그 밖(건너뜀)](/uploads/f7dfa4c7d5a82ddc.webp)

중계는 점수가 날 때마다 선수 얼굴, 다른 각도, 리플레이로 넘어간다. 상판의 파란색이 기준 화면과 같은 자리에 같은 모양으로 있으면 메인 카메라로 보고, 아니면 건너뛰었다. 4분 가운데 56%가 메인 카메라였다.

메인 카메라가 경기 중에 조금씩 돌거나 당기는지도 확인했다. 프레임마다 기준 화면과 특징점을 맞춰 호모그래피를 구했는데, 화면 모서리가 움직인 폭이 대부분 1 px 미만이고 가장 큰 것도 10 px였다. 이 경기의 메인 카메라는 고정이었다. 그래서 1절의 보정 하나로 끝까지 갔다.

## 3. 공 찾기

![왼쪽: 프레임 4742. 상판 위 공에 노란 원이, 같은 자리에 주황 사각형(YOLO)이 있다. 먼 쪽 선수 무릎에도 노란 원이, 라켓 근처에 주황 사각형이 하나 더 있다. 오른쪽: 같은 장면에 프레임 4740~4756의 공 위치를 이은 초록 선. 네트를 넘어와 가까운 쪽 상판에서 꺾이고(빨간 원 = 바운드) 다시 먼 쪽으로 돌아간다](/uploads/a2fd35978764ca1e.webp)

공 지름은 4 cm다. 이 중계 화면에서는 지름 10~12 px쯤으로 찍힌다. 문제는 30 fps라는 점이다. 빠른 공은 한 프레임 노출 동안 수십 px을 움직여 흰 선으로 번진다.

후보는 두 갈래로 모았다.

- **배경 차분**: 선수 없는 배경보다 갑자기 밝아진 작은 덩어리이면서, 앞뒤 프레임과도 달라 움직이고 있는 것. 선수 몸은 자세 추정(YOLO11-pose)으로 얻은 관절 둘레만 가렸다. 사람 상자 전체를 가리면 몸 가까이 지나는 공까지 지워진다.
- **YOLO11x**: 일반 사물 검출 모델의 「sports ball」. 또렷한 공은 잘 잡지만 흐린 선이 된 공은 자주 놓친다.

후보는 프레임마다 평균 5~6개 나왔다. 진짜 공은 하나다. 거르는 데 세 가지를 썼다.

1. **물리**: 연속한 세 프레임에서 가속도가 일정한(포물선) 후보끼리만 잇는다. 손이나 라켓은 방향이 자주 바뀌어 긴 사슬이 안 된다.
2. **겹침 정리**: 시간이 겹치는 사슬 가운데 길고, 빠르고, 공다운 점수가 높은 것 하나만 남긴다.
3. **작은 신경망**: 아래 그림.

![위 줄: 「공」 예시 12개. 파란 상판이나 빨간 바닥 위에 흰 타원이나 비스듬히 번진 흰 막대가 있고, 아래 점수는 0.81~0.90. 아래 줄: 「공 아님」 예시 12개. 검은 유니폼의 흰 글씨 조각, 라켓 가장자리, 머리카락, 손목. 점수는 0.01~0.11](/uploads/db93901eac7e78fe.webp)

후보 자리를 32×32 px로 잘라 앞·현재·뒤 프레임 3장을 겹친 9채널 그림으로 만들고, 합성곱 3층짜리 분류기에 넣었다. 학습 예시는 사람이 붙이지 않았다. 길고 빠른 사슬에 들어간 점과 YOLO가 자신 있게 잡은 점 3,684개를 「공」으로, 사람 몸 한가운데나 느린 사슬의 점 2,482개를 「공 아님」으로 자동 분류해 썼다. 시간으로 나눈 검증 정확도는 79%였다. 나중에 사람이 확인한 공 49개는 모두 0.5를 넘겼다. 하지만 공이 아닌 것도 꽤 넘겼다. 놓치지는 않는데 헷갈린다는 뜻이다.

## 4. 물리로 깊이를 정한다 — 3D 궤적과 구속

![왼쪽: 옆에서 본 랠리 4구. 파란 막대(상판)와 검은 세로선(네트) 위로 분홍 궤적 2개(양산시청)와 하늘색 궤적 2개(수원시청)가 오간다. 각 궤적 시작점 위에 「1구 49→35 km/h」 「2구 33→23 km/h」 「3구 55→34 km/h」 「4구 39→25 km/h」. 바운드는 ×로 표시돼 분홍은 먼 쪽 끝선 근처, 하늘색은 가까운 쪽 상판 안쪽에 떨어진다. 오른쪽: 위에서 본 상판에 낙구 지점 1·3이 먼 쪽 끝선 오른편, 2·4가 가까운 쪽 왼편에 모여 있다](/uploads/acce7e32d2274d05.webp)

공중에 뜬 공은 카메라 광선 위 어디에 있는지 모른다. 그런데 공은 아무렇게나 날지 않는다. 중력과 공기 저항을 받는 탄도를 따른다. 공을 친 순간의 위치(3개)와 속도(3개)만 정하면 이후 궤적이 다 정해진다. 그 궤적을 화면에 투영했을 때 실제로 찍힌 공 위치와 가장 잘 맞는 6개 값을 찾는다.

이 6개를 안정되게 잡으려고 두 가지를 고정했다.

- **바운드 지점**: 상판 위라서 1절의 호모그래피로 X·Y가 바로 나온다. 높이는 공 반지름 2 cm다.
- **타구 지점**: 치는 선수의 발목을 바닥 평면(상판 아래 76 cm)에 내려 선수 위치를 잡는다. 라켓을 쥔 손목 광선이 선수 위치보다 탁구대 쪽으로 30 cm 앞의 수직면과 만나는 점을 타구 지점으로 본다. 발이 상판에 가려 안 보이는 먼 쪽 선수는 끝선 뒤 60 cm에 서 있다고 놓았다. 이 점은 ±30 cm쯤 흔들릴 수 있는 약한 조건으로만 넣었다.

결과는 4구 모두 재투영 오차 6~8 px였다. 공이 흐린 선으로 찍히는 폭과 비슷하다.

![선 그래프. 가로축 타구 후 시간 0~300 ms, 세로축 공 속도. 분홍 실선이 55 km/h에서 시작해 300 ms에 34 km/h까지 매끄럽게 줄어든다. 회색 점선은 77 km/h에서 수평으로 이어진다. 범례: 「공기 저항 포함: 타구 55 → 바운드 34 km/h」 「공기 저항 없이 맞춘 경우: 내내 약 77 km/h (부풀려짐)」](/uploads/3ef02bc2d386ed7d.webp)

공기 저항을 빼면 어떻게 될까. 탁구공은 2.7 g으로 아주 가볍다. 시속 55 km(초속 15 m)로 날 때 공기 저항으로 받는 감속이 중력의 3배가 넘는다(약 32 m/s²). 이걸 빼고 같은 점들에 맞추면 깊이가 잘못 풀려 3구가 77 km/h로 나왔다. 저항을 넣으면 타구 순간 55 km/h, 네트를 넘어 바운드할 때 34 km/h다. 0.3초 만에 40% 가까이 느려진다. HUD에는 두 숫자를 다 보여 줬다. 친 순간의 구속은 선수 머리 위에, 떨어질 때의 속도는 착지 고리 옆에 둔다.

## 5. 자세로 포핸드·백핸드를 가른다

![장면 3개. 각 선수 몸에 흰 골격선, 양 어깨를 잇는 노란 선, 빨간 점(오른 어깨)과 주황 점(왼 어깨), 초록 원(라켓 쥔 손목)이 있다. 1구 양산시청 포핸드: 뒷모습 선수의 초록 손목이 오른 어깨 바깥에 있다. 2구 수원시청 포핸드(왼손): 앞모습 선수가 왼손을 왼 어깨 바깥으로 뻗었다. 4구 수원시청 포핸드: 앞모습 선수의 오른 손목이 오른 어깨 바깥에 있다](/uploads/5cc3a89b6e0beb0e.webp)

라켓 쥔 손은 타구 순간 공에 가장 가까운 손목으로 정했다. 포핸드와 백핸드는 어깨선으로 가른다. 타구 직전 손목이 가장 빨리 움직인 프레임에서, 손목이 라켓 쥔 팔 쪽 어깨 바깥에 있으면 포핸드, 몸 건너편으로 넘어가 있으면 백핸드다. 관절 이름이 몸 기준(왼/오른)이라 앞모습 선수와 뒷모습 선수에 같은 식이 통한다.

검수한 랠리의 4구는 모두 포핸드로 나왔고, 2구를 친 선수는 왼손잡이로 잡혔다. 장면을 다시 보면 맞다. 다만 규칙 하나로 가르는 것이라, 몸 앞에서 짧게 대는 블록이나 몸통을 크게 돌리는 스윙은 헷갈릴 수 있다. 백핸드가 나온 장면이 없어 그 경우는 확인하지 못했다.

## 6. HUD로 다시 입힌다

![HUD 화면 두 장. 왼쪽은 3구 직후로, 가까운 쪽 선수 위 「포핸드 55 km/h」 상자와 공 꼬리, 네트를 넘는 회색 예측 궤적, 먼 쪽 끝선의 분홍 착지 고리가 있다. 오른쪽은 4구 순간으로, 먼 쪽 오른편 선수의 골격이 하늘색으로 강조되고 「포핸드 39 km/h」 상자가 떠 있다. 가까운 쪽 상판에 하늘색 착지 고리, 오른쪽 아래 낙구 지도에 점 1·2·3이 찍혀 있다](/uploads/9528aff2a185538a.webp)

화면에 얹은 것은 다음과 같다.

- **골격**: 네 선수 모두 옅게. 방금 친 선수만 팀 색(양산시청 분홍, 수원시청 하늘색)으로 굵게.
- **공 꼬리**: 최근 10프레임의 공 위치. 오래된 점일수록 흐리게.
- **예측 궤적**: 4절의 3D 궤적을 화면에 투영한 회색 점선과 상판 위 그림자.
- **착지 고리**: 바운드 지점에서 퍼지는 원과 「착지 ○○ km/h」.
- **타구 상자**: 친 선수 머리 위의 「포핸드 55 km/h」.
- **낙구 지도**: 오른쪽 아래, 위에서 본 탁구대에 떨어진 자리를 순서대로 찍는다.

![HUD를 입힌 랠리 4구를 1/3 속도로 돌린 움직이는 그림. 가까운 쪽 선수가 포핸드로 친 공이 노란 꼬리를 끌며 네트를 넘어 먼 쪽 끝선에 떨어지고, 분홍 착지 고리가 퍼진다. 먼 쪽 선수가 받아치는 순간 골격이 하늘색으로 바뀌고 「포핸드 39 km/h」 상자가 뜬다. 오른쪽 아래 낙구 지도에 점이 하나씩 늘어난다](/uploads/6def26e2a59cdedd.gif)

위 움직이는 그림은 실제 속도의 1/3이다. 실제로는 이 네 번의 타구가 1.7초 안에 끝난다.

## 어디서 틀렸나

![장면 4개. 초록 원은 실제 공, 빨간 ×는 자동 추적이 고른 점. 4725와 4729에서는 공이 상판 위에 있는데 빨간 ×가 먼 쪽 선수 손목에 있다. 4741에서는 둘이 겹친다. 4768에서는 공이 네트 위에 있는데 빨간 ×가 먼 쪽 선수 어깨에 있다. 아래 글: 「사람이 찾은 공 42곳 가운데 자동 추적이 맞힌 곳은 15곳(36%)」](/uploads/f1fc82b252ed17fe.webp)

- **자동 추적만으로는 HUD를 못 만든다.** 공 위치·바운드·타구 시점을 사람이 확인한 랠리 51프레임에서 공은 42곳에 보였다. 자동 추적은 그중 15곳(36%)만 맞혔다. 같은 구간에서 자동으로 고른 44곳 중 29곳은 손목, 라켓 가장자리, 얼굴이었다. 그래서 이번 HUD 랠리의 공 위치, 바운드 프레임, 타구 프레임은 사람이 화면을 보고 확인했다. 구속, 3D 궤적, 낙구 좌표, 누가 쳤는지, 포핸드 판정은 계산으로 냈다.
- **복식이라 가까운 쪽 상판이 가려진다.** 가까운 쪽 두 선수가 끝선 앞에 서서 상판 앞쪽 절반을 자주 가린다. 이 쪽 바운드는 보이지 않는 경우가 많았다.
- **30 fps는 탁구에 느리다.** 빠른 공은 바운드 순간이 프레임 사이에 끼어 꺾임이 안 보인다. 그래서 「꺾인 곳 = 바운드」 규칙이 자주 빗나갔다. 4구의 바운드도 가까운 쪽 끝선 근처에서 꺾임이 또렷하지 않아, 끝선 바로 앞 마지막 점을 바운드로 놓은 추정이다.
- **구속은 모형값이다.** 공기 저항 계수는 문헌의 일반값을 썼다. 회전(스핀)에 따른 휨(마그누스 효과)도 넣지 않았다. 자세로 잡은 타구 지점을 앞뒤로 30 cm, 위아래로 15 cm 옮겨 다시 맞추면 4구의 구속이 각각 ±9~13% 달라진다.
- **처음에는 카메라가 움직인다고 잘못 봤다.** 검수용으로 잘라 붙인 화면들의 상판 위치가 달라 보여서 프레임마다 화면 맞춤을 넣었다. 그런데 재 보니 메인 카메라는 고정이었다. 화면 맞춤 단계는 결과를 바꾸지 않았다.
- **배드민턴은 못 했다.** 자유 이용 허락 영상 가운데 쓸 만한 것은 손으로 따라 찍어 카메라가 계속 움직였다. 상대 선수도 자주 화면 밖으로 나갔다.

## 그래서 딸깍 하려면

- 카메라 보정, 메인 카메라 화면 고르기, 자세 추정, 3D 궤적, HUD 합성까지는 이 영상에서 거의 자동으로 됐다. 막힌 곳은 공 찾기 하나다.
- 공 찾기를 자동으로 하려면 이 중계 화면에 맞춘 공 검출 모델이 필요하다. 프레임 몇백 장에 공 위치를 찍어 두고, 연속 프레임을 한꺼번에 보는 열지도(heatmap) 모델을 학습하는 방식이다. 이번에 사람이 확인한 42곳이 그 첫 정답 자료다.
- 직접 찍는다면 60 fps 이상, 탁구대 끝 쪽 높은 자리, 단식이 좋다. 이번에 막힌 세 가지(프레임 수, 가림, 복식)를 피하는 조건이다. 지난번 사무실 영상은 카메라가 상판 옆에 낮게 있어서 앞뒤 깊이가 풀리지 않았다. 이번 영상은 카메라가 높아서 깊이와 낙구 지점이 풀렸다.

## 출처

- 영상: 「양산시청 이영은, 박민주 vs 수원특례시청 곽수지, 유다현 -풀버전」, KTTL 한국프로탁구리그(한국실업탁구연맹), Wikimedia Commons, CC BY 3.0. 10~14분 구간을 잘라 HUD를 덧씌웠다.
- 탁구대·공 규격: 국제탁구연맹(ITTF) 경기 규정(상판 2.74 m × 1.525 m, 네트 15.25 cm, 공 40 mm·2.7 g).
- 자세 추정·사물 검출: Ultralytics YOLO11.

