
탁구 중계 화면에 AR HUD를 입혀 보면 — 구속·낙구 지점·포핸드를 공개 경기 영상에서 계산해 본 실험
SNS에 도는 탁구·배드민턴 영상에는 공 궤적, 구속, 떨어진 자리, 포핸드·백핸드 같은 정보가 경기 화면 위에 덧씌워져 있다. 자유 이용 허락(CC BY)으로 공개된 실업탁구 여자 단체 결승 복식 중계 영상으로 같은 화면을 만들어 봤다. 상판 모서리와 네트 끝 6점으로 카메라 위치(끝선 뒤 17 m, 높이 4.4 m)를 풀고, 공 후보를 배경 차분·YOLO·작은 신경망으로 고른 뒤, 공기 저항을 넣은 탄도 모형과 선수 자세로 3D 궤적과 구속을 냈다. 검수한 랠리 4구의 구속은 타구 순간 33~55 km/h, 바운드 직후 23~35 km/h였다. 공기 저항을 빼면 같은 공이 77 km/h로 부풀려졌다. 다만 사람 확인 없이 자동으로만 고르면 공 위치를 36%만 맞혔다. 복식이라 앞쪽 두 선수가 상판을 가리고, 30 fps라 공이 흐린 선으로 찍히기 때문이다.

요즘 SNS에 도는 탁구·배드민턴 영상을 보면 경기 화면 위에 정보가 얹혀 있다. 공이 지나간 꼬리, 몇 km/h로 날아갔는지, 상대 코트 어디에 떨어졌는지, 방금 친 게 포핸드인지 백핸드인지. 게임 중계 화면처럼 생겼다.
얼마 전에는 사무실에서 직접 찍은 탁구 영상으로 비슷한 화면을 만들어 봤다. 카메라를 탁구대 옆, 상판보다 조금 높은 곳에 두었더니 공이 앞뒤로 얼마나 깊이 들어갔는지가 잘 풀리지 않았다. 이번에는 공식 경기 중계 화면으로 다시 해 봤다. 중계 카메라는 높고 멀리 있어서 탁구대 전체가 반듯하게 보인다. 그러면 더 잘 될까.
무엇을 하려 했나
- 마음대로 써도 되는 공식 경기 영상을 찾는다.
- 화면 한 장으로 카메라 위치를 풀어 화면 좌표와 탁구대 좌표를 잇는다.
- 공을 프레임마다 찾고, 궤적을 3D로 되살려 구속과 낙구 지점을 낸다.
- 선수 자세로 누가 쳤는지, 포핸드인지 백핸드인지를 가린다.
- 이 모두를 HUD로 경기 화면에 다시 입힌다.
영상 찾기부터 보정, 검출, 학습, 렌더링까지 AI 에이전트가 맥북에서 짜고 돌렸다. 틀린 자리는 아래 「어디서 틀렸나」에 따로 적었다.
쓸 수 있는 영상 찾기
유튜브나 방송사 중계 클립은 쓰지 않았다. 권리를 확인할 수 없어서다. 위키미디어 공용(Wikimedia Commons)에서 자유 이용 허락으로 올라온 경기 영상을 뒤졌다.
| 후보 | 라이선스 | 화면 | 판단 |
|---|---|---|---|
| 2023 추계 회장기 실업탁구대회 여자 단체 결승 복식(KTTL 한국프로탁구리그) | CC BY 3.0 | 1080p 30 fps, 끝 쪽 고정 중계 카메라, 47분 | 사용 |
| 슬로베니아 여자 리그 결승(TV Uršlja) | CC BY 3.0 | 1080p 25 fps, 관중·인터뷰 컷이 잦음 | 제외 |
| 슬로베니아 배드민턴 선수권 결승 마지막 점수(류블랴나 배드민턴 클럽) | CC BY 3.0 | 1080p 30 fps, 손으로 들고 따라 찍음, 32초 | 제외(상대 선수가 자주 화면 밖) |
| 중국 오픈 배드민턴 결승 | CC BY 3.0 표기 | 방송 화면을 다른 채널이 다시 올린 것 | 제외(원 권리자 불분명) |
KTTL 영상의 10~14분 구간(4분)을 썼다.
1. 화면 한 장으로 카메라 위치를 푼다

탁구대 규격은 정해져 있다. 상판은 가로 1.525 m, 세로 2.74 m이고 네트 높이는 15.25 cm다. 그래서 화면에서 상판 모서리 4점과 네트 양 끝 위 2점만 찍으면 카메라가 어디서 어느 방향을 보고 있는지 계산할 수 있다. 사진 측량에서 쓰는 카메라 보정이다.
모서리는 손으로 대충 찍은 뒤, 흰 경계선을 따라 직선을 맞춰 교점으로 다듬었다. 선수들이 상판을 가리는 프레임이 많아서, 메인 카메라 화면 수십 장의 중앙값으로 선수 없는 배경을 먼저 만들었다.
풀어 보니 카메라는 끝선 뒤 약 17 m, 상판보다 4.4 m 높은 곳에 있었다. 이 숫자 하나로 두 가지를 할 수 있다.
- 상판 위의 점은 화면 좌표를 바로 탁구대 좌표로 바꾼다(호모그래피). 바운드 지점이 여기에 해당한다.
- 공중의 점은 화면 좌표만으로는 정해지지 않는다. 카메라에서 나온 광선 위 어딘가에 있다. 깊이를 정하려면 물리가 필요하다(4절).
2. 메인 카메라 화면만 쓴다

중계는 점수가 날 때마다 선수 얼굴, 다른 각도, 리플레이로 넘어간다. 상판의 파란색이 기준 화면과 같은 자리에 같은 모양으로 있으면 메인 카메라로 보고, 아니면 건너뛰었다. 4분 가운데 56%가 메인 카메라였다.
메인 카메라가 경기 중에 조금씩 돌거나 당기는지도 확인했다. 프레임마다 기준 화면과 특징점을 맞춰 호모그래피를 구했는데, 화면 모서리가 움직인 폭이 대부분 1 px 미만이고 가장 큰 것도 10 px였다. 이 경기의 메인 카메라는 고정이었다. 그래서 1절의 보정 하나로 끝까지 갔다.
3. 공 찾기

공 지름은 4 cm다. 이 중계 화면에서는 지름 10~12 px쯤으로 찍힌다. 문제는 30 fps라는 점이다. 빠른 공은 한 프레임 노출 동안 수십 px을 움직여 흰 선으로 번진다.
후보는 두 갈래로 모았다.
- 배경 차분: 선수 없는 배경보다 갑자기 밝아진 작은 덩어리이면서, 앞뒤 프레임과도 달라 움직이고 있는 것. 선수 몸은 자세 추정(YOLO11-pose)으로 얻은 관절 둘레만 가렸다. 사람 상자 전체를 가리면 몸 가까이 지나는 공까지 지워진다.
- YOLO11x: 일반 사물 검출 모델의 「sports ball」. 또렷한 공은 잘 잡지만 흐린 선이 된 공은 자주 놓친다.
후보는 프레임마다 평균 5~6개 나왔다. 진짜 공은 하나다. 거르는 데 세 가지를 썼다.
- 물리: 연속한 세 프레임에서 가속도가 일정한(포물선) 후보끼리만 잇는다. 손이나 라켓은 방향이 자주 바뀌어 긴 사슬이 안 된다.
- 겹침 정리: 시간이 겹치는 사슬 가운데 길고, 빠르고, 공다운 점수가 높은 것 하나만 남긴다.
- 작은 신경망: 아래 그림.

후보 자리를 32×32 px로 잘라 앞·현재·뒤 프레임 3장을 겹친 9채널 그림으로 만들고, 합성곱 3층짜리 분류기에 넣었다. 학습 예시는 사람이 붙이지 않았다. 길고 빠른 사슬에 들어간 점과 YOLO가 자신 있게 잡은 점 3,684개를 「공」으로, 사람 몸 한가운데나 느린 사슬의 점 2,482개를 「공 아님」으로 자동 분류해 썼다. 시간으로 나눈 검증 정확도는 79%였다. 나중에 사람이 확인한 공 49개는 모두 0.5를 넘겼다. 하지만 공이 아닌 것도 꽤 넘겼다. 놓치지는 않는데 헷갈린다는 뜻이다.
4. 물리로 깊이를 정한다 — 3D 궤적과 구속

공중에 뜬 공은 카메라 광선 위 어디에 있는지 모른다. 그런데 공은 아무렇게나 날지 않는다. 중력과 공기 저항을 받는 탄도를 따른다. 공을 친 순간의 위치(3개)와 속도(3개)만 정하면 이후 궤적이 다 정해진다. 그 궤적을 화면에 투영했을 때 실제로 찍힌 공 위치와 가장 잘 맞는 6개 값을 찾는다.
이 6개를 안정되게 잡으려고 두 가지를 고정했다.
- 바운드 지점: 상판 위라서 1절의 호모그래피로 X·Y가 바로 나온다. 높이는 공 반지름 2 cm다.
- 타구 지점: 치는 선수의 발목을 바닥 평면(상판 아래 76 cm)에 내려 선수 위치를 잡는다. 라켓을 쥔 손목 광선이 선수 위치보다 탁구대 쪽으로 30 cm 앞의 수직면과 만나는 점을 타구 지점으로 본다. 발이 상판에 가려 안 보이는 먼 쪽 선수는 끝선 뒤 60 cm에 서 있다고 놓았다. 이 점은 ±30 cm쯤 흔들릴 수 있는 약한 조건으로만 넣었다.
결과는 4구 모두 재투영 오차 6~8 px였다. 공이 흐린 선으로 찍히는 폭과 비슷하다.

공기 저항을 빼면 어떻게 될까. 탁구공은 2.7 g으로 아주 가볍다. 시속 55 km(초속 15 m)로 날 때 공기 저항으로 받는 감속이 중력의 3배가 넘는다(약 32 m/s²). 이걸 빼고 같은 점들에 맞추면 깊이가 잘못 풀려 3구가 77 km/h로 나왔다. 저항을 넣으면 타구 순간 55 km/h, 네트를 넘어 바운드할 때 34 km/h다. 0.3초 만에 40% 가까이 느려진다. HUD에는 두 숫자를 다 보여 줬다. 친 순간의 구속은 선수 머리 위에, 떨어질 때의 속도는 착지 고리 옆에 둔다.
5. 자세로 포핸드·백핸드를 가른다

라켓 쥔 손은 타구 순간 공에 가장 가까운 손목으로 정했다. 포핸드와 백핸드는 어깨선으로 가른다. 타구 직전 손목이 가장 빨리 움직인 프레임에서, 손목이 라켓 쥔 팔 쪽 어깨 바깥에 있으면 포핸드, 몸 건너편으로 넘어가 있으면 백핸드다. 관절 이름이 몸 기준(왼/오른)이라 앞모습 선수와 뒷모습 선수에 같은 식이 통한다.
검수한 랠리의 4구는 모두 포핸드로 나왔고, 2구를 친 선수는 왼손잡이로 잡혔다. 장면을 다시 보면 맞다. 다만 규칙 하나로 가르는 것이라, 몸 앞에서 짧게 대는 블록이나 몸통을 크게 돌리는 스윙은 헷갈릴 수 있다. 백핸드가 나온 장면이 없어 그 경우는 확인하지 못했다.
6. HUD로 다시 입힌다

화면에 얹은 것은 다음과 같다.
- 골격: 네 선수 모두 옅게. 방금 친 선수만 팀 색(양산시청 분홍, 수원시청 하늘색)으로 굵게.
- 공 꼬리: 최근 10프레임의 공 위치. 오래된 점일수록 흐리게.
- 예측 궤적: 4절의 3D 궤적을 화면에 투영한 회색 점선과 상판 위 그림자.
- 착지 고리: 바운드 지점에서 퍼지는 원과 「착지 ○○ km/h」.
- 타구 상자: 친 선수 머리 위의 「포핸드 55 km/h」.
- 낙구 지도: 오른쪽 아래, 위에서 본 탁구대에 떨어진 자리를 순서대로 찍는다.

위 움직이는 그림은 실제 속도의 1/3이다. 실제로는 이 네 번의 타구가 1.7초 안에 끝난다.
어디서 틀렸나

- 자동 추적만으로는 HUD를 못 만든다. 공 위치·바운드·타구 시점을 사람이 확인한 랠리 51프레임에서 공은 42곳에 보였다. 자동 추적은 그중 15곳(36%)만 맞혔다. 같은 구간에서 자동으로 고른 44곳 중 29곳은 손목, 라켓 가장자리, 얼굴이었다. 그래서 이번 HUD 랠리의 공 위치, 바운드 프레임, 타구 프레임은 사람이 화면을 보고 확인했다. 구속, 3D 궤적, 낙구 좌표, 누가 쳤는지, 포핸드 판정은 계산으로 냈다.
- 복식이라 가까운 쪽 상판이 가려진다. 가까운 쪽 두 선수가 끝선 앞에 서서 상판 앞쪽 절반을 자주 가린다. 이 쪽 바운드는 보이지 않는 경우가 많았다.
- 30 fps는 탁구에 느리다. 빠른 공은 바운드 순간이 프레임 사이에 끼어 꺾임이 안 보인다. 그래서 「꺾인 곳 = 바운드」 규칙이 자주 빗나갔다. 4구의 바운드도 가까운 쪽 끝선 근처에서 꺾임이 또렷하지 않아, 끝선 바로 앞 마지막 점을 바운드로 놓은 추정이다.
- 구속은 모형값이다. 공기 저항 계수는 문헌의 일반값을 썼다. 회전(스핀)에 따른 휨(마그누스 효과)도 넣지 않았다. 자세로 잡은 타구 지점을 앞뒤로 30 cm, 위아래로 15 cm 옮겨 다시 맞추면 4구의 구속이 각각 ±9~13% 달라진다.
- 처음에는 카메라가 움직인다고 잘못 봤다. 검수용으로 잘라 붙인 화면들의 상판 위치가 달라 보여서 프레임마다 화면 맞춤을 넣었다. 그런데 재 보니 메인 카메라는 고정이었다. 화면 맞춤 단계는 결과를 바꾸지 않았다.
- 배드민턴은 못 했다. 자유 이용 허락 영상 가운데 쓸 만한 것은 손으로 따라 찍어 카메라가 계속 움직였다. 상대 선수도 자주 화면 밖으로 나갔다.
그래서 딸깍 하려면
- 카메라 보정, 메인 카메라 화면 고르기, 자세 추정, 3D 궤적, HUD 합성까지는 이 영상에서 거의 자동으로 됐다. 막힌 곳은 공 찾기 하나다.
- 공 찾기를 자동으로 하려면 이 중계 화면에 맞춘 공 검출 모델이 필요하다. 프레임 몇백 장에 공 위치를 찍어 두고, 연속 프레임을 한꺼번에 보는 열지도(heatmap) 모델을 학습하는 방식이다. 이번에 사람이 확인한 42곳이 그 첫 정답 자료다.
- 직접 찍는다면 60 fps 이상, 탁구대 끝 쪽 높은 자리, 단식이 좋다. 이번에 막힌 세 가지(프레임 수, 가림, 복식)를 피하는 조건이다. 지난번 사무실 영상은 카메라가 상판 옆에 낮게 있어서 앞뒤 깊이가 풀리지 않았다. 이번 영상은 카메라가 높아서 깊이와 낙구 지점이 풀렸다.
출처
- 영상: 「양산시청 이영은, 박민주 vs 수원특례시청 곽수지, 유다현 -풀버전」, KTTL 한국프로탁구리그(한국실업탁구연맹), Wikimedia Commons, CC BY 3.0. 10~14분 구간을 잘라 HUD를 덧씌웠다.
- 탁구대·공 규격: 국제탁구연맹(ITTF) 경기 규정(상판 2.74 m × 1.525 m, 네트 15.25 cm, 공 40 mm·2.7 g).
- 자세 추정·사물 검출: Ultralytics YOLO11.