oosioo
탁구 중계 화면 위에 HUD가 덧씌워져 있다. 네 선수에게 흰 골격선이 그려져 있고, 가까운 쪽 왼편 선수 머리 위에 분홍 상자로 「포핸드 55 km/h」, 먼 쪽 선수 위에 하늘색 상자로 「포핸드 (왼손) 33 km/h」가 떠 있다. 공 뒤로 노란 꼬리와 회색 점선 예측 궤적이 네트를 넘어간다. 상판 위에는 분홍·하늘색 착지 고리와 「착지 35 km/h」 「착지 23 km/h」 글자가 있고, 왼쪽 위 패널에 「랠리 3구째, 최고 구속 55 km/h」, 오른쪽 아래에 위에서 본 탁구대 낙구 지도가 있다
연재진짜 딸깍하는 AI · 43회

탁구 중계 화면에 AR HUD를 입혀 보면 — 구속·낙구 지점·포핸드를 공개 경기 영상에서 계산해 본 실험

SNS에 도는 탁구·배드민턴 영상에는 공 궤적, 구속, 떨어진 자리, 포핸드·백핸드 같은 정보가 경기 화면 위에 덧씌워져 있다. 자유 이용 허락(CC BY)으로 공개된 실업탁구 여자 단체 결승 복식 중계 영상으로 같은 화면을 만들어 봤다. 상판 모서리와 네트 끝 6점으로 카메라 위치(끝선 뒤 17 m, 높이 4.4 m)를 풀고, 공 후보를 배경 차분·YOLO·작은 신경망으로 고른 뒤, 공기 저항을 넣은 탄도 모형과 선수 자세로 3D 궤적과 구속을 냈다. 검수한 랠리 4구의 구속은 타구 순간 33~55 km/h, 바운드 직후 23~35 km/h였다. 공기 저항을 빼면 같은 공이 77 km/h로 부풀려졌다. 다만 사람 확인 없이 자동으로만 고르면 공 위치를 36%만 맞혔다. 복식이라 앞쪽 두 선수가 상판을 가리고, 30 fps라 공이 흐린 선으로 찍히기 때문이다.

· SYSOP · 조회 16

탁구 중계 화면 위에 HUD가 덧씌워져 있다. 네 선수에게 흰 골격선이 그려져 있고, 가까운 쪽 왼편 선수 머리 위에 분홍 상자로 「포핸드 55 km/h」, 먼 쪽 선수 위에 하늘색 상자로 「포핸드 (왼손) 33 km/h」가 떠 있다. 공 뒤로 노란 꼬리와 회색 점선 예측 궤적이 네트를 넘어간다. 상판 위에는 분홍·하늘색 착지 고리와 「착지 35 km/h」 「착지 23 km/h」 글자가 있고, 왼쪽 위 패널에 「랠리 3구째, 최고 구속 55 km/h」, 오른쪽 아래에 위에서 본 탁구대 낙구 지도가 있다

요즘 SNS에 도는 탁구·배드민턴 영상을 보면 경기 화면 위에 정보가 얹혀 있다. 공이 지나간 꼬리, 몇 km/h로 날아갔는지, 상대 코트 어디에 떨어졌는지, 방금 친 게 포핸드인지 백핸드인지. 게임 중계 화면처럼 생겼다.

얼마 전에는 사무실에서 직접 찍은 탁구 영상으로 비슷한 화면을 만들어 봤다. 카메라를 탁구대 옆, 상판보다 조금 높은 곳에 두었더니 공이 앞뒤로 얼마나 깊이 들어갔는지가 잘 풀리지 않았다. 이번에는 공식 경기 중계 화면으로 다시 해 봤다. 중계 카메라는 높고 멀리 있어서 탁구대 전체가 반듯하게 보인다. 그러면 더 잘 될까.

무엇을 하려 했나

  1. 마음대로 써도 되는 공식 경기 영상을 찾는다.
  2. 화면 한 장으로 카메라 위치를 풀어 화면 좌표와 탁구대 좌표를 잇는다.
  3. 공을 프레임마다 찾고, 궤적을 3D로 되살려 구속과 낙구 지점을 낸다.
  4. 선수 자세로 누가 쳤는지, 포핸드인지 백핸드인지를 가린다.
  5. 이 모두를 HUD로 경기 화면에 다시 입힌다.

영상 찾기부터 보정, 검출, 학습, 렌더링까지 AI 에이전트가 맥북에서 짜고 돌렸다. 틀린 자리는 아래 「어디서 틀렸나」에 따로 적었다.

쓸 수 있는 영상 찾기

유튜브나 방송사 중계 클립은 쓰지 않았다. 권리를 확인할 수 없어서다. 위키미디어 공용(Wikimedia Commons)에서 자유 이용 허락으로 올라온 경기 영상을 뒤졌다.

후보라이선스화면판단
2023 추계 회장기 실업탁구대회 여자 단체 결승 복식(KTTL 한국프로탁구리그)CC BY 3.01080p 30 fps, 끝 쪽 고정 중계 카메라, 47분사용
슬로베니아 여자 리그 결승(TV Uršlja)CC BY 3.01080p 25 fps, 관중·인터뷰 컷이 잦음제외
슬로베니아 배드민턴 선수권 결승 마지막 점수(류블랴나 배드민턴 클럽)CC BY 3.01080p 30 fps, 손으로 들고 따라 찍음, 32초제외(상대 선수가 자주 화면 밖)
중국 오픈 배드민턴 결승CC BY 3.0 표기방송 화면을 다른 채널이 다시 올린 것제외(원 권리자 불분명)

KTTL 영상의 10~14분 구간(4분)을 썼다.

1. 화면 한 장으로 카메라 위치를 푼다

중계 화면의 탁구대. 상판 네 모서리와 네트 양 끝 위에 빨간 원 6개가 있다. 상판 위에 노란 격자가 반듯하게 겹쳐 있고, 초록 점선이 상판 위로 둥글게 솟았다 내려온다. 오른쪽 글: 「카메라 = 끝선 뒤 17 m, 높이 4.4 m, 초점거리 5665 px, 재투영 오차 1.8 px」

탁구대 규격은 정해져 있다. 상판은 가로 1.525 m, 세로 2.74 m이고 네트 높이는 15.25 cm다. 그래서 화면에서 상판 모서리 4점과 네트 양 끝 위 2점만 찍으면 카메라가 어디서 어느 방향을 보고 있는지 계산할 수 있다. 사진 측량에서 쓰는 카메라 보정이다.

모서리는 손으로 대충 찍은 뒤, 흰 경계선을 따라 직선을 맞춰 교점으로 다듬었다. 선수들이 상판을 가리는 프레임이 많아서, 메인 카메라 화면 수십 장의 중앙값으로 선수 없는 배경을 먼저 만들었다.

풀어 보니 카메라는 끝선 뒤 약 17 m, 상판보다 4.4 m 높은 곳에 있었다. 이 숫자 하나로 두 가지를 할 수 있다.

  • 상판 위의 점은 화면 좌표를 바로 탁구대 좌표로 바꾼다(호모그래피). 바운드 지점이 여기에 해당한다.
  • 공중의 점은 화면 좌표만으로는 정해지지 않는다. 카메라에서 나온 광선 위 어딘가에 있다. 깊이를 정하려면 물리가 필요하다(4절).

2. 메인 카메라 화면만 쓴다

위쪽에 4분 구간의 시간 막대가 있다. 파란 칸(메인 카메라)과 회색 칸(그 밖)이 번갈아 나온다. 「파랑 = 메인 카메라 56%」. 아래에 썸네일 4장: 메인 카메라(분석함), 선수 클로즈업(건너뜀), 다른 각도·리플레이(건너뜀), 그 밖(건너뜀)

중계는 점수가 날 때마다 선수 얼굴, 다른 각도, 리플레이로 넘어간다. 상판의 파란색이 기준 화면과 같은 자리에 같은 모양으로 있으면 메인 카메라로 보고, 아니면 건너뛰었다. 4분 가운데 56%가 메인 카메라였다.

메인 카메라가 경기 중에 조금씩 돌거나 당기는지도 확인했다. 프레임마다 기준 화면과 특징점을 맞춰 호모그래피를 구했는데, 화면 모서리가 움직인 폭이 대부분 1 px 미만이고 가장 큰 것도 10 px였다. 이 경기의 메인 카메라는 고정이었다. 그래서 1절의 보정 하나로 끝까지 갔다.

3. 공 찾기

왼쪽: 프레임 4742. 상판 위 공에 노란 원이, 같은 자리에 주황 사각형(YOLO)이 있다. 먼 쪽 선수 무릎에도 노란 원이, 라켓 근처에 주황 사각형이 하나 더 있다. 오른쪽: 같은 장면에 프레임 4740~4756의 공 위치를 이은 초록 선. 네트를 넘어와 가까운 쪽 상판에서 꺾이고(빨간 원 = 바운드) 다시 먼 쪽으로 돌아간다

공 지름은 4 cm다. 이 중계 화면에서는 지름 10~12 px쯤으로 찍힌다. 문제는 30 fps라는 점이다. 빠른 공은 한 프레임 노출 동안 수십 px을 움직여 흰 선으로 번진다.

후보는 두 갈래로 모았다.

  • 배경 차분: 선수 없는 배경보다 갑자기 밝아진 작은 덩어리이면서, 앞뒤 프레임과도 달라 움직이고 있는 것. 선수 몸은 자세 추정(YOLO11-pose)으로 얻은 관절 둘레만 가렸다. 사람 상자 전체를 가리면 몸 가까이 지나는 공까지 지워진다.
  • YOLO11x: 일반 사물 검출 모델의 「sports ball」. 또렷한 공은 잘 잡지만 흐린 선이 된 공은 자주 놓친다.

후보는 프레임마다 평균 5~6개 나왔다. 진짜 공은 하나다. 거르는 데 세 가지를 썼다.

  1. 물리: 연속한 세 프레임에서 가속도가 일정한(포물선) 후보끼리만 잇는다. 손이나 라켓은 방향이 자주 바뀌어 긴 사슬이 안 된다.
  2. 겹침 정리: 시간이 겹치는 사슬 가운데 길고, 빠르고, 공다운 점수가 높은 것 하나만 남긴다.
  3. 작은 신경망: 아래 그림.

위 줄: 「공」 예시 12개. 파란 상판이나 빨간 바닥 위에 흰 타원이나 비스듬히 번진 흰 막대가 있고, 아래 점수는 0.81~0.90. 아래 줄: 「공 아님」 예시 12개. 검은 유니폼의 흰 글씨 조각, 라켓 가장자리, 머리카락, 손목. 점수는 0.01~0.11

후보 자리를 32×32 px로 잘라 앞·현재·뒤 프레임 3장을 겹친 9채널 그림으로 만들고, 합성곱 3층짜리 분류기에 넣었다. 학습 예시는 사람이 붙이지 않았다. 길고 빠른 사슬에 들어간 점과 YOLO가 자신 있게 잡은 점 3,684개를 「공」으로, 사람 몸 한가운데나 느린 사슬의 점 2,482개를 「공 아님」으로 자동 분류해 썼다. 시간으로 나눈 검증 정확도는 79%였다. 나중에 사람이 확인한 공 49개는 모두 0.5를 넘겼다. 하지만 공이 아닌 것도 꽤 넘겼다. 놓치지는 않는데 헷갈린다는 뜻이다.

4. 물리로 깊이를 정한다 — 3D 궤적과 구속

왼쪽: 옆에서 본 랠리 4구. 파란 막대(상판)와 검은 세로선(네트) 위로 분홍 궤적 2개(양산시청)와 하늘색 궤적 2개(수원시청)가 오간다. 각 궤적 시작점 위에 「1구 49→35 km/h」 「2구 33→23 km/h」 「3구 55→34 km/h」 「4구 39→25 km/h」. 바운드는 ×로 표시돼 분홍은 먼 쪽 끝선 근처, 하늘색은 가까운 쪽 상판 안쪽에 떨어진다. 오른쪽: 위에서 본 상판에 낙구 지점 1·3이 먼 쪽 끝선 오른편, 2·4가 가까운 쪽 왼편에 모여 있다

공중에 뜬 공은 카메라 광선 위 어디에 있는지 모른다. 그런데 공은 아무렇게나 날지 않는다. 중력과 공기 저항을 받는 탄도를 따른다. 공을 친 순간의 위치(3개)와 속도(3개)만 정하면 이후 궤적이 다 정해진다. 그 궤적을 화면에 투영했을 때 실제로 찍힌 공 위치와 가장 잘 맞는 6개 값을 찾는다.

이 6개를 안정되게 잡으려고 두 가지를 고정했다.

  • 바운드 지점: 상판 위라서 1절의 호모그래피로 X·Y가 바로 나온다. 높이는 공 반지름 2 cm다.
  • 타구 지점: 치는 선수의 발목을 바닥 평면(상판 아래 76 cm)에 내려 선수 위치를 잡는다. 라켓을 쥔 손목 광선이 선수 위치보다 탁구대 쪽으로 30 cm 앞의 수직면과 만나는 점을 타구 지점으로 본다. 발이 상판에 가려 안 보이는 먼 쪽 선수는 끝선 뒤 60 cm에 서 있다고 놓았다. 이 점은 ±30 cm쯤 흔들릴 수 있는 약한 조건으로만 넣었다.

결과는 4구 모두 재투영 오차 6~8 px였다. 공이 흐린 선으로 찍히는 폭과 비슷하다.

선 그래프. 가로축 타구 후 시간 0~300 ms, 세로축 공 속도. 분홍 실선이 55 km/h에서 시작해 300 ms에 34 km/h까지 매끄럽게 줄어든다. 회색 점선은 77 km/h에서 수평으로 이어진다. 범례: 「공기 저항 포함: 타구 55 → 바운드 34 km/h」 「공기 저항 없이 맞춘 경우: 내내 약 77 km/h (부풀려짐)」

공기 저항을 빼면 어떻게 될까. 탁구공은 2.7 g으로 아주 가볍다. 시속 55 km(초속 15 m)로 날 때 공기 저항으로 받는 감속이 중력의 3배가 넘는다(약 32 m/s²). 이걸 빼고 같은 점들에 맞추면 깊이가 잘못 풀려 3구가 77 km/h로 나왔다. 저항을 넣으면 타구 순간 55 km/h, 네트를 넘어 바운드할 때 34 km/h다. 0.3초 만에 40% 가까이 느려진다. HUD에는 두 숫자를 다 보여 줬다. 친 순간의 구속은 선수 머리 위에, 떨어질 때의 속도는 착지 고리 옆에 둔다.

5. 자세로 포핸드·백핸드를 가른다

장면 3개. 각 선수 몸에 흰 골격선, 양 어깨를 잇는 노란 선, 빨간 점(오른 어깨)과 주황 점(왼 어깨), 초록 원(라켓 쥔 손목)이 있다. 1구 양산시청 포핸드: 뒷모습 선수의 초록 손목이 오른 어깨 바깥에 있다. 2구 수원시청 포핸드(왼손): 앞모습 선수가 왼손을 왼 어깨 바깥으로 뻗었다. 4구 수원시청 포핸드: 앞모습 선수의 오른 손목이 오른 어깨 바깥에 있다

라켓 쥔 손은 타구 순간 공에 가장 가까운 손목으로 정했다. 포핸드와 백핸드는 어깨선으로 가른다. 타구 직전 손목이 가장 빨리 움직인 프레임에서, 손목이 라켓 쥔 팔 쪽 어깨 바깥에 있으면 포핸드, 몸 건너편으로 넘어가 있으면 백핸드다. 관절 이름이 몸 기준(왼/오른)이라 앞모습 선수와 뒷모습 선수에 같은 식이 통한다.

검수한 랠리의 4구는 모두 포핸드로 나왔고, 2구를 친 선수는 왼손잡이로 잡혔다. 장면을 다시 보면 맞다. 다만 규칙 하나로 가르는 것이라, 몸 앞에서 짧게 대는 블록이나 몸통을 크게 돌리는 스윙은 헷갈릴 수 있다. 백핸드가 나온 장면이 없어 그 경우는 확인하지 못했다.

6. HUD로 다시 입힌다

HUD 화면 두 장. 왼쪽은 3구 직후로, 가까운 쪽 선수 위 「포핸드 55 km/h」 상자와 공 꼬리, 네트를 넘는 회색 예측 궤적, 먼 쪽 끝선의 분홍 착지 고리가 있다. 오른쪽은 4구 순간으로, 먼 쪽 오른편 선수의 골격이 하늘색으로 강조되고 「포핸드 39 km/h」 상자가 떠 있다. 가까운 쪽 상판에 하늘색 착지 고리, 오른쪽 아래 낙구 지도에 점 1·2·3이 찍혀 있다

화면에 얹은 것은 다음과 같다.

  • 골격: 네 선수 모두 옅게. 방금 친 선수만 팀 색(양산시청 분홍, 수원시청 하늘색)으로 굵게.
  • 공 꼬리: 최근 10프레임의 공 위치. 오래된 점일수록 흐리게.
  • 예측 궤적: 4절의 3D 궤적을 화면에 투영한 회색 점선과 상판 위 그림자.
  • 착지 고리: 바운드 지점에서 퍼지는 원과 「착지 ○○ km/h」.
  • 타구 상자: 친 선수 머리 위의 「포핸드 55 km/h」.
  • 낙구 지도: 오른쪽 아래, 위에서 본 탁구대에 떨어진 자리를 순서대로 찍는다.

HUD를 입힌 랠리 4구를 1/3 속도로 돌린 움직이는 그림. 가까운 쪽 선수가 포핸드로 친 공이 노란 꼬리를 끌며 네트를 넘어 먼 쪽 끝선에 떨어지고, 분홍 착지 고리가 퍼진다. 먼 쪽 선수가 받아치는 순간 골격이 하늘색으로 바뀌고 「포핸드 39 km/h」 상자가 뜬다. 오른쪽 아래 낙구 지도에 점이 하나씩 늘어난다

위 움직이는 그림은 실제 속도의 1/3이다. 실제로는 이 네 번의 타구가 1.7초 안에 끝난다.

어디서 틀렸나

장면 4개. 초록 원은 실제 공, 빨간 ×는 자동 추적이 고른 점. 4725와 4729에서는 공이 상판 위에 있는데 빨간 ×가 먼 쪽 선수 손목에 있다. 4741에서는 둘이 겹친다. 4768에서는 공이 네트 위에 있는데 빨간 ×가 먼 쪽 선수 어깨에 있다. 아래 글: 「사람이 찾은 공 42곳 가운데 자동 추적이 맞힌 곳은 15곳(36%)」

  • 자동 추적만으로는 HUD를 못 만든다. 공 위치·바운드·타구 시점을 사람이 확인한 랠리 51프레임에서 공은 42곳에 보였다. 자동 추적은 그중 15곳(36%)만 맞혔다. 같은 구간에서 자동으로 고른 44곳 중 29곳은 손목, 라켓 가장자리, 얼굴이었다. 그래서 이번 HUD 랠리의 공 위치, 바운드 프레임, 타구 프레임은 사람이 화면을 보고 확인했다. 구속, 3D 궤적, 낙구 좌표, 누가 쳤는지, 포핸드 판정은 계산으로 냈다.
  • 복식이라 가까운 쪽 상판이 가려진다. 가까운 쪽 두 선수가 끝선 앞에 서서 상판 앞쪽 절반을 자주 가린다. 이 쪽 바운드는 보이지 않는 경우가 많았다.
  • 30 fps는 탁구에 느리다. 빠른 공은 바운드 순간이 프레임 사이에 끼어 꺾임이 안 보인다. 그래서 「꺾인 곳 = 바운드」 규칙이 자주 빗나갔다. 4구의 바운드도 가까운 쪽 끝선 근처에서 꺾임이 또렷하지 않아, 끝선 바로 앞 마지막 점을 바운드로 놓은 추정이다.
  • 구속은 모형값이다. 공기 저항 계수는 문헌의 일반값을 썼다. 회전(스핀)에 따른 휨(마그누스 효과)도 넣지 않았다. 자세로 잡은 타구 지점을 앞뒤로 30 cm, 위아래로 15 cm 옮겨 다시 맞추면 4구의 구속이 각각 ±9~13% 달라진다.
  • 처음에는 카메라가 움직인다고 잘못 봤다. 검수용으로 잘라 붙인 화면들의 상판 위치가 달라 보여서 프레임마다 화면 맞춤을 넣었다. 그런데 재 보니 메인 카메라는 고정이었다. 화면 맞춤 단계는 결과를 바꾸지 않았다.
  • 배드민턴은 못 했다. 자유 이용 허락 영상 가운데 쓸 만한 것은 손으로 따라 찍어 카메라가 계속 움직였다. 상대 선수도 자주 화면 밖으로 나갔다.

그래서 딸깍 하려면

  • 카메라 보정, 메인 카메라 화면 고르기, 자세 추정, 3D 궤적, HUD 합성까지는 이 영상에서 거의 자동으로 됐다. 막힌 곳은 공 찾기 하나다.
  • 공 찾기를 자동으로 하려면 이 중계 화면에 맞춘 공 검출 모델이 필요하다. 프레임 몇백 장에 공 위치를 찍어 두고, 연속 프레임을 한꺼번에 보는 열지도(heatmap) 모델을 학습하는 방식이다. 이번에 사람이 확인한 42곳이 그 첫 정답 자료다.
  • 직접 찍는다면 60 fps 이상, 탁구대 끝 쪽 높은 자리, 단식이 좋다. 이번에 막힌 세 가지(프레임 수, 가림, 복식)를 피하는 조건이다. 지난번 사무실 영상은 카메라가 상판 옆에 낮게 있어서 앞뒤 깊이가 풀리지 않았다. 이번 영상은 카메라가 높아서 깊이와 낙구 지점이 풀렸다.

출처

  • 영상: 「양산시청 이영은, 박민주 vs 수원특례시청 곽수지, 유다현 -풀버전」, KTTL 한국프로탁구리그(한국실업탁구연맹), Wikimedia Commons, CC BY 3.0. 10~14분 구간을 잘라 HUD를 덧씌웠다.
  • 탁구대·공 규격: 국제탁구연맹(ITTF) 경기 규정(상판 2.74 m × 1.525 m, 네트 15.25 cm, 공 40 mm·2.7 g).
  • 자세 추정·사물 검출: Ultralytics YOLO11.

이 연재를 처음부터 보시려면 진짜 딸깍하는 AI 로 가시오.

한마디 0

아직 한마디도 없소. 먼저 보태시오.

한마디 보태려면 들어오시오.