notParsec / 문서전체 문서

설명·설계 문서

Network 지연은 왜 컸을까: 서버 중계에서 PC 간 직접 UDP까지

design/NETWORK_TRANSPORT_JOURNEY.ko.md

출처: 현재 작업 폴더 · 원문 다운로드

이 문서의 목차

최초 기록 2026-09-24 · 설명·후속 상태 보강 2026-09-26 · F04/F10/F11/F14/F31/F32/F33/F68/F81

notParsec의 초기 영상 경로는 항상 서버 중계를 사용했다. 이후 인증을 유지하면서 PC 사이의 직접 UDP를 먼저 시도하고, 실패하면 WSS 중계를 사용하는 경로를 구현했다. 이 글은 다른 작업에서 수행한 분석·구현·시험·게시 기록을 모아 설명한다. 이 문서를 작성하면서 사용자 PC의 성능을 새로 측정한 것은 아니다.

기준은 보관된 Windows Parsec 150-104a다. 공개 설명, 보관 바이너리의 디컴파일 의사 코드, 우리가 작성한 Rust 코드, 실제 시험을 서로 다른 근거로 다룬다. 직접 UDP가 동작한다는 사실만으로 Parsec의 BUD 전체나 같은 성능을 구현했다고 판단하지 않는다.

전체 문서 · 개발 계획·구현 현황 · 직접 UDP 구현 명세 · 이 글의 근거와 게시 확인

먼저 읽기: 인용한 작업과 현재 상태

사용자가 다른 세션에서 가져온 작업 기록은 원인 분석 → 직접 UDP 구현 → 최초 게시 권한 설정의 순서다. 아래 표에서 당시 설명과 후속 확인을 구분한다. 이번 문서 보강은 앱을 다시 구현하거나 새 성능 시험을 한 작업이 아니다.

질문 당시 확인 2026-09-26 문서 검토 시 확인
왜 항상 서버 중계였나? 실제 영상 세션이 WSS에만 연결돼 있었고 직접 UDP 탐색·전환은 연결되지 않았다 인증 후 직접 UDP 우선, 실패 시 WSS로 양쪽 합의하는 코드와 게시 기록이 있다
309ms가 사용자 PC 지연인가? 분석 환경에서 공개 HTTPS 요청의 중앙값이었다 사용자 PC의 원격 화면 RTT로 해석하지 않는다
영상이 밀리면 입력도 멈추는가? 초기 WSS 단일 처리 루프에서 재현됐다 직접 UDP의 RTT/ACK/역방향 진행을 분리했고, 후속 작업에서 WSS 양방향 루프도 분리했다. WSS의 같은 방향 순서 대기는 남는다
아직 sudo 비밀번호 때문에 게시 대기인가? 최초 직접 UDP 배포 시도 때는 맞았다 고정 배포 명령 설정과 후속 게시가 완료됐다. 확인된 다운로드는 빌드 1790331224다
Parsec BUD와 완전히 같아졌나? 일부 조각·ACK 구조를 근거로 구현했다 자체 암호화 envelope·인증 준비·혼잡 정책 차이가 있어 parity: different다

1–3절은 문제와 측정, 4–7절은 개념과 처리 구조, 8–10절은 원본 근거·시험·배포 이력, 11–13절은 확인 방법과 후속 개선을 설명한다.

1. 출발점: Decode를 줄여도 Network는 줄지 않았다

원격 화면은 한 번의 작업으로 만들어지지 않는다. 접속받는 PC가 화면을 캡처하고 인코딩한 뒤, 네트워크로 보내면 접속하는 PC가 디코딩하고 표시한다. 키보드·마우스 입력은 반대 방향으로 이동한다.

접속받는 PC                         접속하는 PC
화면 캡처 → GPU 인코딩 → 전송 → GPU 디코딩 → 화면 표시
입력 적용 ←────────── 입력 전송 ←──── 키보드·마우스

GPU에서 디코딩한 화면을 CPU로 읽었다가 다시 GPU에 올리는 복사를 없애면 Decode·표시 비용을 줄일 수 있다. 그러나 영상이 돌아가는 네트워크 경로나 서버에서 기다리는 시간까지 없어지는 것은 아니다. 그래서 디코드 개선 뒤에도 Network 차이를 별도로 분석했다. GPU 직접 표시 구현

성능 표시의 단위를 먼저 구별해야 한다.

항목 묻는 내용 해석할 때 주의할 점
Decode / Encode, ms 한 프레임을 처리하는 데 얼마나 걸리는가? 제품별 측정 시작·종료 위치가 같아야 직접 비교할 수 있다
Network, ms 작은 메시지가 상대에게 갔다가 돌아오는 데 얼마나 걸리는가? 왕복 지연 RTT다. 다운로드 속도나 단방향 지연이 아니다
Bitrate, Mbps 1초 동안 영상 데이터가 얼마나 이동했는가? 낮다고 무조건 느린 것이 아니다. 정지 화면은 보낼 데이터가 적다
FPS 1초에 몇 프레임을 생성·전송·표시했는가? 생성·수신·표시 FPS가 서로 다를 수 있다
전체 반응 지연 입력 후 바뀐 화면을 보기까지 얼마나 걸리는가? RTT 하나나 Decode 하나로 표현할 수 없다

Parsec 공식 통계 설명도 Network를 호스트와 클라이언트 사이의 왕복 지연으로 정의한다. 다만 각 제품 내부에서 어느 큐를 거쳐 측정하는지는 별도 대조가 필요하다. Parsec 통계 설명

2. 첫 번째 원인: 영상이 항상 서버로 돌아갔다

서로 다른 네트워크에서 먼저 접속을 가능하게 하는 과정에서 기기 등록·비밀번호 인증과 WSS 영상 중계를 연결했다. 하지만 STUN 주소 조회, UDP hole punching, 직접 경로 선택은 사용자 앱의 영상 전송에 연결하지 않은 상태였다. 그 결과 같은 공유기에 있는 PC도 서버를 경유했다.

이는 개인용 서버나 통합 앱 때문에 필요한 제약이 아니다. 직접 연결 구현이 빠져 있던 것이다. 저장소에 있던 QUIC 인증 시험 경로 역시 실제 사용자 앱의 영상 전송 경로를 대신하지 못했다.

더 정확히는 ‘서버가 기기를 찾아 주는 기능’과 ‘서버가 모든 영상 바이트를 전달하는 기능’을 분리하지 못한 구현 상태였다. 등록·승인 서버를 계속 사용하면서도 영상은 PC 사이로 직접 보낼 수 있다. 과거에 왜 그 순서로 개발했는지에 대한 결정 기록까지 복원된 것은 아니지만, 실제 영상 경로에 직접 연결 분기가 없었다는 점은 당시 코드·시험에서 확인된다.

개선 전 — 영상·입력·측정 응답이 중계 경로 사용
PC A → Cloudflare → Ubuntu / Nginx / WSS → Cloudflare → PC B
PC A ← Cloudflare ← Ubuntu / Nginx / WSS ← Cloudflare ← PC B

직접 UDP 성공 후 — 영상·입력은 PC 사이로 이동
PC A ═════════════ 암호화된 UDP ═════════════ PC B
  └──── Ubuntu 관리 서버: 등록·연결 준비·인증 유지 ────┘

도식의 Cloudflare 두 표시는 각 PC의 공개 도메인 접속 경로를 표현한다. 반드시 동일한 edge 두 곳을 고정 통과한다는 뜻은 아니다. 실제 경로는 접속 위치와 네트워크에 따라 달라진다.

HTTP로 확인한 우회 경로

당시 실행 환경에서 /health/ready에 HTTPS 연결을 재사용해 각각 8회 요청했다. 연결·TLS 핸드셰이크 시간은 아래 요청 중앙값에서 제외했다.

접근 경로 요청 왕복 중앙값 시험이 보여주는 것
로컬 127.0.0.1:443, 정상 SNI/Host 0.391ms 같은 머신의 Nginx·운영 앱 응답
공개 https://remote.n3m.kr 308.889ms 실행 환경에서 공개 프록시 경로를 통한 응답

두 경로 모두 HTTP 200이었으며 공개 응답에는 Cloudflare 헤더가 있었다. 309ms는 사용자 PC의 영상 RTT가 아니며, 전부 Cloudflare의 처리 비용이라고 볼 수도 없다. 회선·edge·origin·HTTP 처리가 함께 포함된 관찰값이다. 공개 경로를 점검해야 할 근거로 사용했다. 원본 측정 데이터

3. 두 번째 원인: 영상이 밀리면 측정과 입력도 밀렸다

초기 Network 측정은 영상과 같은 스트림에 Probe를 넣고 상대가 돌려준 Pong을 읽는 방식이었다. 호스트가 즉시 Pong을 생성해도 이미 전송 중인 영상 데이터 뒤에 줄을 서야 했다.

클라이언트 수신 루프에는 용량 2의 디코더 전달 큐가 있었다. 큐가 가득 차면 frames.send(event).await에서 기다렸다. 이 동안 같은 루프는 뒤에 도착한 Pong을 읽을 수 없었다. WebSocket 브리지와 서버의 전달 루프도 한 방향 쓰기 완료를 기다리면서 반대 방향 처리가 지연될 수 있었다.

영상이 도착함
  → 디코더 큐가 가득 참
  → 수신 루프가 큐 공간을 기다림
  → 이미 도착한 Pong도 아직 읽지 못함
  → 표시된 Network에 앱 내부 대기가 섞임

이 현상은 TCP의 순서 보장 대기와도 겹친다. TCP는 앞부분의 데이터가 유실되면 뒤쪽 데이터가 도착했어도 순서를 맞추기 위해 기다린다. 애플리케이션 역시 큰 영상 프레임을 모두 읽어야 다음 제어 메시지에 도달할 수 있었다. 이런 앞선 작업 때문에 뒤의 작업이 막히는 현상을 head-of-line blocking이라고 부른다.

외부 회선 없이 재현한 시험

운영 접속을 건드리지 않고 임시 DB·기기·loopback 서버에서 실제 비밀번호 인증·TLS·WebSocket 중계를 실행했다. 영상 데이터는 GPU 출력이 아닌 16KiB 합성 패킷을 약 60fps로 생성했다. 느린 소비 조건에는 프레임당 50ms 대기를 인위적으로 넣었다.

조건 표시된 RTT 입력 해제 전달 시간
영상 즉시 소비 중앙값 1.30ms 약 2.30ms
같은 영상 발생률, 소비만 50ms 지연 후속 샘플 2,218ms / 3,985ms 약 241ms

사용자가 실제로 4초 지연을 겪었다는 기록이 아니다. 같은 머신에서도 소비 지연만으로 Network와 입력이 크게 느려질 수 있다는 통제 시험이다. 전후 제품 성능 비교에 이 숫자를 그대로 사용하면 안 된다. 구조화한 시험 결과와 당시 소스 hash

50ms씩 처리하면 소비 능력은 대략 20fps다. 60fps 발생을 계속 받아 쌓으면 오래된 화면이 늘어난다. 큐를 무한히 늘리는 방법은 끊김을 잠깐 감추지만 반응 지연과 메모리 사용을 키운다. 반대로 H.264/H.265 압축 프레임을 임의로 버리면 뒤의 참조 프레임을 디코딩하지 못할 수 있다. 캡처·인코딩 이전에 속도를 조절하고, 이미 인코딩한 참조 프레임의 순서를 지키는 처리가 필요하다.

당시 TCP_NODELAY와 Nginx proxy_buffering off는 이미 적용돼 있었다. 작은 TCP 데이터의 묶음 대기나 프록시 버퍼 설정만 변경해 해결할 문제가 아니었다.

4. UDP, BUD, STUN, NAT, ICE는 각각 무엇인가

개념 역할 이 프로젝트에서의 의미
UDP 작은 데이터그램을 주소·포트로 전송하는 전송 계층 지연·손실·순서·재전송 정책을 앱에서 제어할 기반
TCP 바이트를 순서대로 복구해 전달하는 전송 계층 WSS 중계의 기반. 앞선 바이트가 빠지면 같은 방향의 뒤쪽 데이터가 기다린다
WebSocket / WSS 연결을 유지하며 양방향 메시지를 교환하는 방식 / 그 TLS 보호 형태 관리 서버를 통한 연결 준비와 직접 UDP 실패 시 영상 전달에 사용한다
TLS / DTLS 각각 스트림 / 데이터그램 통신을 보호하는 보안 프로토콜 현재 앱의 TLS 인증 준비와 원본 Parsec의 DTLS를 구별한다. UDP 자체에는 암호화가 없다
BUD Parsec의 자체 UDP 기반 원격 스트리밍 프로토콜 공개 UDP 표준의 다른 이름이 아니다. 일부 구조를 원본 근거로 분석했다
NAT 공유기가 내부 주소·포트를 외부 매핑으로 변환하는 기능 상대 PC가 내 사설 주소만 알아서는 인터넷에서 접속하기 어렵다
STUN 외부 서버가 관찰한 내 UDP 주소·포트를 조회하는 방법 후보 주소를 알아내는 데 사용한다. 영상 중계가 아니다
Hole punching 양쪽이 UDP를 보내 NAT 매핑을 만들고 응답 경로를 확인하는 절차 포트 포워딩을 수동 설정하지 않고 직접 연결을 시도한다
ICE 여러 후보 경로를 검사·선택하는 표준 체계 현재 구현은 일부 개념을 참고했으며 전체 ICE 구현은 아니다
Relay 두 PC 대신 서버가 데이터를 받아 전달하는 경로 직접 연결 실패 시 WSS로 접속을 유지하는 대체 경로
ACK / 재전송 조각 수신 여부를 알리고 빠진 데이터를 복구하는 처리 UDP 자체에 없는 신뢰성 기능을 구현한다
Backpressure 소비가 느리면 생산·전송을 제한하는 흐름 제어 큐와 메모리를 제한하되 RTT·역방향 입력 처리는 진행시킨다

UDP로 바꾼다고 인터넷 거리가 짧아지거나 패킷 손실이 없어지지는 않는다. 직접 경로로 서버 우회를 줄이고, 필요한 전송 정책을 구현할 수 있게 된다. 현재도 영상 데이터의 순서를 복구해 전달하므로 손실로 인한 영상 대기 자체가 사라지는 것은 아니다.

STUN은 NAT 통과를 위한 구성 요소이며 단독으로 모든 네트워크에서 접속을 보장하지 않는다. 후보 검사·경로 선택과 실패 시 대체 경로가 필요하다. STUN: RFC 8489 · ICE: RFC 8445

Parsec은 공식 문서에서 BUD를 저지연 영상 전송용 P2P 프로토콜로 설명하며 신뢰성 처리, 가변 비트레이트, DTLS 암호화를 함께 언급한다. 이 공개 설명을 notParsec이 같은 내부 구현을 갖췄다는 근거로 사용하지 않는다. Parsec 기술 개요

서버의 역할과 영상 경로는 별개다

통신 하는 일 직접 UDP 연결 뒤에도 필요한가?
PC ↔ Ubuntu 관리 API 기기 승인, 호스트 게시, 접속 요청 필요하다
PC ↔ PC 종단 TLS, 서버 WSS를 통해 연결 상대 기기·비밀번호 확인, 후보와 키 재료 준비 연결 준비에 사용하고, 연결 뒤에는 권한 유지 통로로 남는다
PC ↔ STUN 서버 서버가 관찰한 외부 UDP 주소·포트 조회 연결 준비 때 조회한다. 영상은 보내지 않는다
PC ↔ PC 직접 UDP 암호화된 영상·입력, RTT·ACK·재전송 직접 연결에 성공하면 실제 미디어 경로가 된다
PC ↔ Ubuntu WSS ↔ PC 직접 경로 실패 시 암호화된 미디어 전달 접속 준비 때 합의한 fallback에서 사용한다

remote.n3m.kr로 기기를 등록한다고 해서 모든 영상이 그 도메인을 거쳐야 하는 것은 아니다. 반대로 화면에 Direct UDP가 보여도 관리 서버와의 통신이 완전히 사라지는 것은 아니다. 이 구분이 연결 관리와 미디어 전달의 분리다.

5. 실제로 바꾼 연결 절차

① 기존 승인·비밀번호 인증부터 완료한다

관리 서버의 기기 승인과 접속받는 PC의 비밀번호 확인을 유지한다. 기존 WSS 위에서 PC 간 종단 TLS를 만들고 인증한다. 인증에 실패하면 화면 캡처나 직접 UDP 미디어 전송을 시작하지 않는다.

② 내 주소 후보를 찾는다

각 PC가 IPv4 UDP 소켓을 열고 기본 경로의 LAN 주소를 구한다. 같은 소켓에서 stun.cloudflare.com:3478로 조회해 공인 매핑 주소도 얻는다. STUN 탐색 시간은 최대 1초다.

이 Cloudflare STUN 사용은 기존 HTTPS 프록시로 영상을 보내는 것과 다르다. STUN에는 주소 조회를 보내며 영상 프레임을 중계시키지 않는다. 서비스 설명은 Cloudflare STUN/TURN 문서를 참고한다.

③ 인증된 통로로 후보를 교환한다

이미 연결한 종단 TLS를 통해 후보 주소 목록을 교환한다. 허용된 주소 형식과 개수도 검증한다. 후보 주소를 안다고 인증을 생략하지 않는다.

UDP 암호화 재료는 이 TLS 세션의 exporter에서 얻는다. exporter는 이미 성립한 TLS 세션에 묶인 별도 키 재료를 도출하는 기능이다. 방향별 키·카운터로 패킷을 인증하고 암호화하며, 재생 패킷과 다른 방향의 패킷은 거부한다. 현재 외부 데이터그램 형식은 자체 NPB6와 AES-128-GCM이며, 원본 Parsec의 DTLS 레코드는 아니다.

④ 양쪽이 직접 UDP를 확인한다

후보 주소로 인증된 탐색 패킷을 보내고 응답을 확인한다. 클라이언트가 경로를 지정하면 호스트도 해당 출발 주소를 확인한다. 이 탐색은 최대 2초이며, 이후 TLS 통로에서 양쪽 성공 여부를 다시 교환한다.

한쪽만 성공했다고 UDP로 전환하면 서로 다른 통로에서 상대를 기다릴 수 있다. 그래서 양쪽이 성공에 합의한 경우에만 같은 직접 경로를 사용한다.

⑤ 성공하면 직접 전송하고, 실패하면 중계한다

기기·비밀번호 인증
  → LAN / STUN 후보 수집
  → TLS로 후보 교환
  → 인증된 UDP 탐색과 경로 지정
  → 양쪽의 성공 여부 합의
       ├─ 둘 다 성공: Direct UDP
       └─ 한쪽이라도 실패: WSS relay (UDP unavailable)

GPU 소스 초기화와 형식 협상 뒤, 실제 프레임 생산 루프는 이 전송 경로 협상이 끝나야 시작한다. 연결 준비 동안 인코딩한 오래된 프레임을 첫 화면으로 보내지 않도록 한 처리다. 초기화 과정에서 GPU·캡처 자원을 만드는 일까지 전부 뒤로 미뤘다는 뜻은 아니다.

직접 연결 중에도 WSS를 닫지 않는다. 2초 간격의 작은 인증 유지 메시지를 보내며, 관리자 차단·호스팅 해제 등으로 관리 연결이 종료되면 UDP도 종료한다. 영상 전송의 직접 연결과 접속 권한의 지속 확인을 함께 유지하기 위해서다.

전송 도중 UDP가 끊겼을 때 자동으로 WSS로 이어받는 기능은 아직 없다. 이 경우 세션을 종료하고 다시 연결해야 한다.

실패 위치 처리 영상·입력 허용 여부
기기·비밀번호 인증 접속 거절 또는 시도 제한 미디어를 시작하지 않는다
STUN 조회 얻은 LAN 후보가 있으면 그 후보로 탐색 계속 STUN 실패 하나만으로 중계가 확정되는 것은 아니다
UDP 소켓/후보 부족·탐색 시간 초과 양쪽이 결과를 교환하고 WSS 선택 인증을 통과한 세션에서만 fallback 허용
후보 형식·인증 통로 오류 연결 오류 처리 임의 후보로 계속하지 않는다
직접 연결 중 권한 철회·제어 연결 종료 UDP 작업도 종료 직접 경로가 권한 검사를 우회하지 않는다
활성 UDP 경로 장애 현재 세션 종료, 재연결 필요 자동 무중단 WSS 전환은 미구현

6. 영상이 밀려도 네트워크 처리를 계속하는 구조

새 직접 UDP 경로는 데이터그램 수신·ACK·재전송·Probe/Pong을 처리하는 작업과, 재조립한 데이터를 영상 소비자에게 전달하는 작업을 분리한다.

UDP 소켓
  ├─ 인증·재생 검사 → 별도 Probe/Pong → RTT 갱신
  ├─ ACK / 빠진 조각 재전송 / keepalive
  └─ 영상 조각 → 제한된 재조립 창 → 전달 큐 → 디코더

반대 방향: 키보드·마우스 → 별도 송신 진행 → 호스트 입력 적용

전달 큐가 가득 찼다고 UDP 소켓 전체를 기다리게 하지 않는다. 여유가 있을 때만 재조립 결과를 소비자에게 넘기고, 소켓 읽기·ACK·역방향 데이터 처리는 계속한다. 현재 브리지 메시지 상한은 32KiB, 조각 payload 상한은 1193바이트다. 소비 기준 수신 창은 4000개이며 송신 측의 비확인 조각 수에도 약 100개 미만의 제한을 둔다.

다만 모든 영상·제어 메시지가 완전히 독립적인 우선순위 채널로 바뀐 것은 아니다. 같은 방향의 영상 바이트 스트림과 형식 변경 응답은 여전히 순서가 있다. 디코딩이 느리면 영상 표시는 늦어질 수 있다. 이 작업에서 직접 분리한 것은 특히 UDP 수신·ACK·별도 RTT 처리와 역방향 전송의 진행이다.

WSS 대체 경로에서는 영상과 Pong의 스트림 대기가 Network에 계속 포함될 수 있다. 따라서 화면의 경로 표시를 확인한 뒤 수치를 해석해야 한다.

7. Network 측정과 가변 비트레이트는 어떻게 달라졌나

표시 현재 의미
Direct UDP 영상·입력이 PC 사이의 직접 UDP 경로를 사용한다
WSS relay (UDP unavailable) 접속 시 직접 UDP 합의에 실패해 중계를 사용한다
직접 경로의 Network UDP 처리 작업에서 별도 Probe/Pong으로 측정한 RTT
중계 경로의 Network 중계 스트림의 Probe/Pong RTT. 앱 스트림 대기가 섞일 수 있다
Decoder queue 디코더 전달 큐에서 이벤트를 넘기며 기다린 시간. 모든 버퍼의 누적 지연은 아니다
UDP TX retransmissions 이 PC의 송신 조각 재전송 누계. 클라이언트에서는 주로 입력·제어 송신에 해당한다

별도 UDP RTT에도 운영체제 스케줄링, 소켓·회선 큐 대기와 경로 혼잡은 포함된다. 순수 전파 시간이나 화면 전체 반응 시간으로 읽으면 안 된다. 재전송 누계 역시 패킷 손실률이나 상대 호스트 영상 재전송 수와 같지 않다.

가변 비트레이트 제어기는 설정 상한 안에서 RTT와 송신 대기를 관찰해 목표 인코딩 비트레이트를 조절한다. 직접 경로에서는 새 UDP RTT를 사용하므로 디코더 전달 큐의 대기를 회선 혼잡으로 잘못 해석하는 요인을 줄인다. 하지만 원본 BUD의 전체 대역폭 추정·혼잡 제어·pacing을 복원한 것은 아니다. 영상 계측과 가변 비트레이트

비트레이트는 데이터량을 조절한다. 서버까지 돌아가는 기본 지연을 줄이거나 손실된 회선을 정상으로 만드는 기능은 아니다. 네트워크 경로, 큐 진행, GPU 처리 능력을 함께 봐야 한다.

최초 분석에는 중계 정책 불일치도 있었다. 영상 설정은 최대 50Mbps를 허용했지만 당시 서버는 한쪽 연결에서 1초 창의 데이터가 4MiB를 넘으면 종료했다. 단순 환산 약 33.55Mbps여서 TLS·프레이밍과 순간 burst에 따라 종료될 수 있었다. 2026-09-25 후속 교정에서는 이 보호 한도를 32MiB/s로 늘렸다. 최대 여러 화면과 burst를 고려한 연결 보호 한도이며 속도 보장이나 비트레이트 목표가 아니다. 당시 4MiB 제한을 현재 제한으로 안내하지 않는다. 후속 처리와 시험

8. 원본에서 확인한 것과 우리가 새로 구현한 것

보관 코어 SHA-256: 8c8c4299ddf503b2c25c0905b0a0820f3e8238c252e9ace37bf25964ef4a8f6f.

근거 확인·구현한 범위 남은 차이
18003d430 7바이트 조각 헤더, 길이·순번·마지막 조각 처리 일부 가변 MTU 전체 동작 미복원
18003c230, 18003c780, 18003c670 채널·수신 창·개별/누적 ACK와 순서 복구 일부 현재 채널 0/1의 앱 메시지 배정은 원본 일치 미확인
18003c3a0 gap 기반 빠른 재전송과 RTT 기반 재전송 일부 전체 혼잡 제어·pacing·FEC 미구현
18003cc80 주기 처리·keepalive와 채널 처리 근거 모든 타이머·스케줄 정책의 원본 대조 미완료
18003beb0 암호화 데이터그램 경계 분석 원본 DTLS wire/key setup 미복원. 현재 TLS exporter + 자체 AES-GCM envelope

이 함수 주소는 디컴파일된 의사 코드의 분석 식별자다. 원본 개발자의 소스 파일이나 변수명 전체를 복원했다는 뜻이 아니다. 해당 분석을 참고해 Rust로 작성한 코드와 원본 DLL을 실제로 같은 입력으로 실행해 비교한 결과도 구별한다. 현재 상태는 부분 구현 / parity: different다. BUD 분석 근거 사본

코드 위치 책임
crates/session/src/direct/discovery.rs IPv4 후보 수집, STUN 응답 확인, UDP 탐색·경로 지정
crates/session/src/direct/mod.rs 양쪽 경로 합의, 직접/중계 선택, 인증 유지와 종료
crates/session/src/direct/crypto.rs 방향별 암호화·인증·재생 거부
crates/session/src/direct/bud.rs 조각·ACK 형식, 제한된 순서 재조립
crates/session/src/direct/worker.rs 송수신 진행, ACK, 재전송, 별도 RTT
crates/session/src/remote.rs 승인·비밀번호 인증, 영상 협상, 계측과 세션 수명
crates/desktop-ui/src/overlay.rs 실제 경로·Network·재전송 상태 표시

이 표는 저장소에서 찾아갈 코드 위치이며, 공개 문서 서버에 모든 앱 소스가 배포된다는 뜻은 아니다.

9. 무엇을 시험했고, 무엇은 아직 확인하지 않았나

당시 직접 UDP 작업의 검증 기록에는 전체 테스트 73개 통과, Linux·Windows 정적 검사, Windows release 빌드, 배포용 파일 검사 결과가 남아 있다. 이는 해당 시점 소스 스냅샷의 결과다. 현재 진행 중인 다른 기능 변경까지 자동으로 검증한 숫자는 아니다. 당시 검증 기록

시험 실제로 확인한 내용 확인하지 않은 내용
패킷 경계·암호화 시험 잘못된 길이·창 범위, 변조·재생·방향 반사 거부 원본 Parsec DTLS와의 wire 호환
손실·역순 UDP 시험 조각/ACK 손실·중복·재생·변조 조건에서 4MiB를 순서대로 복구 실제 인터넷 손실률별 최대 영상 성능
소비자 정지 시험 영상 전달을 막아도 별도 RTT 두 샘플이 200ms 미만, 역방향 입력이 300ms 이내 200ms/300ms를 정상 제품 목표 지연으로 보장하는 것
연결 합의 시험 잘못된 키 거부, 직접 연결 합의, 한쪽 UDP 불가 시 양쪽 WSS 선택 모든 공유기·회사 방화벽·대칭형 NAT
실제 임시 서버 통합 시험 등록·TLS·비밀번호, 직접 경로, 영상 순서·재설정, 권한 철회·입력 해제 실제 Windows GPU 출력과 두 장소의 PC
공용 STUN 조회 이 Ubuntu 환경에서 거래 ID와 공인 매핑 응답 확인 사용자 PC의 STUN 성공 여부
Windows cross build Windows EXE를 빌드하고 바이너리 형식·의존성 검사 그 자체로 Windows 실행·화면·성능 검증

기존 1.3ms 대 2–4초 시험과 새 UDP의 상한 검증은 조건과 목적이 다르다. 이를 연결해 “실제 사용자 지연이 몇 배 개선됐다”고 계산하지 않는다. 같은 두 PC·회선·화면·해상도·코덱에서 전후 및 원본 Parsec을 대조해야 실제 개선량을 말할 수 있다.

10. ‘sudo 때문에 게시 대기’ 이후의 처리

사용자가 인용한 답변은 작업 당시 상태다. 직접 UDP 빌드를 만들었지만 최초 관리자 설정이 없어 배포하지 못한 시점이 있었다. 이후 root 소유의 고정 배포 도구와 해당 명령만 허용하는 정책을 등록했다.

단계 기록된 상태
분석 시점 게시 빌드 1790270708, WSS 중계 경로 분석
직접 UDP 빌드 준비 1790273965 준비. 최초 관리자 인증이 필요해 게시 시도 중단
UI 복구 통합 게시 1790274520에 시험한 직접 UDP 소스가 포함되어 게시됨
이후 실행·업데이트 교정 AccessKit 초기화와 GUI 실행 관련 후속 빌드 게시
2026-09-24 최초 문서 확인 GPU·TLS 종료 교정 빌드 1790278313 게시 확인
2026-09-24 다중 화면 후속 /7 빌드 1790280801 게시 기록
2026-09-25 네트워크·색상 후속 /8 빌드 1790325968: WSS 양방향 루프·고 RTT 혼잡 대응·fallback 설명 교정
2026-09-26 문서 재검토 시 다운로드 확인 후속 통합 /9 빌드 1790331224, 아래 SHA-256과 게시 파일 일치

2026-09-26 확인한 다운로드 SHA-256: e55e062bdc944c360476690e952223535644103e9f869134cb667318aef1895c. 이는 게시 파일 확인이며 모든 설치 PC가 이 빌드로 업데이트됐다는 뜻은 아니다. 이전 빌드·검증 기록은 근거 목록에 보존한다.

고정 명령은 sudo -n /usr/local/sbin/notparsec-deploy다. 빌드·검증된 앱과 문서 데이터를 정해진 배포 경로로 게시하는 용도이며 임의의 sudo 명령 전체를 허용한 것은 아니다. 따라서 인용문의 게시 대기를 현재 상태로 반복해서 안내하지 않는다. 자동 배포 과정 · GPU·TLS 종료 교정 이력

최초 직접 UDP의 ALPN은 notparsec-remote/6이었다. 이후 앱 메시지가 확장되면서 /7·/8을 거쳐 현재 확인한 게시 파일은 notparsec-remote/9를 사용한다. ALPN은 TLS 연결에서 양쪽 앱이 사용할 프로토콜 버전을 확인하는 이름이다. 접속하는 PC와 접속받는 PC 모두 호환되는 버전이어야 한다. 최신 앱이 /9여도 UDP envelope 내부 식별자 NPB6은 그대로 남아 있다. 서로 다른 계층의 식별자이므로 NPB6 문자열만으로 설치 앱이 /6이라고 판단하지 않는다.

11. 사용자가 확인할 항목과 남은 개발

양쪽 앱을 같은 호환 빌드로 업데이트하고 연결한 뒤, 좌측 상단 오버레이에서 Direct UDP인지 WSS relay인지 확인한다. 관리자 웹의 온라인 표시는 등록·상태 정보이며, 그 자체로 영상의 직접 연결을 증명하지 않는다.

WSS relay가 나오면 먼저 양쪽 Windows 방화벽, 외부 UDP 정책, STUN 조회 가능 여부, VPN·다중 NIC·NAT 환경을 점검한다. UDP에 응답할 경로가 없거나 양쪽 합의가 실패하면 중계를 선택하는 것이 현재 동작이다. 방화벽을 전부 끄거나 모든 UDP 포트를 개방하라는 의미는 아니다.

2026-09-25 이후에는 경로 표시 위에 마우스를 올리면 fallback 사유도 볼 수 있다.

표시 사유 코드가 확인한 사실 단정하면 안 되는 것
Local UDP socket unavailable 로컬 UDP 소켓을 만들지 못했다 상대 공유기가 원인이라는 단정
No local UDP candidates 로컬 후보 목록이 비었다 상대 PC가 꺼졌다는 단정
Peer supplied no UDP candidates 상대가 빈 후보 목록을 보냈다 특정 ISP나 방화벽 제품이 원인이라는 단정
Authenticated UDP hole punch timed out (2s) 제한 시간 안에 인증된 직접 경로를 확인하지 못했다 모든 UDP가 영구 차단됐다는 단정. 후보·NAT·응답 지연도 살펴야 한다
Peer could not confirm the UDP path 로컬은 경로를 찾았지만 상대의 최종 확인은 실패했다 한쪽의 탐색 성공만으로 직접 연결이 완성됐다는 판단

직접 경로에서도 느리다면 같은 장면에서 Network와 Decode·Encode·큐 대기·FPS를 함께 본다. RTT만 낮고 화면이 늦으면 영상 소비나 표시 대기가 남아 있을 수 있다. H.264와 H.265, 해상도·FPS·비트레이트 조건이 다르면 제품별 수치를 단순 비교하지 않는다.

남은 범위는 다음과 같다.

12. 기록을 다시 검토하거나 재현하려면

최초 지연 분석은 분석 원문 사본, 측정 JSON, HTTP 측정 JSON에 보관했다. 사본과 원본 파일의 SHA-256 대응은 이 글의 근거 목록에 있다. 사본의 ‘현재’, 소스 줄 번호와 빌드 번호는 최초 분석 시점을 가리킨다.

직접 UDP 통합 시험은 Rust 환경에서 다음 명령으로 실행할 수 있다. 임시 기기와 서버를 사용하는 시험이며 운영 PC의 원격 화면 성능 측정은 아니다.

cargo test --locked -p notparsec-session --lib --test remote_relay

최초 합성 지연 시험은 당시 시험 소스를 참고한다. 현재 프로토콜과 타입이 바뀌었을 수 있어 파일을 그대로 복사해 실행할 수 있다고 보장하지 않는다. 당시 소스 hash·측정 조건을 먼저 확인하고, 같은 조건을 유지한 별도 시험으로 재현해야 한다.

개발 상태는 구현 현황에서 추적한다. 이 글을 추가했다는 이유로 미검증 네트워크 기능을 완료로 변경하지 않는다.

13. 후속 작업: 중계 경로도 양방향 진행을 분리했다

직접 UDP가 실패하는 네트워크도 있으므로 fallback 품질을 별도로 개선했다. 2026-09-25에는 PC의 WebSocket bridge와 Ubuntu relay에서 송신·수신을 각각 진행하는 future로 분리했다. 영상 수신 쪽이 소비자를 기다리더라도 반대 방향 입력 송신을 계속할 수 있도록 한 변경이다.

초기 중계 루프: 영상 수신 → 로컬 전달 완료 대기 → 입력 송신 처리

후속 중계 루프:
  수신 작업: 영상 수신 → 제한된 큐 → 디코더
  송신 작업: 입력 읽기 → WebSocket 송신
  종료 감시: 권한 철회·오류·시간 초과 → 양쪽 작업 정리

후속 시험은 실제 등록·인증·중계 API를 사용하되 GPU 대신 합성 데이터를 보냈다. 12MiB 영상 송신을 시작하고 수신 앱이 영상을 읽지 않는 상태에서 역방향 입력을 전달했고, 기록값은 약 0.635ms, 재실행은 0.614ms였다. 같은 머신의 통제 시험으로 구현 결함을 확인하는 값이다. 앞의 241ms 시험과 발생률·부하 조건이 동일하지 않으므로 사용자 체감 개선 배율로 계산하지 않는다. 후속 시험 근거

처리 확인된 개선 범위 여전히 남는 문제
UDP 작업과 영상 전달 분리 디코더 큐가 막혀도 UDP ACK·RTT·역방향 진행 영상 자체의 순서 복구·디코딩 대기
WSS 송신·수신 분리 한 방향 쓰기 대기가 반대 방향 루프 전체를 막는 결함 교정 같은 방향의 큰 영상 뒤에 놓인 Pong과 TCP 순서 대기
첫 샘플부터 높은 RTT에 대응 활동 스트림의 RTT가 처음부터 500ms 이상이어도 목표 bitrate 감소 장거리 경로 자체의 기본 지연
종료 순서 교정 마지막 오류 응답과 TLS 종료 알림을 전송한 뒤 연결 종료 네트워크 단절·프로세스 강제 종료까지 정상 종료로 바꾸지는 못함

따라서 현재의 정확한 설명은 **‘직접 UDP 우선이며 중계도 양방향 처리 개선을 적용했다. 직접 연결이 불가능하거나 영상 소비가 늦으면 여전히 지연이 생길 수 있다’**다. 원본 Parsec과 같은 회선·GPU·설정으로 비교한 실제 성능 수치는 아직 없다. 후속 상세 기록