notParsec / 문서전체 문서

설명·설계 문서

Encode·Network 계측, 가변 비트레이트와 낮은 FPS 분석

design/VIDEO_PERFORMANCE.ko.md

출처: 현재 작업 폴더 · 원문 다운로드

이 문서의 목차

2026-09-24 후속: D3D11 직접 표시 변경에서 영상 CPU readback·Glow 재업로드를 제거하고 큐/표시 계측을 추가했습니다. 아래 이전 구현 설명과 수치의 시점을 구별하세요. 실제 Windows GPU·원본 성능 대조는 아직 미검증입니다.

2026-09-24 · F05/F09/F12/F13/F14/F26/F35/F68 · 소스 구현 및 자동 시험, Windows 실측 전.

스크린샷으로 확인된 것과 아직 모르는 것

표시 notParsec Parsec
Decode 12.90ms 3.72ms
Encode / Network — / — 3.25ms / 3.32ms
코덱·해상도 Hardware H.264, 2560×1440 NVIDIA H.265, 2560×1440
전송률 0.06Mbps 0.85Mbps
표시된 FPS 13.9 스크린샷에 없음

표시 Decode는 약 3.5배지만 코덱, 화면 내용, 측정 경계가 다르다. 이 사진만으로 디코더 자체가 3.5배 느리다거나, 13.9FPS의 단일 원인을 확정할 수 없다. 실행 중 EXE의 hash도 사진에서 확인되지 않는다. 아래 분석은 현재 작업 트리 기준이다.

Encode·Network가 비어 있던 이유

기존 overlay.rs 문자열은 Encode — Network —로 고정돼 있었다. GPU 인코더의 처리 시간은 원격 클라이언트로 보내지 않았고, 기존 Input::Ping은 생존 확인용으로 호스트가 버렸으며 응답·왕복 시간 측정이 없었다. GPU 미지원이나 서버 장애를 뜻하는 표시가 아니었다.

새 구현은 인증된 PC 간 스트림에서 호스트 통계를 보내고, 번호를 붙인 Probe/Pong으로 왕복 시간을 측정한다. 호스트는 GPU worker를 거치지 않고 Pong을 반환한다. 시계는 각각 Instant를 사용하며 서로 다른 PC의 시각을 빼지 않는다. 서버는 기존처럼 암호화된 바이트만 중계한다.

새 항목 실제 측정 경계 해석상의 제한
Encode 호스트 GPU 입력 준비·색 변환 시작부터 같은 timestamp의 압축 출력 획득까지 GPU 장치만의 시간이 아니라 변환·API·비동기 출력 확인 대기도 포함
Capture 새 캡처를 획득한 Capture::update 호출의 CPU 경과 시간 GPU 복사 완료 시각은 아님. 이전 화면을 반복 전송하면 0으로 집계
Network 뷰어 Probe 송신 시점부터 같은 번호의 Pong 수신까지 현재 WSS/TLS 서버 중계의 RTT. TCP/앱 큐·느린 수신의 역압력도 포함. 직접 P2P/단방향 지연이 아님
Decode 해당 압축 프레임 처리 시작부터 CPU에서 사용할 완성 화면을 얻을 때까지 입력 대기·색 변환·GPU 동기화·readback 포함. 빈 출력 확인 호출을 별도 프레임 시간으로 합산하지 않음
Readback 출력 GPU surface 획득·색 변환·Map 대기·CPU 복사 Decode의 부분 구간이므로 두 값을 더하면 중복
UI prepare CPU 픽셀 구성부터 egui 텍스처 갱신 요청까지 GPU 업로드 완료·Present 완료·모니터 표시 시각은 아님
Bitrate 뷰어가 수신한 압축 영상 payload의 초당 bit TLS/WSS/IP 헤더, 입력·통계 트래픽 제외. 설정 목표값과 구분
FPS 호스트 인코딩 완료 → 송신 완료 → 클라이언트 수신 → 디코딩 완료 → UI 제출 수 각 단계의 약 1초 창이 달라 순간적으로 역전할 수 있음. UI 제출은 물리 모니터 FPS가 아님

미수집 값은 —, 3초 이상 갱신되지 않은 원격 값도 —로 표시한다. 정지 화면에서도 생존 Probe는 계속 보낸다. GPU/네트워크가 멈추면 마지막 수치가 새 측정값처럼 남지 않는다. 상세값은 기존 플로팅 메뉴의 Metrics Graphs → Basic Performance에서 확인한다.

가변 비트레이트

기존 NVIDIA 설정은 이미 VBR이었다. 화면 내용에 따라 실제 압축 크기는 바뀌지만 설정한 평균 목표 자체는 고정돼 있었다. 새 구현은 메뉴의 Bandwidth Limit을 목표 비트레이트의 상한으로 유지하면서, 연결 중 목표를 조절한다.

  1. 실제 트래픽이 있는 동안 RTT 증가와 송신 대기를 약 1초마다 관찰한다. 현재 자체 정책은 기준 RTT보다 max(30ms, 기준의 50%) 이상 증가하거나 샘플 구간의 송신 대기가 25% 이상이면 목표를 20% 낮춘다.
  2. 하한은 1Mbps다. 상태가 양호한 3개 관찰 구간이 이어지면 max(250kbps, 현재 목표의 5%)씩 올리되 사용자 설정을 넘지 않는다. RTT가 없으면 회복 증속을 판단하지 않는다.
  3. 압축 영상 트래픽이 100kbps 미만이면 혼잡/회복 판정에 사용하지 않는다. 낮은 FPS나 정지 화면의 낮은 전송량만으로 회선 용량을 추정하지 않는다.
  4. NVIDIA는 nvEncReconfigureEncoder로 평균/최대 비트레이트만 갱신한다. 인코더 세션·참조 프레임·영상 sequence를 유지하며 매번 재연결하거나 IDR을 만들지 않는다. VBR 최대값은 관찰된 원본처럼 평균 목표의 1.2배이므로 순간 패킷량의 엄격한 상한은 아니다.
  5. 다른 GPU의 MFT는 저지연 VBR을 요청하고, 미지원이면 일반 VBR을 시도한다. 실행 중 MeanBitRate 변경을 거부하면 자동 조절 실패를 표시하고 재시도를 중단한다. 성공한 것처럼 목표값만 바꾸지 않는다. 사용자가 영상 설정을 다시 적용하면 새 인코더에서 다시 시도한다.

이 수식·임계값은 현재 자체 중계 경로의 독립 구현 값이다. Parsec BUD 혼잡 제어의 복구된 수식이 아니다. 긴 TCP 큐나 느린 디코더도 RTT를 높일 수 있으며 비트레이트 조절만으로 모든 프레임 지연을 해결하지 못한다. 해상도·FPS의 자동 변경은 이번 범위에 포함하지 않았다.

낮은 FPS의 원인과 이번 교정

항목 코드에서 확인한 사실 이번 대응 / 남은 일
완성된 NVIDIA 프레임의 송신 지연 동기 인코딩 직후에도 None을 반환하고 다음 worker 반복에서 패킷을 꺼냈음 같은 호출에서 완성 출력을 반환. 송신·디코드 출력 직후 불필요한 1ms sleep 제거
Windows polling 대기 sleep(1ms)가 항상 1ms에 깨는 것은 아님 GPU 런타임 수명 동안 1ms 타이머 해상도 요청 후 종료 시 반환. Windows 11의 최소화·가림 상태 보장은 별도이며 실제 개선량 미측정
작은 TLS 쓰기 영상 header 필드를 별도 쓰기로 전달 호스트의 32KiB BufWriter로 합치고 프레임/제어 메시지 경계에서 flush
Decode 지표 왜곡 빈 poll의 시간을 누적해 출력 프레임 수로 나눴음 입력과 출력 timestamp를 대응시켜 프레임별 시간을 측정. 출력이 없는 구간의 임의 0ms 표시 제거
정지 화면 Constant FPS가 꺼져 있으면 변화 없는 화면은 대체로 생략, 약 1초 간격 유지 프레임 정상적인 저전송 동작으로 보존. 동일 움직이는 장면 또는 Constant FPS를 켠 별도 시험으로 비교
GPU→CPU→GPU 왕복 1440p BGRA는 프레임당 약 14.75MB. Map 동기화·CPU 복사·픽셀 변환·egui 업로드가 남음 이번에 제거하지 않음. Readback과 UI prepare 측정으로 비용 분리. F12/F13 직접 GPU 표시가 후속 과제
WSS/TCP 큐 서버 중계와 순서 보존 때문에 손실/느린 수신에서 뒤 프레임도 대기 목표 비트레이트 조절·송신 대기 계측 추가. UDP/BUD 대체 구현 완료가 아님

13.9FPS는 약 72ms마다 한 프레임이다. 표시 Decode 12.9ms 하나만으로 그 간격을 설명할 수 없다. 캡처되는 화면 변화량, 호스트 인코딩 완료 수, 실제 수신 수, UI 제출 수를 함께 봐야 한다. 수정 후 FPS가 몇 배 향상됐다는 실측 결과는 아직 없다.

실제 두 PC에서 구분하는 방법

  1. 양쪽을 같은 새 EXE로 갱신한다. /5 프로토콜이므로 이전 /4와 연결되지 않는다. 버전/hash, GPU·드라이버, 모니터 해상도/주사율을 기록한다.
  2. Parsec과 notParsec을 차례로 실행하고 동일한 60fps 움직이는 영상, 동일 1440p, 같은 코덱·대역폭 설정으로 비교한다. 두 스트림 동시 실행은 GPU 경합을 만들 수 있다.
  3. Basic Performance에서 30초 이상 관찰한다. Host FPS부터 낮으면 화면 변화/캡처/인코딩/worker 대기를, 수신 이후만 낮으면 디코드/readback/UI를 조사한다. 송신·수신 간 차이와 RTT·Send wait가 함께 커지면 전송 지연을 조사한다.
  4. 설정의 목표와 실제 Bitrate를 구분한다. 전송 제약을 걸었다 풀었을 때 목표가 내려갔다 회복되는지 확인하고, 정지 화면에서는 불필요한 하향이 없는지 확인한다.
  5. 네트워크를 제외한 로컬 GPU 경로는 notparsec.exe video-probe --codec h264 --seconds 10 및 --codec h265로 측정한다. 보고서의 capture/encode/decode/readback 평균은 위 경계와 같다. 진단 기본 해상도 상한은 1080p이므로 1440p 세션과 절대값을 직접 비교하지 않는다. 영상 파일/화면 내용은 저장하지 않는다.

Parsec 원본 대응과 출처

기준은 보관한 Windows Parsec 150-104a, 코어 SHA-256 8c8c4299ddf503b2c25c0905b0a0820f3e8238c252e9ace37bf25964ef4a8f6f다. 현재 DLL은 LFS 포인터이며 이번 작업은 보관한 분석 산출물 대조다. 사용자 스크린샷의 Parsec 실행 버전은 미확인이다.

검증 상태

인증된 실제 loopback 릴레이에서 호스트 Encode 통계·Probe/Pong·영상 순서·설정 변경·기기 철회 시 입력 해제를 검사한다. controller 시험은 혼잡 하향, 점진 회복, 상·하한, 정지 화면/누락 RTT를 검사한다. 실제 C NVENC 브리지는 가짜 드라이버로 변경 성공·실패 시 로컬 상태 보존·참조 유지·헤더/자원 정리를 ASan/UBSan에서 검사한다. Windows 교차 컴파일·빌드와 실제 GPU 실행은 구분한다.

구체적인 빌드/hash와 통과 항목은 검증 기록, 상태는 통합 개발 계획에 연결한다. 기능은 부분 구현·원본 차이 있음으로 유지한다. 실제 Windows GPU, 다른 네트워크, 원본 동일 조건 성능·화질 비교는 미검증이다.