2026-09-26 UTC · progress-28 · F09 / F12 / F82 · E05
사용자는 Mac 권한 승인 후 원격 연결 성공을 확인했지만 Decode가 높다고 보고했다. 화면에 나타난 값은 Decode 40.63ms, Network 2.82ms, Direct UDP, H.264 1710×1106 4:2:0 8-bit, 117.9FPS다. 수정 빌드는 1790445294다. 이 글의 변경 전후 영상 검사는 합성 영상이며, 수정 후 실제 Windows Decode 수치와 Parsec 성능 일치는 아직 확인하지 않았다.
어느 PC에서 발생한 지연인가
Mac: AVFoundation 캡처 → FFmpeg / VideoToolbox H.264 인코딩
→ Annex B 프레임 구분 → Direct UDP
Windows: 압축 프레임 수신 → Media Foundation / D3D11 디코딩
→ GPU 색 변환 → 화면 표시
첨부 화면의 창은 Windows 앱이고 그 안에 Mac 바탕화면이 보인다. 따라서 이번 Decode 값은 Windows 수신 디코더의 측정이다. Mac이 다른 PC의 화면을 받을 때 사용하는 CPU FFmpeg 디코더와 혼동하면 안 된다.
crates/platform-win/src/gpu_video.rs의 타이머는 압축 패킷 처리 시작부터 대응하는 MFT 출력 surface를 얻을 때까지다. 디코더 입력 수락 대기·내부 출력 대기·폴링 간격이 포함되며 GPU 하드웨어 timestamp 측정은 아니다. 수신 task의 별도 Decoder queue, 네트워크 왕복, Mac 캡처·인코딩 시간과 구별한다. 117.9FPS는 출력 개수/초이고 40ms는 각 프레임의 체류 시간이므로 파이프라인에서는 동시에 나타날 수 있다.
이 순간 Network 2.82ms이며 Direct UDP다. 과거 WSS 서버 중계 지연을 이 사례의 원인으로 단정할 근거는 없다. Encode —는 Mac 패킷에 timing: None을 넣기 때문이다. 0ms라는 뜻이 아니며 이번 수정으로 정확한 Mac 인코더 계측을 구현했다고 주장하지 않는다.
확인한 설정 누락과 변경
실행 중 Mac 인코더 명령에는 -framerate 60, h264_videotoolbox, -realtime 1, -allow_sw 0, -bf 0이 있었다. 하드웨어 인코딩과 B-frame 비활성화는 적용돼 있었지만 VideoToolbox의 별도 저지연 rate control을 켜는 -flags +low_delay는 빠져 있었다.
앱에 포함한 정확한 FFmpeg 6.1.6 소스 libavcodec/videotoolboxenc.c의 vtenc_create_encoder, 1665행 조건은 H.264의 AV_CODEC_FLAG_LOW_DELAY가 있을 때 EnableLowLatencyRateControl을 설정한다. RealTime 설정만으로 같은 경로가 활성화되지는 않는다. 소스 아카이브 SHA-256은 d4fcb164028dd3beee5d92c0ac72e46aac6973c75ea12dc14de07bf8f407370a다. FFmpeg 6.1 계열 공개 소스, Apple 저지연 속성.
crates/platform/src/unix/video.rs에 공통 live_output 설정을 두어 다음을 적용했다.
- VideoToolbox H.264에
-flags +low_delay. H.265에서 같은 FFmpeg 기능이 지원된다고 표시하지 않는다. - FFmpeg 출력에
-fps_mode passthrough. 캡처 타임스탬프에 따라 프레임을 내보내고 기본 CFR 변환이 프레임을 복제하지 않게 한다. - 기존 하드웨어 강제, realtime, B-frame 0과 인증·프로토콜·Windows 디코더는 유지한다.
실제 캡처 요청 60FPS와 사용자 화면의 약 118FPS가 불일치한다. FFmpeg의 기본 출력 동기화는 추정 프레임률에 맞춰 복제할 수 있으므로 이를 방지했다. 다만 실행 중 스트림의 입력/출력 PTS를 수집하지 못했으므로 117.9FPS의 원인이 복제였다고 확정하지 않는다. SSH로 별도 캡처 프로세스를 실행한 시험은 첫 프레임을 얻지 못하고 12초 제한으로 종료됐다. GUI 앱의 화면 권한을 SSH 프로세스의 권한으로 간주하지 않으며 TCC를 변경하거나 우회하지 않았다. FFmpeg fps_mode 설명.
같은 Mac에서 확인한 영상 헤더 변화
사용자 화면 대신 testsrc2 1710×1106, 60FPS, 120프레임을 동일한 Apple Silicon 인코더로 만들었다. 변경 후 옵션으로 만든 합성 H.264는 다음과 같았다.
| 항목 | 변경 전 | 변경 후 |
|---|---|---|
| 실제 디코드 가능한 프레임 | 120 | 120 |
| B-frame | 0 | 0 |
| SPS의 VUI | 없음 | 있음 |
max_num_reorder_frames |
명시되지 않음 | 0 |
| 참조 프레임 수 | 1 | 4 |
참조 프레임 보관과 표시 순서 재정렬은 다르다. 변경 후 참조가 4개라고 해서 반드시 4프레임을 기다려 표시한다는 뜻은 아니다. 헤더를 임의로 고친 것이 아니라 VideoToolbox가 해당 모드에서 생성한 결과를 검사했다. Windows 드라이버가 변경 전 헤더를 어떻게 처리했는지는 별도 실측이 필요하다. 이 결과만으로 40.63ms의 전부가 헤더 때문이라고 결론내리지 않는다.
검사한 SPS와 합성 영상 해시. 네이티브 플랫폼 시험은 실제 제품의 live_output 설정을 사용해 H.264/H.265 하드웨어 인코딩 → CPU FFmpeg 디코딩을 확인했다. 이는 Windows GPU 지연 시험과 별개다.
남은 작업과 원본 대조
수정 Mac 앱으로 다시 접속하여 같은 해상도·움직이는 장면에서 Decode, Decoder queue, 수신/디코드/표시 FPS를 함께 비교한다. 여전히 지연이 크면 실제 Windows GPU 모델·선택된 MFT·대기 중인 프레임 수와 출력 타이밍을 수집한다. 기존 Windows 코드는 MF_LOW_LATENCY와 CODECAPI_AVLowLatencyMode를 요청하지만 모든 드라이버에서의 효과는 미검증이다. Microsoft 속성 정의.
Mac 캡처→CPU 색 변환→외부 FFmpeg 파이프, Annex B의 다음 AUD까지 한 프레임 경계 대기, 정확한 Mac 캡처/인코딩 계측과 Mac 수신 GPU 디코드/Metal 표시는 후속이다. 앞의 송신 대기들은 전체 체감 지연에 기여할 수 있지만 Windows Decode 타이머에 직접 포함되는 것으로 설명하지 않는다.
기준은 보관한 Windows Parsec 150-104a와 코어 SHA-256 8c8c4299ddf503b2c25c0905b0a0820f3e8238c252e9ace37bf25964ef4a8f6f다. 기존 GPU 표시·측정 대조, 원본 코덱 근거를 연결한다. 이번 코드는 E05의 Mac 확장에 대한 독립 Rust 수정이며 Parsec의 원본 소스나 복구 코드가 아니다. Mac Parsec의 동일 조건 시험과 Windows 클라이언트 개선 폭은 미확인이므로 parity는 different다.