notParsec / 문서전체 문서

설명·설계 문서

F15 영상 오류·키 프레임 복구

design/VIDEO_RECOVERY.ko.md

출처: 현재 작업 폴더 · 원문 다운로드

이 문서의 목차

기준일: 2026-09-24 · 보관한 Windows Parsec 150-104a · 원본 코어 SHA-256 8c8c4299ddf503b2c25c0905b0a0820f3e8238c252e9ace37bf25964ef4a8f6f.

구현 판정: 부분 구현 / 원본 차이 있음. 디코더 오류 뒤 연결을 유지하면서 영상 재개를 시도하는 경로를 연결했다. 실제 Windows GPU·두 PC 실행과 Parsec 동일 조건 비교는 아직 수행하지 않았다. F15의 UDP 손실·burst 합격 기준을 통과했다는 뜻은 아니다.

원본 근거와 독립 구현의 경계

출처는 보관 바이너리의 Ghidra 의사 코드다. 아래 함수명은 분석 도구 식별자이며 원본 C/C++ 소스를 복원한 것이 아니다.

함수 보관본에서 관찰한 처리 이번 구현과 차이
FUN_180049270 대기 메시지를 검사해 키 프레임 metadata와 뒤따르는 frame이 있으면 앞선 메시지를 건너뛴다. 재초기화 플래그를 확인해 FUN_18005fad0을 호출한다. GPU 오류 이후 종속 프레임을 디코더에 넘기지 않고 키 프레임부터 재개한다. 정상 상태의 backlog 탐색·BUD 건너뛰기 규약은 구현하지 않았다.
FUN_18005fb90 stream header 분석, decoder 선택·재초기화, decode 실패 로그가 있다. 반환값 0x3eb일 때 decoder 정리 callback을 호출한다. 자체 GPU decoder를 해제·재생성한다. 원본 오류 코드별 정확한 재시도 정책·callback 의미 전체는 미확인이다.
FUN_180067c70 NVENC 제출·동기 bitstream lock·출력 picture type에 따른 keyframe 표시가 있다. NVENC API 11.0의 FORCEIDR와 OUTPUT_SPSPPS를 제출 프레임에 설정한다. 원본의 피드백 wire·상위 IDR 요청 trigger를 동일하게 복원했다고 주장하지 않는다.

NVIDIA API 근거는 저장소에 고정한 11.0 헤더의 NV_ENC_PIC_FLAG_FORCEIDR, NV_ENC_PIC_FLAG_OUTPUT_SPSPPS다. NVIDIA 공식 가이드도 해당 플래그를 설명하지만 문서 버전은 13.0으로 설치본의 API 11.0과 구분한다.

현재 AMD/Intel 대응은 기존 Media Foundation 하드웨어 MFT다. Microsoft 공식 API 설명에 따라 CODECAPI_AVEncVideoForceKeyFrame에 VT_UI4(1)을 설정해 다음 ProcessInput 프레임의 키 프레임 생성을 요청한다. 직접 AMF/VPL 구현이나 GPU별 실행 확인은 별도 미완료다.

변경 전후

기존: GPU decode 또는 비동기 poll 오류 → worker 종료 → 원격 연결 종료. 첫 프레임과 설정 변경 외에는 뷰어가 키 프레임을 요청할 방법이 없었다.

현재:

  1. 인증된 세션에서 받은 정상 형식 패킷의 GPU 처리 오류를 감지한다.
  2. 기존 디코더 자원을 해제하고 같은 협상 형식으로 디코더를 재생성한다.
  3. 키보드·마우스와 같은 인증된 TLS 제어 경로로 Keyframe을 요청한다.
  4. 호스트는 중복 요청을 합치고 다음 제출 프레임에 키 프레임과 codec header를 요청한다. 정지 화면도 다시 제출한다.
  5. 뷰어는 키 프레임 전까지 종속 프레임을 버린다. 실제 decoded picture를 받아야 복구가 끝난 것으로 판단한다.
  6. 정상 프레임은 기존 화면 표시 경로로 전달한다. 세션·입력 인증과 packet sequence를 새로 시작하지 않는다.

현재 전송은 자체 WSS/TLS 중계다. 길이·sequence·header 위반은 계속 오류로 종료한다. TCP/TLS 중계에서 임의로 손상된 프레임 경계를 추측하거나 UDP 손실 복구를 완료했다고 처리하지 않는다. 이 변경만으로 전송 backlog, GPU→CPU readback, UI texture upload, 네트워크 frame drop 문제가 모두 해결되는 것은 아니다.

제한과 실패 시 동작

위 시간·횟수는 현재 구현의 자원 제한 값이다. Parsec 150-104a의 값을 복원했다는 근거가 없으므로 원본 사양으로 취급하지 않는다.

구현 위치

책임 소스
bounded recovery·키 프레임 대기·실패 예산 video_recovery.rs
GPU 재생성·MFT 강제 키 프레임·정지 화면 재제출 gpu_video.rs
native NVENC IDR·SPS/PPS/VPS 요청 nvenc.rs, C bridge
인증 후 피드백 처리·요청 병합 session remote.rs
실제 통합 앱 decode worker와 feedback queue remote_ui.rs
자체 프로토콜 입력과 버전 remote.rs, video.rs

검증과 남은 작업

남은 필수 확인은 NVIDIA/AMD/Intel 실제 H.264·HEVC frame, 정지 화면에서 복구, decoder/device 오류 주입, 반복 복구 후 자원 수명, 원본 동일 조건 비교다. UDP의 1% 손실·100ms burst와 frame deadline/IDR 피드백 규약은 별도 작업이다.

양쪽 PC는 같은 새 빌드가 필요하다. 새 자체 ALPN은 notparsec-remote/4이며 이전 /3과 연결하지 않는다. 서버는 암호화된 바이트를 중계하므로 이 프로토콜 변경을 위해 서버 DB·기기 승인·키를 초기화하지 않는다.