notParsec / 문서전체 문서

설명·설계 문서

GPU 영상 경로와 통합 앱 자동 업데이트

design/GPU_VIDEO_AND_UPDATES.ko.md

출처: 현재 작업 폴더 · 원문 다운로드

이 문서의 목차

2026-09-24 후속: Encode·RTT·가변 비트레이트·FPS 분석을 추가했습니다. 현재 프로토콜은 /5이며 아래는 초기 구현 기록입니다.

후속 구현: 다중 화면과 가상 디스플레이에서 캡처 출력 선택과 독립 스트림을 추가했습니다. 아래 주 모니터 설명은 초기 GPU 경로의 기록입니다.

2026-09-24 후속: D3D11 직접 표시 변경에서 영상 CPU readback·Glow 재업로드를 제거하고 큐/표시 계측을 추가했습니다. 아래 이전 구현 설명과 수치의 시점을 구별하세요. 실제 Windows GPU·원본 성능 대조는 아직 미검증입니다.

2026-09-24 후속: 플로팅 메뉴와 연결 중 영상 설정을 추가했습니다. 새 프로토콜은 /3, 메뉴 요청 상한은 4K/60fps이며 양쪽 앱 업데이트가 필요합니다. 아래는 초기 GPU 경로 구현 기록입니다.

GPU 영상 경로와 통합 앱 자동 업데이트

2026-09-23 작업 · 사용자의 GPU 자동 감지 / H.264·H.265 / 설치된 앱 업데이트 요청 대응.

구현과 검증 상태

같은 notparsec.exe 안의 원격 화면 경로를 GDI·CPU JPEG에서 DXGI·D3D11·하드웨어 코덱으로 교체했다. Ubuntu 연결 관리 서버는 별도이며 화면 코덱을 실행하지 않는다. 현재 구현은 NVIDIA에서 NVENC API 11을 직접 사용하고 AMD·Intel에서는 Windows Media Foundation 하드웨어 MFT, 디코딩에서는 D3D11/DXVA를 사용한다. H.264·H.265와 NVENC 세부 대조를 함께 확인한다. NVIDIA·AMD·Intel의 모든 GPU/드라이버에서 동작한다는 실기기 검증은 아직 없다. AMD·Intel에서 하드웨어 MFT를 제공하지 않는 드라이버는 인코더를 찾지 못할 수 있다. Parsec의 NVENC/AMF/Intel 전용 구현과 일치했다고 판정하지 않는다.

Linux 시험과 Windows 교차 컴파일은 성공했지만 실제 Windows GPU 영상, 화질·색상, FPS, 실행 중 EXE 교체는 미검증이다. 60fps는 설정 상한이며 측정 결과가 아니다. 관련 기능은 부분 구현·원본 불일치 상태로 기록한다.

원본 근거와 대응

기준은 보관한 Windows Parsec 150-104a, 코어 SHA-256 8c8c4299ddf503b2c25c0905b0a0820f3e8238c252e9ace37bf25964ef4a8f6f다. 자료는 구조 분석, 검토 함수, 로더 디컴파일 의사 코드이며 원본 C/C++ 소스나 그대로 복구한 코드가 아니다. 이번 Rust 구현은 Windows API 문서에 맞춘 독립 재작성이다. 디컴파일의 함수 이름·타입은 분석 산출물이다.

대상 보관한 원본 근거 이번 대응 / 남은 차이
F07 캡처 FUN_1800443a0, FUN_1800442b0: DXGI adapter/output, DuplicateOutput1·DuplicateOutput와 오류 구분 주 모니터 DXGI 캡처, access-lost 재생성. 회전·해상도 변경·보안 데스크톱 전환은 미완성
F08 색 변환 D3D11 texture와 encoder 입력 surface 경계 GPU BGRA→NV12 스케일·BT.709 변환. NVIDIA는 동기 완료 뒤 NV12 surface 하나를 재사용. MFT는 bounded in-flight surface 생성
F09 인코딩 FUN_1800674a0: NVENC session·GPU input·bitstream, FUN_180063100: AMF, FUN_180064e90: Intel MFX NVIDIA NVENC 직접 경로와 관찰된 preset/QP/VBR 설정 반영. AMD·Intel은 hardware MFT로 남아 AMF/MFX 직접 경로와 다름
F12/F13 디코딩·표시 CUVID/NVDEC, MFX, Media Foundation 및 D3D11 경계 GPU decode profile + D3D11 decoder surface 확인. 최종 egui 표시에는 CPU readback·재업로드가 남음
F14/F35 전송·HEVC 원본 코덱·BUD 관련 근거, 전체 wire 규칙은 미복구 H.265 우선/H.264 대체, 자체 WSS/TLS stream v2. 원본 BUD/UDP의 손실·혼잡 제어를 재현한 것이 아님
F30/F61/F70 업데이트 로더의 appdata so_name/hash, FUN_1400067a0의 WinVerifyTrust 호출 자체 HTTPS 기기 인증·SHA-256·교체·시작 확인·복구. 원본 업데이트 서명/배포 프로토콜과 다름. Authenticode 서명은 없음

E01/E02의 기기 인증·자체 서버와 E04의 통합 앱 경계를 유지한다. 원본에서 확인되지 않은 기본값·UI 배치·갱신 주기·wire 필드는 자체 구현 값으로 구분한다. 이번 요청은 GPU 자동 선택과 앱 업데이트를 명시했으며, 이를 다른 원본 기능을 제외하는 근거로 삼지 않는다.

실제 영상 경로

접속받는 Windows PC / 같은 notparsec.exe
  주 모니터 Desktop Duplication → BGRA D3D11 texture
  → GPU 스케일·색 변환 → NV12 → NVIDIA NVENC / 다른 GPU hardware MFT → H.265 또는 H.264
  → Annex B + sequence + 100ns timestamp + keyframe 정보
  → PC 간 TLS → WSS → Ubuntu 바이트 중계 → WSS → PC 간 TLS
접속하는 Windows PC / 같은 notparsec.exe
  압축 프레임 순서 보존 → 전용 worker → D3D11/DXVA decode
  → GPU NV12→BGRA → staging readback → 최신 완성 화면 → egui texture
입력: 반대 방향 JSON → 기존 SendInput / 종료 시 눌린 키 해제
  1. 뷰어가 GPU·디코더 초기화를 시도하여 지원 코덱을 보낸다. Client의 H.265 설정(기본 켜짐)을 끄면 H.264만 요청한다. HEVC가 양쪽에서 초기화되면 사용하고, 그렇지 않으면 H.264를 시도한다. 모델명 수동 입력은 필요 없다. 장치 승인·비밀번호 인증 전에 호스트 화면을 캡처하지 않는다.
  2. 호스트는 캡처 adapter LUID로 hardware encoder를 선택한다. 소프트웨어 encoder로 대체하지 않는다. 디코더는 D3D11 GPU output을 요구하고 CPU 메모리가 반환되면 실패를 표시한다.
  3. 앱 요청값은 최대 1920×1080, 60fps, 10Mbps, SDR 8-bit NV12 4:2:0이다. 원본 종횡비를 유지하고 짝수 크기로 축소한다. 정지 화면도 연결 유지용으로 약 1초마다 보낸다. 비트레이트 10Mbps는 원본 정적 기본값과 대조했다. 해상도/FPS 상한·keepalive 주기를 원본의 복구된 기본값으로 판정하지 않는다.
  4. 송신·수신 압축 큐는 각각 2프레임, MFT 인코더 입력 대기는 최대 4프레임이고 NVIDIA는 한 프레임씩 동기 처리한다. 압축 프레임을 중간에 버리지 않으며 번호가 건너뛰면 연결을 종료한다. 디코딩 후 표시할 완성 화면만 최신 것으로 바꾼다. 프레임당 payload 상한은 4MiB다.
  5. 비동기 MFT의 NeedInput/HaveOutput 이벤트, output type 변경, NV12 row pitch, 코드 헤더(SPS/PPS 및 VPS)를 처리한다. 저지연·B-frame 0 설정을 요청하되 실제 적용 여부는 드라이버 실측 대상이다.

여전히 남은 병목·차이

자동 업데이트

서버 관리자가 설치한 통합 EXE에서 빌드 식별자를 읽어 update.json을 생성한다. 앱은 등록된 서버 origin의 /v1/updates/desktop을 기기 키로 인증해 확인한다. /v1/updates/desktop/{sha256}에서 내려받으며 다른 URL이나 리다이렉트를 따르지 않는다. 관리자 웹 다운로드도 같은 EXE를 사용한다.

기존 앱에는 업데이트 검사 코드가 없으므로 이 버전은 한 번 수동 설치해야 한다. 이후 서버가 더 큰 빌드 번호의 EXE를 배포하면 위 흐름으로 감지·업데이트한다. 관리자 웹에 release 파일만 올리는 것과 업데이트 API를 지원하는 서버 바이너리 배포는 별도 작업이다.

시험과 Windows 확인 방법

자동 검증: Rust 47개(승인·철회된 기기 업데이트, 실제 HTTP 다운로드, hash/size 오류, downgrade/replay 거부, 취소 파일 정리, helper 경로 제한, crash/timeout/잘못된 시작 확인 rollback, 정상 시작, relay 순서 보존 포함), Linux/Windows workspace clippy, 릴리스 도구와 다운로드 설치 시험. rollback 실행은 Linux 테스트 프로세스로 시험했으며 Windows EXE 파일 잠금은 아직 실측하지 않았다. relay 영상 fixture는 실제 디코딩 가능한 성능 샘플이 아닌 transport 시험용 바이트다.

같은 새 EXE로 각 Windows PC에서 진단 → GPU 영상 경로 검사 · 5초를 실행한다. 현재 화면을 메모리 안에서 캡처·인코딩·디코딩하되 저장·전송하지 않으며 GPU 이름·실제 인코더/preset·선택 코덱·프레임 수·첫 출력 시간만 JSON으로 보여준다. 한 PC의 로컬 왕복 성공도 두 PC 연결이나 원본 화질 일치를 증명하지 않는다. 움직이는 창/영상과 정지 화면을 각각 검사한다.

.\notparsec.exe video-probe --seconds 5
.\notparsec.exe video-probe --codec h264 --seconds 10
.\notparsec.exe video-probe --codec h265 --seconds 10

그 뒤 두 PC에서 A→B/B→A, 같은 화면의 SDR 색상·작은 글씨, DPI 100/150/200%, 잠금·해상도 변경, 느린 회선, 호스팅 중 업데이트 보류, 정상 교체·시작 실패 복구를 검사한다. 원본 150-104a도 같은 GPU·화면·네트워크로 비교하고 FPS/지연/차이를 기록해야 parity를 올릴 수 있다.

Windows API 근거: 하드웨어 MFT, 비동기 MFT, D3D11 디코딩, H.264 인코더, H.264 디코더, HEVC 인코더, Annex B sequence header. 이 문서들은 Windows API 사용 근거이며 Parsec 150-104a 동작의 대체 근거가 아니다.