> 2026-09-24 후속: [Encode·RTT·가변 비트레이트·FPS 분석](VIDEO_PERFORMANCE.ko.md)을 추가했습니다. 현재 프로토콜은 `/5`이며 아래는 초기 구현 기록입니다. 후속 구현: [다중 화면과 가상 디스플레이](VIRTUAL_DISPLAY_JOURNEY.ko.md)에서 캡처 출력 선택과 독립 스트림을 추가했습니다. 아래 주 모니터 설명은 초기 GPU 경로의 기록입니다. > 2026-09-24 후속: [D3D11 직접 표시 변경](GPU_PRESENTATION.ko.md)에서 영상 CPU readback·Glow 재업로드를 제거하고 큐/표시 계측을 추가했습니다. 아래 이전 구현 설명과 수치의 시점을 구별하세요. 실제 Windows GPU·원본 성능 대조는 아직 미검증입니다. > 2026-09-24 후속: [플로팅 메뉴와 연결 중 영상 설정](PARSEC_OVERLAY_COMPARISON.ko.md)을 추가했습니다. 새 프로토콜은 `/3`, 메뉴 요청 상한은 4K/60fps이며 양쪽 앱 업데이트가 필요합니다. 아래는 초기 GPU 경로 구현 기록입니다. # GPU 영상 경로와 통합 앱 자동 업데이트 2026-09-23 작업 · 사용자의 GPU 자동 감지 / H.264·H.265 / 설치된 앱 업데이트 요청 대응. ## 구현과 검증 상태 같은 `notparsec.exe` 안의 원격 화면 경로를 GDI·CPU JPEG에서 DXGI·D3D11·하드웨어 코덱으로 교체했다. Ubuntu 연결 관리 서버는 별도이며 화면 코덱을 실행하지 않는다. 현재 구현은 NVIDIA에서 NVENC API 11을 직접 사용하고 AMD·Intel에서는 Windows Media Foundation 하드웨어 MFT, 디코딩에서는 D3D11/DXVA를 사용한다. [H.264·H.265와 NVENC 세부 대조](PARSEC_CODEC_COMPARISON.ko.md)를 함께 확인한다. NVIDIA·AMD·Intel의 모든 GPU/드라이버에서 동작한다는 실기기 검증은 아직 없다. AMD·Intel에서 하드웨어 MFT를 제공하지 않는 드라이버는 인코더를 찾지 못할 수 있다. Parsec의 NVENC/AMF/Intel 전용 구현과 일치했다고 판정하지 않는다. Linux 시험과 Windows 교차 컴파일은 성공했지만 **실제 Windows GPU 영상, 화질·색상, FPS, 실행 중 EXE 교체는 미검증**이다. 60fps는 설정 상한이며 측정 결과가 아니다. 관련 기능은 부분 구현·원본 불일치 상태로 기록한다. ## 원본 근거와 대응 기준은 보관한 Windows Parsec **150-104a**, 코어 SHA-256 `8c8c4299ddf503b2c25c0905b0a0820f3e8238c252e9ace37bf25964ef4a8f6f`다. 자료는 [구조 분석](../analysis/parsec/STRUCTURE_ANALYSIS.ko.md), [검토 함수](../analysis/parsec/research/REVIEWED_FUNCTIONS.md), [로더 디컴파일 의사 코드](../analysis/parsec/decompiled/parsecd.exe/decompiled.c)이며 원본 C/C++ 소스나 그대로 복구한 코드가 아니다. 이번 Rust 구현은 Windows API 문서에 맞춘 독립 재작성이다. 디컴파일의 함수 이름·타입은 분석 산출물이다. | 대상 | 보관한 원본 근거 | 이번 대응 / 남은 차이 | |---|---|---| | F07 캡처 | `FUN_1800443a0`, `FUN_1800442b0`: DXGI adapter/output, DuplicateOutput1·DuplicateOutput와 오류 구분 | 주 모니터 DXGI 캡처, access-lost 재생성. 회전·해상도 변경·보안 데스크톱 전환은 미완성 | | F08 색 변환 | D3D11 texture와 encoder 입력 surface 경계 | GPU BGRA→NV12 스케일·BT.709 변환. NVIDIA는 동기 완료 뒤 NV12 surface 하나를 재사용. MFT는 bounded in-flight surface 생성 | | F09 인코딩 | `FUN_1800674a0`: NVENC session·GPU input·bitstream, `FUN_180063100`: AMF, `FUN_180064e90`: Intel MFX | NVIDIA NVENC 직접 경로와 관찰된 preset/QP/VBR 설정 반영. AMD·Intel은 hardware MFT로 남아 AMF/MFX 직접 경로와 다름 | | F12/F13 디코딩·표시 | CUVID/NVDEC, MFX, Media Foundation 및 D3D11 경계 | GPU decode profile + D3D11 decoder surface 확인. 최종 egui 표시에는 CPU readback·재업로드가 남음 | | F14/F35 전송·HEVC | 원본 코덱·BUD 관련 근거, 전체 wire 규칙은 미복구 | H.265 우선/H.264 대체, 자체 WSS/TLS stream v2. 원본 BUD/UDP의 손실·혼잡 제어를 재현한 것이 아님 | | F30/F61/F70 업데이트 | 로더의 appdata `so_name`/`hash`, `FUN_1400067a0`의 WinVerifyTrust 호출 | 자체 HTTPS 기기 인증·SHA-256·교체·시작 확인·복구. 원본 업데이트 서명/배포 프로토콜과 다름. Authenticode 서명은 없음 | E01/E02의 기기 인증·자체 서버와 E04의 통합 앱 경계를 유지한다. 원본에서 확인되지 않은 기본값·UI 배치·갱신 주기·wire 필드는 자체 구현 값으로 구분한다. 이번 요청은 GPU 자동 선택과 앱 업데이트를 명시했으며, 이를 다른 원본 기능을 제외하는 근거로 삼지 않는다. ## 실제 영상 경로 ```text 접속받는 Windows PC / 같은 notparsec.exe 주 모니터 Desktop Duplication → BGRA D3D11 texture → GPU 스케일·색 변환 → NV12 → NVIDIA NVENC / 다른 GPU hardware MFT → H.265 또는 H.264 → Annex B + sequence + 100ns timestamp + keyframe 정보 → PC 간 TLS → WSS → Ubuntu 바이트 중계 → WSS → PC 간 TLS 접속하는 Windows PC / 같은 notparsec.exe 압축 프레임 순서 보존 → 전용 worker → D3D11/DXVA decode → GPU NV12→BGRA → staging readback → 최신 완성 화면 → egui texture 입력: 반대 방향 JSON → 기존 SendInput / 종료 시 눌린 키 해제 ``` 1. 뷰어가 GPU·디코더 초기화를 시도하여 지원 코덱을 보낸다. Client의 H.265 설정(기본 켜짐)을 끄면 H.264만 요청한다. HEVC가 양쪽에서 초기화되면 사용하고, 그렇지 않으면 H.264를 시도한다. 모델명 수동 입력은 필요 없다. 장치 승인·비밀번호 인증 전에 호스트 화면을 캡처하지 않는다. 2. 호스트는 캡처 adapter LUID로 hardware encoder를 선택한다. 소프트웨어 encoder로 대체하지 않는다. 디코더는 D3D11 GPU output을 요구하고 CPU 메모리가 반환되면 실패를 표시한다. 3. 앱 요청값은 최대 1920×1080, 60fps, 10Mbps, SDR 8-bit NV12 4:2:0이다. 원본 종횡비를 유지하고 짝수 크기로 축소한다. 정지 화면도 연결 유지용으로 약 1초마다 보낸다. 비트레이트 10Mbps는 원본 정적 기본값과 대조했다. 해상도/FPS 상한·keepalive 주기를 원본의 복구된 기본값으로 판정하지 않는다. 4. 송신·수신 압축 큐는 각각 2프레임, MFT 인코더 입력 대기는 최대 4프레임이고 NVIDIA는 한 프레임씩 동기 처리한다. 압축 프레임을 중간에 버리지 않으며 번호가 건너뛰면 연결을 종료한다. 디코딩 후 표시할 완성 화면만 최신 것으로 바꾼다. 프레임당 payload 상한은 4MiB다. 5. 비동기 MFT의 NeedInput/HaveOutput 이벤트, output type 변경, NV12 row pitch, 코드 헤더(SPS/PPS 및 VPS)를 처리한다. 저지연·B-frame 0 설정을 요청하되 실제 적용 여부는 드라이버 실측 대상이다. ### 여전히 남은 병목·차이 - GPU 디코딩 후 egui/Glow로 전달하는 readback·RGB 구성·texture upload 비용이 남아 있다. 전체 zero-copy D3D11 presenter가 아니다. - WSS/TCP 서버 중계와 재전송 대기는 그대로다. GPU 코덱만으로 다른 네트워크의 지연·프레임 드랍이 해결됐다고 할 수 없다. 자체 적응형 bitrate는 후속 구현했으나 원본 BUD 경로와 직접 GPU 표시는 미구현이다. - AMD AMF·Intel 직접 backend, MFT surface 재사용 pool, 4:4:4·HDR·4K/고주사율 UI, 멀티모니터·회전, 커서 shape/position 별도 합성, 오디오·서비스/UAC 화면은 남은 작업이다. 하드웨어 커서가 화면 texture에 포함되지 않는 경우 원격 커서 모양은 전달되지 않는다. - capture/encode worker가 SendInput도 처리한다. GPU/드라이버 호출이 멈출 때의 입력 지연·정리 시간은 실기기에서 검사해야 한다. - 구 JPEG 앱과 새 앱은 미디어 ALPN이 다르다. **양쪽 PC를 같은 새 앱으로 교체해야 한다.** ## 자동 업데이트 서버 관리자가 설치한 통합 EXE에서 빌드 식별자를 읽어 `update.json`을 생성한다. 앱은 등록된 서버 origin의 `/v1/updates/desktop`을 기기 키로 인증해 확인한다. `/v1/updates/desktop/{sha256}`에서 내려받으며 다른 URL이나 리다이렉트를 따르지 않는다. 관리자 웹 다운로드도 같은 EXE를 사용한다. - 시작 약 5초 뒤, 이후 15분마다 확인한다. 설정에서 수동 확인도 가능하다. 빌드 번호가 더 큰 버전만 허용한다. CI의 `SOURCE_DATE_EPOCH` 또는 commit timestamp를 사용하고 로컬 변경 빌드는 빌드 시각을 사용한다. - 파일 길이·MZ·SHA-256을 확인하고 현재 EXE 옆에 임시 저장한다. 취소·실패한 부분 파일은 지운다. 서버가 새 버전으로 바뀌어 hash가 달라지면 다시 확인하도록 실패한다. - 연결·접속 허용·다른 작업 중에는 설치를 보류한다. 유휴 상태에서 10초 안내 후 재시작하며 ‘나중에’도 가능하다. 접속 허용을 계속 켜 두면 준비 상태로 대기하므로 적용하려면 접속 허용을 꺼야 한다. - 현재 EXE의 복사본을 일회성 helper로 실행해 기존 프로세스 종료를 기다린다. helper는 사용자가 따로 내려받는 호스트 앱이 아니다. 같은 EXE의 내부 모드다. - 기존 파일을 백업하고 새 EXE로 교체한 뒤 원래 인수(`--data-dir` 포함)로 시작한다. GUI 첫 draw의 빌드 확인을 30초 안에 받지 못하면 새 프로세스를 종료하고 기존 파일을 복원·재시작한다. 실패 빌드의 자동 재설치는 보류한다. - 프로필·키·관리자 승인 데이터는 교체하지 않는다. 원본 EXE 폴더 쓰기 권한이 필요하며 Program Files 등 권한 제한 위치에서는 오류를 표시한다. 관리자 권한 상승이나 서비스 설치를 자동 수행하지 않는다. 실행 중인 helper 복사본은 Windows 파일 잠금 때문에 폴더에 남을 수 있다. - 신뢰 기준은 기존 HTTPS 서버와 승인된 기기 인증, root 소유 immutable release다. SHA-256은 무결성 검사이며 게시자 디지털 서명이 아니다. Authenticode 검증 및 Parsec 업데이트와의 동등성은 남은 항목이다. **기존 앱에는 업데이트 검사 코드가 없으므로 이 버전은 한 번 수동 설치해야 한다.** 이후 서버가 더 큰 빌드 번호의 EXE를 배포하면 위 흐름으로 감지·업데이트한다. 관리자 웹에 release 파일만 올리는 것과 업데이트 API를 지원하는 서버 바이너리 배포는 별도 작업이다. ## 시험과 Windows 확인 방법 자동 검증: Rust 47개(승인·철회된 기기 업데이트, 실제 HTTP 다운로드, hash/size 오류, downgrade/replay 거부, 취소 파일 정리, helper 경로 제한, crash/timeout/잘못된 시작 확인 rollback, 정상 시작, relay 순서 보존 포함), Linux/Windows workspace clippy, 릴리스 도구와 다운로드 설치 시험. rollback 실행은 Linux 테스트 프로세스로 시험했으며 Windows EXE 파일 잠금은 아직 실측하지 않았다. relay 영상 fixture는 실제 디코딩 가능한 성능 샘플이 아닌 transport 시험용 바이트다. 같은 새 EXE로 각 Windows PC에서 **진단 → GPU 영상 경로 검사 · 5초**를 실행한다. 현재 화면을 메모리 안에서 캡처·인코딩·디코딩하되 저장·전송하지 않으며 GPU 이름·실제 인코더/preset·선택 코덱·프레임 수·첫 출력 시간만 JSON으로 보여준다. 한 PC의 로컬 왕복 성공도 두 PC 연결이나 원본 화질 일치를 증명하지 않는다. 움직이는 창/영상과 정지 화면을 각각 검사한다. ```powershell .\notparsec.exe video-probe --seconds 5 .\notparsec.exe video-probe --codec h264 --seconds 10 .\notparsec.exe video-probe --codec h265 --seconds 10 ``` 그 뒤 두 PC에서 A→B/B→A, 같은 화면의 SDR 색상·작은 글씨, DPI 100/150/200%, 잠금·해상도 변경, 느린 회선, 호스팅 중 업데이트 보류, 정상 교체·시작 실패 복구를 검사한다. 원본 150-104a도 같은 GPU·화면·네트워크로 비교하고 FPS/지연/차이를 기록해야 parity를 올릴 수 있다. Windows API 근거: [하드웨어 MFT](https://learn.microsoft.com/en-us/windows/win32/medfound/hardware-mfts), [비동기 MFT](https://learn.microsoft.com/en-us/windows/win32/medfound/asynchronous-mfts), [D3D11 디코딩](https://learn.microsoft.com/en-us/windows/win32/medfound/supporting-direct3d-11-video-decoding-in-media-foundation), [H.264 인코더](https://learn.microsoft.com/en-us/windows/win32/medfound/h-264-video-encoder), [H.264 디코더](https://learn.microsoft.com/en-us/windows/win32/medfound/h-264-video-decoder), [HEVC 인코더](https://learn.microsoft.com/en-us/windows/win32/medfound/h-265---hevc-video-encoder), [Annex B sequence header](https://learn.microsoft.com/en-us/windows/win32/medfound/mf-mt-mpeg-sequence-header-attribute). 이 문서들은 Windows API 사용 근거이며 Parsec 150-104a 동작의 대체 근거가 아니다.