2026-09-24 · notParsec 개발 과정 · Windows Parsec 150-104a 기준
이 글은 Add Screens, Switch Display, Virtual Displays, Privacy Mode가 서로 어떻게 다른지, 기존 단일 화면 구조를 어떻게 바꿨는지 설명합니다. 앱 코드, Microsoft 공개 샘플, Parsec 바이너리의 디컴파일 결과를 구분합니다. Windows에서 실제로 확인하지 않은 결과는 확인했다고 쓰지 않습니다.
현재 상태: 다중 화면의 앱·전송 코드와 자체 가상 디스플레이 드라이버 코드를 추가했습니다. Windows 앱 타입 검사와 자체 드라이버 DLL 크로스 빌드를 확인했습니다. 드라이버 서명·패키지 설치, 실제 GPU·여러 모니터·프라이버시 복원 시험은 남아 있습니다. 따라서 지금 제공하는 통합 앱만으로 가상 화면이나 프라이버시 기능이 즉시 사용 가능해졌다는 의미는 아닙니다.
앱 게시: 빌드 1790280801을 관리자 웹 다운로드와 앱 업데이트 경로에 게시했습니다. /7 메시지 형식으로 바뀌었으므로 접속하는 PC와 접속받는 PC를 모두 업데이트해야 합니다. 이 배포에는 서명되지 않은 VDD DLL이 포함되지 않습니다. 앱의 Windows 크로스 빌드·정적 검사, 다중 화면 제어·입력 라우팅 자동 시험은 통과했으며, 실제 Windows 두 PC의 화면·GPU 동작 확인은 남아 있습니다.
전체 개발 계획·구현 현황 · 검증 기록 · Parsec VDD 분석 근거
1. 먼저 네 가지 기능을 구분하기
| 기능 | 접속받는 PC에서 생기는 일 | 접속하는 PC에서 생기는 일 |
|---|---|---|
| Switch Display | 캡처할 기존 디스플레이를 바꾼다 | 같은 창이 다른 화면을 보여준다 |
| Add Screens | 다른 디스플레이의 캡처·인코더를 추가한다 | 해당 화면을 보는 별도 창·디코더가 생긴다 |
| Virtual Displays | Windows에 실제 출력처럼 보이는 가상 모니터가 생긴다 | 새 모니터를 위 두 메뉴에서 선택할 수 있다 |
| Privacy Mode | 가상 화면을 확보한 다음 물리 출력을 비활성화한다 | 가상 화면에서 작업하고, 종료 시 호스트가 잠긴다 |
Add Screens는 모니터를 만드는 기능이 아닙니다. 호스트에 존재하는 화면을 하나 더 전송합니다. Virtual Displays는 전송 이전에 Windows가 인식하는 출력 자체를 만드는 기능입니다. 창을 두 개 띄워 같은 영상을 복제하는 것만으로 다중 화면 전송이 구현되지는 않습니다.
화면을 검게 덮는 창도 Privacy Mode와 다릅니다. 다른 앱이 위로 올라오거나 모니터가 추가되면 내용이 노출될 수 있기 때문에, 현재 구현은 Windows의 활성 디스플레이 경로를 변경합니다. 이 동작에는 복구와 실제 기기 검증이 반드시 따라야 합니다.
2. 기존 구조에서 막혔던 지점
기존 캡처 코드는 DXGI 출력 중 바탕화면 좌표가 (0, 0)인 주 모니터만 선택했습니다. 영상 형식, 디코더, 표시할 GPU 텍스처, 원격 입력도 각각 하나뿐이었습니다. 메뉴에 다른 화면 이름을 추가해도 두 번째 화면을 캡처하거나 입력을 전달할 경로가 없었습니다.
마우스는 모니터 안의 상대 위치를 0~65535로 보냈고, 호스트는 이를 주 모니터의 절대 좌표로 주입했습니다. 예를 들어 보조 모니터가 왼쪽 (-1920, 0)에 있어도 주 모니터로 입력이 갔습니다. 이번 작업에서는 선택한 화면의 위치·크기를 전체 가상 바탕화면 좌표로 변환하고 MOUSEEVENTF_VIRTUALDESK를 사용합니다.
해상도와 Windows 배율도 구별해야 합니다. 스트림의 1280×720 영상이 2560×1440 모니터를 축소한 결과라면, 원격 입력은 영상 픽셀 수가 아니라 원본 모니터의 실제 바탕화면 영역으로 환산해야 합니다. 창에서 영상을 둘러싼 검은 여백은 입력 영역에서 제외합니다.
3. 새 구조: 연결 하나 안의 여러 영상 스트림
호스트 Windows 인증된 연결 뷰어 Windows
디스플레이 A → DXGI → GPU 인코더 A ─┐ ┌→ GPU 디코더 A → 기본 창
├→ 화면 ID로 구분 전송 ──┤
디스플레이 B → DXGI → GPU 인코더 B ─┘ └→ GPU 디코더 B → 추가 창
입력 좌표·키·버튼 ←──── 화면 ID별 입력 역방향 전달 ←──── 각 창의 입력
기기 승인과 PC 비밀번호 인증은 연결을 만들 때 수행합니다. 추가 화면은 그 인증된 세션을 공유하며, 새 비밀번호 연결이나 두 번째 사용자용 호스트 앱을 만들지 않습니다. 직접 UDP가 합의되면 그 경로를 사용하고, 기존 WSS 대체 경로도 유지합니다.
화면별로 GPU 캡처, 인코더 참조 상태, 디코더, 최근 표시 프레임, 입력 상태를 분리했습니다. 현재 호스트는 한 작업 스레드에서 화면을 순서대로 처리합니다. 화면마다 독립 작업 스레드를 사용하는 성능 구조까지 완성했다는 뜻은 아닙니다. 여러 인코더를 동시에 열 수 있는지는 GPU와 드라이버의 세션 제한에도 영향을 받습니다.
뷰어의 창들은 하나의 D3D11 장치를 공유하고 각자 swap chain을 가집니다. 디코더에서 나온 GPU 텍스처를 창마다 CPU 메모리로 복사하지 않도록 기존 표시 경로를 유지합니다. 추가 창도 AccessKit을 연결한 뒤 처음 표시하여, 이전에 수정한 앱 시작 오류가 재발하지 않도록 했습니다.
현재 구현의 동시 스트림 상한은 기본 창 포함 4개입니다. 원본 Parsec의 전체 제품 제한을 복구한 수치가 아니라 우리 구현의 자원 보호 한도입니다. 가상 화면 설정의 0~3은 별도로 확인된 원본 UI 옵션 범위입니다.
프레임 사이에 설정 변경 응답이 필요한 이유
H.264/H.265 프레임 중에는 앞의 프레임을 참조하는 프레임이 있습니다. 화면 전환 응답이 영상보다 먼저 도착하거나 오래된 프레임이 새 디코더로 들어가면 화면이 깨질 수 있습니다.
이번 제어 흐름은 이전 프레임 → 화면 설정 응답 → 새 형식의 키프레임 순서를 영상과 같은 전송 경로에 놓습니다. 호스트는 새 캡처·인코더 초기화에 실패하면 이전 화면을 유지합니다. 추가 창을 닫으면 그 화면의 자원을 해제하고 다른 창의 세션은 계속 유지합니다. 기본 창의 Disconnect는 전체 연결을 종료합니다.
프로토콜 식별자는 /7입니다. 화면 ID와 화면 제어 응답이 추가되어 호스트와 뷰어를 모두 이 버전으로 업데이트해야 합니다. 이것은 notParsec의 앱 메시지 변경이며 Parsec의 BUD 전체 wire 호환 구현이라고 주장하지 않습니다.
여러 화면의 대역폭
Bandwidth Limit는 세션 전체 예산입니다. 추가 화면마다 10 Mbps를 따로 사용하는 방식으로 확대하지 않습니다. 현재 코드는 열린 스트림 수에 맞춰 예산을 나누고, 전송 지연을 관찰하는 가변 비트레이트를 유지합니다. 각 인코더의 최소 지원 비트레이트 때문에 화면별 최소 1 Mbps를 확보할 수 없는 요청은 거절합니다.
네트워크 RTT와 전송량은 연결 전체의 측정값입니다. 창별 디코드·표시 시간과 같은 의미가 아닙니다. 여러 화면을 열었을 때 총 프레임 수를 각 화면의 FPS로 오해하지 않도록 실제 성능 대조에서도 분리해야 합니다.
4. Windows 가상 디스플레이는 어떻게 만들어지나
앱에 빈 창을 추가해도 Windows 디스플레이 설정에는 모니터가 생기지 않습니다. 운영체제에 출력 장치를 알려주는 드라이버가 필요합니다.
| 용어 | 하는 일 |
|---|---|
| UMDF | 드라이버 일부를 사용자 모드의 별도 프로세스에서 실행하는 Windows 프레임워크 |
| IddCx | 간접 디스플레이 드라이버가 어댑터·모니터·영상 버퍼를 Windows에 알리도록 돕는 클래스 확장 |
| 소프트웨어 장치 | 물리 케이블 없이도 PnP 장치 수명을 표현하는 장치 |
| 어댑터 | 여러 모니터를 관리하는 논리적 출력 장치 |
| Monitor Arrival / Departure | Windows에 모니터가 연결·해제됐음을 알리는 호출 |
| 디스플레이 모드 | 해상도, 주사율 등 Windows가 출력할 수 있는 형식 |
| swap chain | Windows가 생성한 화면 버퍼를 드라이버가 받아 처리하는 통로 |
| IOCTL | 일반 앱이 드라이버에 구조화된 제어 요청을 보내는 Windows 방식 |
자체 드라이버는 Microsoft의 Indirect Display 모델을 사용합니다. 이 모델에서 운영체제가 화면을 합성하고 드라이버가 제공한 출력·모드와 영상 처리 경로를 연결합니다.
구현 출발점은 Microsoft Windows-driver-samples의 IndirectDisplay입니다. 사용한 커밋은 d5569c08aa2818c6240744bb47a00f67f20fdb54, 라이선스는 MIT입니다. 원본 파일과 해시를 보관했고, 수정된 드라이버 파일을 분리했습니다. Parsec 드라이버의 소스를 가져와 이름을 바꾼 것이 아닙니다.
샘플에서 바꾼 부분
샘플의 시작 시 고정 모니터 생성 대신, 인증된 원격 세션이 요청한 0~3개 화면을 동적으로 생성하도록 바꿨습니다. 샘플에 포함된 실물 모니터 EDID는 자체 드라이버에 사용하지 않습니다. EDID 없는 가상 모니터가 지원 모드를 직접 제공하며, 초기 모드는 1920×1080·2560×1440·3840×2160·1600×900·1280×720의 60 Hz입니다. 이 모드 목록은 자체 초기 구현이며, 원본 VDD의 모든 모드·HDR·색상 기능과 같다고 표시하지 않습니다.
하드웨어 ID는 Root\notParsec\VDA, 인터페이스 GUID와 IOCTL도 자체 값입니다. Parsec VDD의 장치 ID나 드라이버를 교체하지 않습니다. 한 제어 파일 핸들만 모니터 수를 관리하도록 소유권을 검사하고, 핸들이 닫히거나 유지 신호가 3초 이상 끊기면 해당 드라이버의 가상 화면을 정리합니다. 이 시간은 자체 복구 정책입니다.
IddCx가 지정한 RenderAdapterLuid로 D3D11 장치를 초기화합니다. 아직 앱에서 GPU를 직접 선택하는 UI, 고주사율, HDR, 4:4:4 또는 Parsec VDD의 레지스트리 모드 설정을 구현한 것은 아닙니다.
최초 설치와 일반 실행 권한
SwDeviceCreate의 Windows 요구사항에 따르면 소프트웨어 장치 생성에는 관리자 권한이 필요합니다. 따라서 일반 연결 때마다 이 API를 호출하는 방식은 사용할 수 없습니다. 현재 자체 드라이버 설치 경로는 관리자 설치 때 어댑터를 한 번 등록하고, 이후 앱은 이미 등록된 장치의 제어 인터페이스를 여는 방식으로 구성했습니다. 일반 연결 중에는 가상 모니터의 수명만 바뀝니다. 원본 코어의 SwDevice 경로 및 서비스 역할 전체와 일치하는지는 별도 대조 항목입니다.
5. Parsec VDD 디컴파일에서 확인한 내용
기준 코어는 Windows Parsec 150-104a입니다. SHA-256은 다음과 같습니다.
parsecd-150-104a.dll
8c8c4299ddf503b2c25c0905b0a0820f3e8238c252e9ace37bf25964ef4a8f6f
보관된 VDD mm.dll
96db6ae2f950b56e52be3e68f92893afa94645eae09fea2abd5dd1985758150a
Ghidra 12.1.3의 보관 결과에는 mm.dll의 451개 함수 중 425개 디컴파일과 26개 thunk/외부 함수가 기록돼 있습니다. 이번에는 코어와 드라이버의 관련 함수 13개를 별도 추출했습니다. 디컴파일러가 만든 변수명과 타입에는 추정이 있으므로 이 C 파일을 원본 소스라고 부르지 않습니다.
코어의 0x180260d50에 있는 인터페이스 GUID는 실제 보관 코어 바이너리의 해시를 검증한 다음 바이트를 읽어 확인했습니다. 값은 00b41627-04c4-429e-a26e-0265cf50c8fa입니다.
| 관찰한 호출 | 입력/출력 | 연결된 근거 |
|---|---|---|
0x22e004 모니터 추가 |
32바이트 요청, 4바이트 모니터 번호 | 코어 1801b8d60, 드라이버 180003f00 |
0x22a008 모니터 제거 |
32바이트 요청의 오프셋 1에 모니터 번호 | 코어 1801b8eb0, 드라이버 180003f00 |
0x22a00c 유지 신호 |
32바이트 요청 | 코어 1801b9730, 1801b9810 |
0x22e010 버전 조회 |
4바이트 응답 0x2d = 45 |
코어 1801b9270, 드라이버 180003f00 |
0x22a014 어댑터 관련 요청 |
오프셋 1의 8바이트 값; LUID 타입은 추정 | 드라이버 1800061b0, 실제 호출 대조 남음 |
원본 코어의 유지 스레드는 100 ms마다 깨어나고 경과 시간이 200 ms보다 클 때 유지 요청을 보냅니다. 원본 드라이버에서는 IddCxAdapterInitAsync, IddCxMonitorArrival, IddCxMonitorDeparture로 이어지는 책임 구조가 확인됩니다. 따라서 앱·드라이버·Windows의 경계를 이해하는 근거로 사용합니다. 이 숫자만으로 원본의 오류 복구·동시성·모든 수명 규칙이 복구됐다고 판단하지 않습니다.
사용자가 설치한 VDD와 보관본은 별도로 확인해야 한다
현재 분석은 저장소에 보관된 VDD 0.45 기준입니다. 사용자의 Windows에 설치된 파일을 이 Ubuntu 작업 환경에서 읽은 것은 아닙니다. 설치본이 같은 버전인지도 아직 모릅니다.
이를 확인할 읽기 전용 설치본 수집 스크립트를 추가했습니다. 원본은 analysis/parsec/research/displays/collect-installed-vdd.ps1입니다. 설치된 mm.dll의 버전·SHA-256·서명 상태를 기록하고 분석용 복사본을 만듭니다. 드라이버 설치, 모니터 생성, 레지스트리 수정이나 구독 검사를 변경하지 않습니다. 실제 설치본의 해시가 다르면 별도 버전으로 다시 분석해야 합니다.
오프라인 제어 버퍼 재작성은 vdd_abi.py에 있습니다. 알려진 버전과 버퍼 크기만 검사하며 드라이버에 실제 요청을 보내지 않습니다. 이것은 자체 VDD 개발의 비교 자료입니다. Parsec 서비스 접속이나 구독 검사 변경으로 제품 기능을 대체하지 않습니다.
6. Privacy Mode의 시작·종료 순서
Parsec 공식 Privacy Mode 설명은 가상 화면을 이용하는 동안 물리 출력을 비활성화하고 마지막 연결 종료 시 호스트를 잠그는 동작을 설명합니다. 보관 UI·설정 카탈로그의 host_privacy_mode, host_virtual_monitors, host_lock_desktop 근거와 함께 참조했습니다. 현재 공개 설명의 요금제·버전 조건을 150-104a의 모든 내부 동작과 동일하다고 간주하지 않습니다.
현재 구현 순서는 다음과 같습니다.
- 호스트에 저장된 설정을 인증된 새 연결 시 읽는다.
- 기존 Windows 디스플레이 경로·모드를 보관한다.
- 같은
notparsec.exe의 비표시 백그라운드 프로세스를 실행해 가상 화면 수명을 맡긴다. - 설치 시 등록한 자체 VDD의 인터페이스를 열고, 요청한 출력이 활성화됐는지 확인한다.
- 자체 가상 출력에서 실제 GPU 캡처·H.264 인코더 프레임이 나오는지 확인한다.
- Privacy Mode이면 자체 가상 출력만 남기는 구성을 먼저 검증하고 적용한다.
- 활성 출력이 모두 자체 가상 출력인지 확인한 뒤 원격 연결의 영상 초기화를 진행한다.
- 연결 종료·부모 앱 종료로 제어 파이프가 닫히면 Windows 잠금 요청, 이전 출력 복원, 가상 화면 제거 순서로 정리한다.
일반 사용자용 앱은 여전히 하나입니다. 백그라운드 프로세스도 동일한 EXE이며, 호스트용 프로그램을 따로 다운로드하지 않습니다. 프로세스를 나눈 이유는 GUI 프로세스가 비정상 종료돼도 파이프 종료를 감지해 화면을 복구할 기회를 남기기 위해서입니다.
Windows SetDisplayConfig로 현재 세션의 활성 경로를 바꾸며, 이 구현은 변경을 영구 저장하는 SDC_SAVE_TO_DATABASE를 사용하지 않습니다. 원본 구성을 메모리에 보관해 되돌립니다.
남은 한계도 있습니다. GUI와 복구 프로세스가 동시에 강제 종료되는 경우, 재부팅, GPU 장치 제거, Windows 보안 데스크톱, 잠금·복원 API 실패까지 보장하는 서비스 수준 복구는 아직 검증하지 않았습니다. 특히 드라이버의 유지 신호 만료로 모니터를 정리하는 것과 Windows를 안전하게 잠그고 원래 배치를 복구하는 것은 같은 보장이 아닙니다. Privacy Mode는 이 시험을 통과하기 전 완성된 보안 기능으로 분류하지 않습니다.
7. 설정과 적용 시점
| Host 설정 | 기본값 | 현재 연결된 동작 |
|---|---|---|
| Virtual Displays | None / 0 | 다음 원격 연결 동안 0~3개 생성, 종료 시 제거 |
| Privacy Mode | Disabled | 최소 1개 가상 화면 확보, 물리 출력 비활성화·종료 잠금 |
| Fallback To Virtual Display | Enabled | 활성 화면이 없을 때 가상 화면 1개 요청 |
| Lock On Disconnect | Disabled | 마지막 연결 종료 시 잠금; Privacy는 별도로 잠금 강제 |
드라이버가 없을 때 “설정 저장됨”을 “가상 화면 생성 성공”으로 처리하지 않습니다. 연결 시 호환되는 자체 드라이버가 준비되지 않았다는 오류를 반환합니다. Parsec VDD만 설치돼 있어도 자체 드라이버가 준비된 것으로 처리하지 않습니다.
현재 원격 호스트는 동시에 한 원격 세션을 받습니다. 여러 화면은 그 세션 안에서 추가합니다. 원본의 여러 사용자·소유자/게스트별 권한과 세션 수명까지 재현된 상태가 아닙니다.
8. 빌드 성공과 설치 가능은 다르다
자체 DLL은 UMDF 2.25, IddCx 1.4 헤더·라이브러리로 크로스 컴파일·링크했습니다. Microsoft WDK NuGet 10.0.26100.6584와 LLVM 19를 사용했고, DLL 내 WDF 진입점도 확인했습니다.
그러나 실제 배포에는 DLL 외에도 INF, 카탈로그, 적절한 드라이버 서명, Windows의 패키지 검사와 설치 시험이 필요합니다. 현재 DLL은 서명되지 않은 개발 산출물입니다. 일반 사용자용 설치 완료 파일로 게시하지 않으며, 앱이 보안 부팅이나 Windows 서명 정책을 자동으로 낮추지 않습니다.
Windows WDK 빌드 프로젝트와 검증·설치 안내는 drivers/windows/idd/에 있습니다. 서명된 패키지가 준비되면 관리자 설치로 드라이버 저장소에 등록하고, 설치 도구가 최초 한 번 관리자 권한으로 가상 어댑터를 등록하고, 앱은 다음 연결 때 등록된 어댑터의 제어 핸들을 엽니다. 어댑터는 유지되지만 가상 모니터는 연결 중에만 존재합니다. 기존 Parsec 드라이버와 별도 하드웨어 ID를 사용하므로 교체 설치하지 않습니다.
9. 계획상 구현·검증 상태
| 요구 ID | 현재 코드 | 남은 검증/개발 |
|---|---|---|
| F36 다중 화면 | 화면 목록, 선택, 추가 스트림, 별도 창, 닫기·입력 라우팅 | 실제 Windows 두 PC, 모니터 연결 해제·회전·GPU 제한, 원본 행동 대조 |
| F20 입력 좌표 | 선택한 화면에서 가상 바탕화면으로 변환 | 음수 좌표·서로 다른 DPI의 실기기 입력 |
| F39 헤드리스 | Fallback 정책·가상 출력 준비 경로 | 디스플레이가 없는 부팅·접속, 실제 드라이버/GPU 캡처 |
| F49 가상 화면 | 0~3개 요청·자체 IDD·세션 소유권·유지 신호·제거 | 서명·설치·중단/재접속 시험, 원본 소유자 정책 |
| F48 프라이버시 | 캡처 사전 확인·물리 출력 비활성화·잠금/복원 경로 | 실기기 노출/복원 검증, 동시 강제 종료·보안 데스크톱·서비스 복구 |
| F50 모드/GPU | 초기 SDR 60 Hz 모드 목록과 OS 지정 렌더 어댑터 | 원본 모드 집합·고주사율·GPU 선택 UI |
| F57 종료 잠금 | 일반 종료 잠금과 Privacy의 강제 잠금 분리 | 실제 Windows 잠금·다중 사용자 정책 |
각 항목은 계획에서 진행 중·부분 구현, 원본 일치는 차이 있음으로 유지합니다. 이 글과 코드가 존재한다는 이유로 실제 설치·원본 대조 시험을 완료로 체크하지 않습니다.
10. 다음 Windows 시험에서 확인할 것
- 양쪽 앱을 같은
/7빌드로 실행하고 두 물리 모니터 사이를 전환한다. 새 화면에서 마우스가 올바른 모니터에 도착해야 한다. - Add Screens로 별도 창을 열어 서로 다른 화면인지 확인한다. 추가 창을 닫아도 기본 창이 유지돼야 한다.
- 같은 디스플레이를 중복으로 열거나 GPU 인코더 초기화가 실패하면 기존 화면을 유지하는지 확인한다.
- 서명된 자체 VDD를 설치한 시험 PC에서 가상 화면 수를 0·1·2·3으로 바꾸고 재접속한다.
- Privacy Mode 시작 전 캡처 실패 시 물리 출력이 유지되는지 확인한다. 정상 종료·네트워크 끊김·GUI 강제 종료 시 잠금과 배치 복구를 확인한다.
- 실제 Parsec 150-104a를 같은 모니터·GPU·해상도·대역폭 조건에서 실행해 창 배치, 표시 조건, 전환·종료 동작과 성능을 대조한다.
검증 결과는 개발 계획의 해당 F ID와 검증 기록에 누적합니다. 실패한 환경과 아직 시험하지 않은 환경도 함께 남깁니다.