__GPU_UPDATE_NOTICE__
REMOTE DESKTOP / CURRENT ARCHITECTURE

이전 JPEG 버전은
어떻게 화면을 전달했나

앱은 하나로 합쳐졌고 실제 화면·입력도 전달합니다. 다만 현재 미디어 경로는 GDI 캡처 → CPU JPEG → 서버 중계 → CPU 디코딩입니다. 저지연 영상 엔진으로 완성된 상태는 아닙니다.

코드·운영 확인: 2026-09-23 18:47–18:50 UTC대상: 통합 notparsec.exe사용자 보고: 심한 끊김·화면 이상
01 / CURRENT STATE

증상과 연결되는 핵심 사실

끊김의 구조적 원인이 코드에 있습니다. 최대 10fps로 제한하며, 매 캡처·압축이 끝난 시점부터 다시 100ms를 기다립니다. 따라서 처리 시간이 50ms라면 네트워크가 완벽해도 약 6.7fps입니다. 이것은 설명용 계산이며 사용 중인 PC의 측정값은 아닙니다.

≤ 10fps실제는 처리·대기 시간만큼 감소
1280×720전송 크기 상한 · 원본 비율 유지
JPEG 65매 프레임 전체 화면을 CPU 압축
WSS / TCP모든 화면·입력이 서버를 경유
코드 확인 구현에서 직접 확인영향 추정 구조상 가능, 비용 미측정실측 필요 현재 원인 확정 불가

이미 연결된 기능

하나의 Windows EXE에 접속받기와 접속하기, 관리자 승인, 기기 키 인증, 접속 비밀번호 확인, 인증서 자동 검증, 원격 화면과 입력 전달이 들어 있습니다.

미디어 경로에서 빠진 기능

하드웨어 영상 인코딩·디코딩, 직접 연결/NAT 탐색, 네트워크에 맞춘 화질 조정, 프레임 기한에 따른 폐기, 실시간 FPS·지연 통계가 연결되어 있지 않습니다. GPU 진단 코드의 존재와 실제 사용은 다릅니다.

이전의 테스트 33개 통과는 인증·중계·프레임/입력 전달의 기능 검증입니다. Windows 두 PC에서의 FPS·시각 품질·입력 지연을 검증한 결과가 아닙니다.

02 / DATA PATH

같은 앱, 세 개의 실행 위치

두 Windows PC는 동일한 앱을 실행합니다. Ubuntu 서버는 등록·승인·접속 주선과 암호화된 바이트 중계를 함께 담당합니다. 화면 인코딩이나 디코딩은 서버에서 하지 않습니다.

WINDOWS / HOST

접속받을 PC

notparsec.exe
① 주 모니터 GDI 캡처
② 720p 이내 축소·커서 합성
③ BGRA → RGB → JPEG
④ PC 간 TLS로 암호화

UBUNTU / RELAY

remote.n3m.kr

HTTPS/WSS 프록시 → Nginx
→ 127.0.0.1:18080
→ Rust / Axum 서버
상대 소켓으로 바이트 전달
SQLite: 기기·관리자 인증 정보

WINDOWS / VIEWER

접속할 PC

notparsec.exe
① PC 간 TLS 복호화
② JPEG 전체 프레임 수신
③ UI 스레드에서 CPU 디코딩
④ egui 텍스처 갱신·표시

화면 → 호스트 → 서버 → 뷰어입력 ← 뷰어 → 서버 → 호스트 → 같은 캡처 작업 스레드의 SendInput공개 도메인의 응답에서 Cloudflare 경유가 관측됐습니다. 개별 PC의 실제 접속 경로와 사용 도메인은 별도 확인이 필요합니다. 신규 기본 주소는 remote.n3m.kr이며 기존 저장 주소는 유지합니다.

제어 경로

HTTPS API로 등록·승인, 목록·온라인 상태, 호스팅 게시, 세션 생성과 종료를 처리합니다. 호스트는 2초마다 요청을 조회하고 약 8초마다 접속 허용을 갱신합니다. 이 2초 주기는 연결 시작 대기와 관련되며, 매 프레임 전송 주기는 아닙니다.

미디어·입력 경로

세션의 양쪽 PC가 /v1/remote/sessions/{id}/relay에 WSS로 연결합니다. 그 안에서 별도 PC 간 TLS 연결을 만듭니다. 영상은 길이(u32) + JPEG, 입력은 길이로 구분된 JSON 메시지입니다. 내부 TLS의 양방향 스트림을 공유합니다.

  1. 한 번 승인하고 기기 키로 재인증

    관리자가 기기를 승인합니다. 이후 앱은 저장된 Ed25519 키로 서버에 인증합니다. 관리자 웹의 로그인 비밀번호와 PC 접속 비밀번호는 별개입니다.

  2. 호스트가 접속 허용과 서명된 인증서를 게시

    기기 키가 PC 간 TLS 인증서에 서명합니다. 접속 앱은 대상 기기의 키와 인증서를 검증하므로 인증서 파일을 직접 옮기지 않습니다.

  3. 중계 안에서 PC 간 인증과 비밀번호 확인

    클라이언트가 세션·nonce·인증서에 묶인 서명을 전송하고, 호스트가 접속 비밀번호를 확인합니다. 성공 후에만 화면 캡처·입력 처리를 시작합니다. 비밀번호 검증은 매 프레임마다 실행되지 않습니다.

  4. 호스트가 JPEG를 보내고 뷰어가 표시

    서버는 내부 TLS 내용을 해석하지 않고 전달합니다. 전송 경로를 바꾸더라도 이 인증과 PC 간 암호화 경계는 유지해야 합니다.

근거: session/remote.rs · server/api/remote.rs · device-client/remote.rs

03 / FRAME RATE & LATENCY

프레임 드랍처럼 느껴지는 다섯 지점

01

10fps 제한에 작업 시간이 추가됨 코드 확인

last_frame은 캡처를 시작할 때가 아니라 desktop.frame()이 끝난 뒤 갱신됩니다. 다음 캡처는 여기서 다시 100ms 뒤입니다. 큐가 비어 있어도 주기 ≈ 100ms + 캡처·변환·JPEG 시간 + 스케줄링 지연입니다.

예를 들어 작업 20ms → 약 8.3fps, 50ms → 6.7fps, 100ms → 5fps입니다. 원래 60fps를 만들었다가 대부분 잃는 구조로 해석하면 원인을 잘못 짚게 됩니다.

현재 스케줄링 코드 보기
if last_frame.elapsed() >= Duration::from_millis(100)
    && frames.capacity() > 0
{
    let frame = desktop.frame()?;
    // 길이 검사와 큐 전달
    last_frame = Instant::now(); // 작업 완료 후 대기 시계 재시작
}
std::thread::sleep(Duration::from_millis(5));

일부 중간 코드를 생략한 발췌 · session/remote.rs:294–304

02

전체 화면을 매번 CPU에서 처리 코드 확인 시간 미측정

GDI로 축소 복사한 뒤 모든 픽셀을 BGRA에서 RGB로 바꾸고 새 JPEG를 만듭니다. 변경된 영역만 보내는 처리가 없고, 프레임 간 압축도 없습니다. RGB/JPEG 버퍼를 매 프레임 새로 만듭니다. 원격 입력 주입도 이 작업 스레드에서 처리하므로 압축 중 들어온 입력은 작업이 끝날 때까지 기다릴 수 있습니다.

근거: platform-win/remote.rs:92–141 · session/remote.rs:291–304

03

서버 중계와 순서 보장 전송의 대기 코드 확인 기여도 미측정

항상 서버를 경유하는 WSS/TCP 경로입니다. 화면은 순서대로 완성되어야 읽을 수 있어, 앞선 바이트의 재전송이나 밀림이 뒤 프레임의 도착을 늦출 수 있습니다. 이미 TLS/TCP에 넣은 오래된 프레임을 취소하는 기능은 없습니다.

PC의 WebSocket 브리지와 서버 중계 루프 모두 선택한 분기에서 송신 완료를 기다립니다. 특정 방향의 송신이 막히면 같은 루프의 반대 방향 처리가 늦어질 수 있습니다. TCP 자체는 전이중이므로 입력이 영상 뒤에 반드시 줄을 선다고 단정하지는 않습니다.

근거: device-client/remote.rs:137–160 · server/api/remote.rs:310–336

04

UI 스레드에서 디코딩과 텍스처 교체 코드 확인 시간 미측정

수신된 JPEG를 remote_view() 안에서 디코딩하고 RGBA로 변환해 egui 텍스처를 갱신합니다. 작업이 길면 화면 그리기와 로컬 입력 처리가 함께 늦어질 수 있습니다. 별도 디코드 작업 스레드나 하드웨어 비디오 디코더는 이 경로에 없습니다.

접속 중에는 30ms 뒤 다시 그리기를 요청하지만, 이는 33fps 수신·표시 보장이 아닙니다. 입력 등 다른 이벤트가 더 빨리 갱신을 유발할 수도 있습니다.

근거: remote_ui.rs:205–230, 332–349 · app.rs:1042–1046

05

실제 FPS·드랍 원인을 구분할 계측이 없음 코드 확인

영상 프레임에는 번호와 캡처 타임스탬프가 없습니다. 캡처·인코딩·송신·수신·디코딩·표시 각각의 시간과 프레임 수, 큐 대기, 교체·건너뜀 횟수가 표시되지 않습니다. 현재는 생성 자체가 느린 것인지, 전송이 밀리는지, 화면 표시를 건너뛰는지 수치로 구분할 수 없습니다.

근거: wire/remote.rs:81–97 · 수신측 watch 채널은 최신 JPEG만 보관

작업 시간과 회선의 영향 계산

가상 입력으로 현재 스케줄링의 한계를 계산합니다. 두 PC를 측정하거나 서버 설정을 변경하지 않습니다. TLS·WebSocket·TCP 오버헤드, 재전송, 실제 버스트와 클라이언트 디코딩은 제외합니다.

50 ms
150 KiB
10 Mbps

캡처 시작 간격의 단순 모델: 100 + 50 = 150ms. 5ms 루프·운영체제 스케줄링·큐 대기는 제외.

캡처·압축 기준 상한6.7 fps1000 ÷ (100 + 작업 ms)
이 속도를 보내는 데 필요한 데이터율8.19 MbpsJPEG 크기 × fps × 8
회선·생성 중 느린 쪽의 상한6.7 fpsmin(생성 fps, 구간 데이터율 ÷ 프레임 크기)

예시에서는 생성 속도가 먼저 제한합니다. 실제 지연은 디코딩과 전송 대기를 더 측정해야 합니다.

서버는 약 33.55Mbps에 해당하는 4MiB/초 가드를 둡니다. 평균값이 낮아도 1초 카운트 구간의 버스트로 종료될 수 있습니다.

04 / IMAGE & CURSOR

화면 이상은 증상별로 구분해야 합니다

현재 보고에는 흐림·색 이상·커서 어긋남·검은 화면 중 어떤 현상인지 세부 정보가 없습니다. 아래는 소스에서 확인한 처리와 점검 후보입니다. 사용자의 화면을 직접 재현한 판정은 아닙니다.

3840×2160가정한 원본 모니터
1280×720가로·세로 1/3 · JPEG 65
뷰어 영역에 맞춤LINEAR 필터로 다시 확대 가능
화면 증상과 현재 구현의 관계
증상확인한 구조판정과 확인 방법
글자·아이콘이 흐림원본을 최대 720p로 축소 → 손실 JPEG → 표시 크기에 맞춘 선형 확대처리 확인
세부 손실을 설명하는 직접 요인. 원본·전송 크기와 실제 뷰어 크기를 대조하고 1:1 표시로 비교.
커서가 크거나 클릭 지점과 어긋남커서 좌표만 축소. DrawIconEx의 크기는 0, hotspot 보정 없음구현 결함
화면과 커서의 축소 비율이 달라질 수 있음. 화살표·텍스트 커서·크기 조정 커서를 비교.
마우스가 두 개처럼 보이거나 뒤따라옴원격 커서를 JPEG 안에 합성. 뷰어 로컬 커서를 숨기는 처리 없음재현 필요
로컬 커서는 즉시 움직이고 원격 커서는 영상 주기로 늦게 갱신될 수 있음.
색이 다르거나 HDR 화면이 이상함8-bit RGB JPEG 경로. HDR 메타데이터·명시적 톤 매핑/색 관리 없음원인 미확정
HDR 여부·색 프로필을 기록하고 SDR 테스트 패턴과 원본/수신 이미지를 비교.
검은 영역·잔상·잘림·좌표 오차주 모니터 GDI 경로만 사용. DPI·다중 모니터·특정 앱 조합 실기 검증 부족원인 미확정
문제가 나는 앱, 모니터 배치, DPI 100/150/200%, 전체 화면 여부를 고정해 재현. 단순 JPEG 압축 탓으로 단정할 수 없음.
해상도 변경 뒤 끊김연결 중 주 화면 크기가 달라지면 오류로 세션 종료의도된 동작
자동 재협상 없음. 현재는 재연결 필요.

커서 합성에서 확인한 구체적 문제: 현재 DrawIconEx(x × scale, y × scale, cursor, 0, 0, …) 형태입니다. Windows API에서 이 좌표는 그림의 왼쪽 위이고 크기 0은 현재 플래그에서 커서 리소스 크기를 사용합니다. 커서의 클릭 기준점(hotspot)과 크기에도 축소 비율을 반영하거나, 커서를 별도 정보로 보내 뷰어에서 합성해야 합니다. 실제 사용자 증상과의 일치는 추가 확인이 필요합니다.

API 근거: Microsoft DrawIconEx · ICONINFO의 hotspot. 코드: platform-win/remote.rs:110–122.

05 / QUEUES & GUARDS

작은 큐가 곧 낮은 지연을 뜻하지는 않습니다

앱의 큐 크기는 제한되어 있지만 여러 단계에 대기 데이터가 생깁니다. 특히 수신측에서 최신 JPEG만 남기는 처리는 그 JPEG를 네트워크로 전부 받은 뒤에 작동합니다.

위치현재 값 / 정책실제 영향
호스트 프레임 생성100ms 대기 + 처리 시간
대기 큐 1프레임
큐가 차면 새 캡처를 하지 않음. 대기 중인 오래된 프레임을 최신 프레임으로 덮어쓰는 구조는 아님.
영상 형식최대 1280×720
JPEG quality 65 · 최대 1MiB
최대치를 넘은 프레임은 화질을 낮춰 재시도하지 않고 오류로 연결 종료.
PC의 WSS 브리지Duplex 버퍼 128KiB
읽기 조각 최대 32KiB
여기에 TLS/WebSocket/OS 버퍼가 더 있음. 총 대기 크기를 128KiB 하나로 계산하면 부정확.
서버 중계방향당 대기 메시지 4개
WS 메시지 최대 64KiB
일반 PC 송신은 최대 32KiB 조각이지만 서버 허용 크기는 64KiB. 서버에는 JPEG 프레임 경계를 이해하는 폐기 정책이 없음.
중계 데이터율 가드방향당 4MiB / 약 1초 카운트 구간
≈ 33.55Mbps
초과 시 연결 종료. 속도를 부드럽게 낮추는 제어가 아님. 평균과 순간 버스트를 구분해야 함.
수신 → UIwatch로 최신 JPEG 하나 유지UI가 읽기 전 여러 장이 도착하면 중간 장은 표시되지 않음. 이미 소모한 전송량이나 앞선 TCP 대기는 회수하지 못함.
입력뷰어 큐 128개, 호스트 큐 128개
호스트 초당 500개 가드
큐 초과는 조용한 키 유실 대신 연결 종료로 처리. 캡처 스레드가 JPEG를 만드는 동안 입력 실행이 지연될 수 있음.
시간·수명주요 쓰기 대기 5초
프레임 읽기 12초 · 입력/heartbeat 8초
정상 지연 목표가 아니라 연결 종료 한계. 별도 2초 입력 heartbeat가 있음.
호스팅·세션호스팅 lease 30초
서버 4세션, 각 호스트·클라이언트 1세션
승인 폐기·lease·종료 상태는 약 3초마다 확인. DB 확인은 매 프레임 작업이 아님.

서버가 영상 압축 병목인 구조는 아님

호스트가 압축하고 뷰어가 풉니다. 서버 회선·CPU·프록시의 영향은 측정해야 하지만, 서버를 빠르게 바꾸는 것만으로 100ms 추가 대기나 720p 축소가 사라지지는 않습니다.

연결 성공과 부드러운 화면은 별도

WSS 중계는 서로 다른 네트워크에서의 접속 경로를 마련합니다. 지연이 낮은 직접 경로 탐색, 비트레이트 조절, 오래된 프레임 폐기까지 제공하는 미디어 전송 계층은 아직 없습니다.

06 / CHANGE PRIORITIES

수정은 이 순서로 검증해야 합니다

다음은 코드 분석에 따른 제안이며 이 문서 작업에서 적용한 변경이 아닙니다. 10fps 숫자만 60으로 바꾸면 CPU·대역폭·큐 부담이 커져 더 나빠질 수 있습니다.

P0 · MEASURE

실제 병목을 보이게 만들기

프레임 번호, 캡처·인코드·송신·수신·디코드·표시 카운터, 단계별 p50/p95 시간, 바이트 수와 큐 대기/생략 사유를 수집합니다. 다른 PC의 시계를 바로 빼서 편도 지연으로 쓰지 말고 시계 동기화 오차 또는 왕복 측정 방식을 정의합니다.

확인 기준: 정지 화면·스크롤·동영상 각각에서 어디서 FPS가 줄었는지 구분할 수 있어야 함.

P1 · CORRECTNESS

현재 JPEG 경로의 결함 줄이기

완료 후 100ms 대기를 목표 시각 기준 스케줄링으로 변경하고, 캡처·압축과 입력 처리를 분리합니다. 뷰어 디코딩을 UI 밖으로 옮깁니다. 커서 크기·hotspot, 표시 1:1 모드, 좌표와 DPI 검증을 추가합니다.

확인 기준: 단계별 시간 감소, UI 응답, DPI·커서 모양별 클릭 위치 일치. 고주사율 완성으로 간주하지 않음.

P2 · VIDEO ENGINE

영상에 맞는 캡처·코덱 연결

기존 DXGI Desktop Duplication 진단 코드를 실제 캡처 수명 관리로 확장하고, GPU 텍스처 기반 처리와 저지연 하드웨어 코덱 경로를 구현·측정합니다. 모니터 변경·device lost·색 공간·폴백 경로를 함께 다룹니다.

현재 진단 함수의 존재는 통합 앱이 이를 사용한다는 뜻이 아님. Microsoft Desktop Duplication API는 DXGI 표면과 변경 영역 처리의 근거입니다.

P3 · TRANSPORT

화면의 최신성을 지키는 전송

측정된 대역폭에 맞춰 비트레이트·해상도·FPS를 조정합니다. 프레임 기한, 대기 프레임 교체, 입력 우선 처리를 정의합니다. 직접 경로 탐색과 UDP 기반 미디어 전송을 검토하고 막힌 네트워크에는 WSS 대체 경로를 유지합니다.

확인 기준: 느린 업로드·손실·지연 조건에서 화면 나이와 입력 지연이 계속 증가하지 않을 것. 코덱 전환 시 참조 프레임 의존성을 고려해 폐기.

Windows 실기 검증에 필요한 기록

묶음기록할 항목구분하려는 문제
환경양쪽 EXE 해시, CPU/GPU, 화면 해상도, DPI, HDR, 모니터 수, 앱 창 크기빌드 차이·스케일·색·장치별 재현 조건
호스트·뷰어단계별 작업 시간, 프레임 크기, 생성/수신/표시 FPS, 프로세스 CPU/GPU압축 병목과 디코딩·UI 병목 분리
경로접속 도메인, 서버 왕복 시간, 업로드/다운로드 가용량, 송신 대기, 종료 사유서버 경유·회선 부족·가드 초과의 영향
시각 비교동일한 텍스트·격자·색 패턴, 원본과 수신 이미지, 커서 모양별 클릭 점축소·JPEG 손실과 좌표/색/캡처 결함 분리
07 / EVIDENCE & DEPLOYMENT

어떤 코드를 확인했는가

2026-09-23의 로컬 작업 트리를 기준으로 읽었습니다. 아직 커밋되지 않은 변경이 포함되어 있어 줄 번호는 이후 편집에서 달라질 수 있습니다. 링크는 이 HTML이 저장된 프로젝트의 상대 경로이며, 문서 본문과 계산기는 파일 하나만으로 동작합니다.

crates/platform-win/src/remote.rs27–68: 주 화면·축소·GDI 자원 / 85–143: 캡처·커서·RGB/JPEG / 144–239: 입력 주입·키 해제
crates/session/src/remote.rs28–107: 접속·인증 / 109–141: 수신 JPEG와 입력 송신 / 268–348: 캡처 스레드·큐·100ms / 351–402: 요청 조회·호스팅 갱신
crates/device-client/src/remote.rs112–164: WSS 연결·128KiB Duplex·32KiB 조각·양방향 브리지 / 인증서 서명 검증
apps/control-server/src/api/remote.rs52–61: API / 193–201: 세션 상한 / 260–269: 중계 큐·메시지 제한 / 284–343: 중계·4MiB 가드·폐기 확인
crates/desktop-ui/src/app/remote_ui.rs129–143: 수신/입력 채널 / 205–251: UI 디코딩·텍스처·스케일 / 332–349: JPEG 디코드 제한
app.rs:1042–1046: 접속 중 30ms 뒤 repaint 요청
crates/wire/src/remote.rs9–11: 크기 상한 / 55–79: 입력 메시지 / 81–97: 길이와 JPEG만 가진 영상 프레이밍
crates/platform-win/src/windows_impl.rs154: GPU·코덱 진단 / 219: Desktop Duplication 캡처 진단. 현재 통합 원격 세션에서는 별도 RemoteDesktop를 호출.
deploy/ubuntu/nginx-proxy.conf · systemd 서비스127.0.0.1:18080 프록시, WebSocket 업그레이드, proxy_buffering off. 서비스 메모리 상한 256MiB. 이것이 현재 프레임 드랍의 원인인지는 측정하지 않음.
crates/session/tests/remote_relay.rs격리 서버·실제 기기 키·TLS 연결의 기능 검증. 실제 Windows 캡처와 SendInput 대신 테스트 화면 소스를 사용하므로 성능·시각 품질 검증이 아님.

운영 서버는 이번 통합 버전으로 갱신되어 있습니다. 서비스 시작은 18:39:31 UTC, 확인 시 active/running이었습니다. 운영 서버 실행 파일과 준비한 파일의 SHA-256이 일치했고, 운영 다운로드의 통합 EXE도 준비한 EXE와 일치했습니다. 공개 준비 상태는 200, 토큰 없는 신규 원격 API는 401로 응답했습니다. 이전 문서의 “설치 전” 기록보다 뒤의 관측입니다.

이 확인은 서버와 배포 파일의 일치 증거입니다. 양쪽 PC에서 실행 중인 EXE 버전이나 실제 세션의 FPS를 확인한 것은 아닙니다.

배포 파일 식별값 보기

Windows 통합 EXE · 13,457,408 bytesbc838c5d09e3cd6e77252696c0fef1e07b239303edebf30cf7621ddc5db33608

Ubuntu 서버 · 7,582,184 bytes4305622d194fab703e0961b6de28b11696b02167050a19697bbe78ff9b4a7d47

아직 모르는 것: 실제 생성/표시 FPS, 각 단계의 처리 시간, 프레임 손실·건너뜀 수, 네트워크 지연·재전송량, 사용자가 말한 화면 이상의 정확한 유형. 이 문서는 코드로 설명 가능한 원인을 제시하며 측정하지 않은 병목 비율이나 실측 FPS를 만들어내지 않습니다.