| 단계 | 일반적인 ML 아키텍처 | 최적화 저지연 아키텍처 | 개선 효과 |
|---|---|---|---|
| Data In | Kafka (JSON) : 50ms | Kafka (Protobuf) : 5ms | 10배 ↑ |
| 전처리 | Pandas (CPU) : 100ms | Ray Data (Vectorized) : 10ms | 10배 ↑ |
| 데이터 이동 | Socket/Disk Copy : 50ms | **Shared Memory (Zero-copy) : <1ms | |
| -POSIX Shared Memory > Apache Arrow Plasma** | 압도적 | ||
| 추론 | Vanilla PyTorch : 200ms | TensorRT(NVDIA) / ONNX, CoreML : 20ms | 10배 ↑ |
| 총합 (E2E) | ~400ms (눈에 보임) | <40ms (실시간 체감) | 10배 빠른 반응 |