Question 1

GeForce RTX 4060 Ti 16GB 그래픽카드으로 로컬 LLM을 돌리려면 어떤 스펙이 중요한가요?

Accepted Answer

🖥️ GPU 기준으로 GPU/칩(RTX 4060 Ti 16GB), 메모리(VRAM 16GB)가 핵심입니다. L-TPS는 메모리 대역폭·추론 효율·모델 가중치로 상대 비교합니다.

Question 2

로컬AI모아 L-TPS Index란 무엇인가요?

Accepted Answer

로컬AI모아가 동일 조건(Q4 양자화·8K 컨텍스트)에서 기기 대역폭·VRAM 여유를 반영해 산출하는 상대 추론 속도 지표입니다. 벤치마크 대체가 아닌 카드·표 비교용 추정치입니다.

Question 3

GeForce RTX 4060 Ti 16GB 그래픽카드에서 Kokoro 82M을 돌리면 속도가 어떻게 나오나요?

Accepted Answer

로컬AI모아 L-TPS Index 추정치는 약 47 tok/s (Q4·8K 컨텍스트, 상대 비교용)입니다.

Question 4

GeForce RTX 4060 Ti 16GB 그래픽카드에서 NVIDIA Parakeet TDT 0.6B v3을 돌리면 속도가 어떻게 나오나요?

Accepted Answer

로컬AI모아 L-TPS Index 추정치는 약 622 tok/s (Q4·8K 컨텍스트, 상대 비교용)입니다.

Question 5

GeForce RTX 4060 Ti 16GB 그래픽카드에서 Whisper Large v3 Turbo을 돌리면 속도가 어떻게 나오나요?

Accepted Answer

로컬AI모아 L-TPS Index 추정치는 약 47 tok/s (Q4·8K 컨텍스트, 상대 비교용)입니다.

Question 6

GeForce RTX 4060 Ti 16GB 그래픽카드에서 Kokoro 82M VRAM 적합도는?

Accepted Answer

최소 1GB · 권장 2GB 모델 기준 적합도는 「매우 쾌적」입니다.

GeForce RTX 4060 Ti 16GB 그래픽카드

구매 링크

GeForce RTX 4060 Ti 16GB 그래픽카드에서 호환 모델별 L-TPS Index — Q4 · 8K 컨텍스트 기준 상대 추정치
이름	VRAM 적합	L-TPS Index
Kokoro 82M82M	매우 쾌적	47
NVIDIA Parakeet TDT 0.6B v30.6B	매우 쾌적	622
Whisper Large v3 Turbo809M	매우 쾌적	47
Chatterbox TTS0.5B	매우 쾌적	746
Microsoft Phi-4 Mini Reasoning4B	매우 쾌적	93
Google Gemma 4 E2B ITE2B	매우 쾌적	187
Google Gemma 4 E4B ITE4B	쾌적	93
Stable Audio Open 1.0audio-large	쾌적	47