AMD의 최신 그래픽 카드 RX9070xt는 게임 성능면에서 엔비디아와 어깨를 겨룰만큼이며 가성비측면에서 큰 관심을 받고 있다.
그런데 로컬LLM을 고려할 때 과연 RX9070xt가 괜찮은 선택일까?
많은 사람들이 정신건강의 위해서 Nvidia를 선택하라고 하지만 비슷한 성능과 VRAM의 Nvidia 모델인 RTX4080은 RX9070xt보다 AU500가량 더 비싸다. RX9070xt도 이미 AU1,500불 가량으로 절대 저렴한 제품이 아닌데 Nvidia는 제품의 순수 성능대비 가격의 거품이 너무 심하다.
VRAM 24GB의 RX7900 XTX를 구하고 싶었지만 호주에서 구하기는 쉽지 않았다. GPU가 시장에 나오자마자 사라지는 느낌이다.
로컬 LLM 영역에서 AMD의 확장이 지속되고 있는 방향성에 기대하며 과감하게 RX9070xt를 선택한 것은 잘 한 것일까?
일단, LM Studio에서 RX9070xt를 지원하기 때문에 GPU를 활용한 빠른 텍스트 기반 인공지능을 로컬에서 사용할 수 있다.
VRAM이 18GB이라 많이들 추천하는 최고 24GB에는 못미치지만 일단 Gemma3 12B q6 모델 (10.51GB) 까지는 큰 무리없는 속도를 보여준다. 토큰 기준으로 24token/sec 수준의 속도를 보여준다.
GPU offloading이 47/48로 CPU의 도움이 아주 조금만 받는 상황이라 나름 빠른 속도가 가능하다.
다만 이보다 한단계 더 큰 Gemma 3 27B 모델은 속도가 많으 느려서 계속반복해서 Prompt Engineering을 해봐야 하는 입장에서 사용하기 힘든 성능을 보여주었다.
다행인것은 Gemma3 12B q6 모델로도 꽤 나름 퀄리티 있는 한글 텍스트 생성이 가능했다. 영문생성은 더 퀄리티가 좋을것으로 예상된다.
2025. 4. 2일 기준으로 ollama는 아직 native로 RX9070xt를 지원하지 않고 있는데 AMD의 LLM GPU libary인 ROCm이 정식으로 RX9070xt를 지원하게 되면 ollama도 RX9070xt를 지원하게 될것이다.
개인적으로는 LM Studio로도 ollama대비 사용하는데 불편함은 없는 것 같다.
LLM 동작중에 GPU는 90%정도 CPU는 (9900x) 50% 정도 사용되고 있고 GPU온도는 50도 이하로 유지되고 있다.
현재까지는 나름 만족스럽다.