우분투에서 라데온 그래픽카드 2개로 Local LLM 구동하기(feat. Ollama) – AI 핵심 요약 & 분석

AI 요약 분석

우분투에서 라데온 그래픽카드 2개로 Local LLM 구동하기(feat. Ollama)

이 글은 우분투 시스템에서 라데온 그래픽카드 2개를 활용해 Local LLM(지역형 언어모델)을 구동하는 실용적인 방법을 설명합니다. Ollama와 ROCM(Radeon Open Compute)을 결합하여 48GB VRAM을 확보한 고성능 환경을 구축할 수 있습니다.

핵심 절차

• 기존 설정 제거: ROCM과 Ollama를 완전히 삭제 (amdgpu-install –uninstall, sudo apt remove)
• ROCm 설치: dkms 미사용으로 정확한 버전 설치

  sudo amdgpu-install --usecase=graphics,multimedia,... --no-dkms -y

• 환경 설정: rocminfo 실행을 위해 PATH 및 LD_LIBRARY_PATH 추가 (bashrc에 기록)
• Ollama 설치: 자동으로 ROCM 모듈과 연동됨

  curl -fsSL https://ollama.com/install.sh | sh

• 모델 실행: gemma2-27b-instruct-q8_0 모델로 채팅 테스트 (속도 24~25토큰/초)

장점 및 제약사항

성능: RTX4090 대비 반값 가격으로 48GB VRAM을 구현 가능 (RX7900XTX 2개 사용)
호환성: PCIe 4.0 ×16와 ×4 조합에서도 5~10% 속도 차이로 동작
주의사항: ROCM 설치 시 dkms 미사용이 필수적 (기존 방법으로는 오류 발생)

참고: 블로그 작성자는 중고나라에서 구매한 RX7900XTX 2개와 B650 ProArt 메인보드를 사용해 테스트했습니다. 하드웨어 선택 시 가격 대비 성능을 고려할 수 있습니다.

이 글은 AI가 분석한 요약본입니다. (업데이트: 2025-12-01 13:56)