로컬 AI PC 사양, 그래픽카드보다 먼저 볼 것

내 PC로 무료 AI를 돌릴 수 있는지는 그래픽카드 이름이 아니라 모델 파일이 메모리에 통째로 올라가느냐로 갈립니다.

8월 11일 Unsloth Desktop이 나왔고, 하루 앞선 8월 10일에는 Meta가 30B 규모 에이전트 모델의 가중치를 Apache 2.0 라이선스로 풀었습니다.

여기서는 사양을 가르는 기준, 눈에 잘 안 띄는 비용, 설치 전에 훑을 점검 목록을 순서대로 봅니다.

누가 이 결정을 하나

모든 사람이 할 결정은 아닙니다.

회사 문서를 외부로 안 보내고 요약하고 싶은 사람, 인터넷이 끊기는 환경에서 쓰는 사람, 구독료를 줄이려는 사람 정도입니다.

웹 브라우저에서 무료 챗봇으로 충분하다면 이 글은 건너뛰어도 됩니다. 로컬 실행은 성능을 사는 게 아니라 통제권을 사는 선택이니까요.

먼저 보는 결론

30B급 모델을 4비트로 돌리려면 Meta 공식 안내 기준 24~32GB급 그래픽 메모리나 그만한 통합 메모리가 필요합니다. 그 아래 사양이라면 더 작은 모델부터 시작하는 편이 안전합니다.

Meta는 4비트판 파일이 20GB 아래라고 밝히면서도, 실행 환경으로는 소비자용 24~32GB GPU와 고사양 맥북 계열을 함께 들었습니다.

파일 크기와 실제 필요한 메모리가 다르다는 뜻입니다. "로컬 AI 되나요"라는 질문에 "어떤 모델을 원하세요"라고 되물어야 하는 이유이기도 합니다.

판단 기준 네 가지

기준	무엇을 보나	모자라면 생기는 일
모델 크기	파라미터 규모와 내려받을 파일 용량	애초에 실행이 시작되지 않음
양자화	4비트·8비트 등 정밀도 옵션	용량은 줄지만 답변 품질이 흔들릴 수 있음
그래픽 메모리	GPU에 붙어 있는 전용 메모리 용량	메모리 부족 오류, 또는 극단적으로 느린 응답
시스템 메모리	일반 RAM, 맥은 통합 메모리 총량	다른 앱까지 같이 버벅임

양자화는 모델이 쓰는 숫자의 정밀도를 낮춰 용량을 줄이는 기법입니다. 고해상도 사진을 적당히 압축해 저장하는 것과 비슷합니다.

한국어 성능은 어떨까요. Meta는 100개 넘는 언어 데이터로 학습했다고만 밝혔고, 한국어 품질을 따로 수치로 제시하지는 않았습니다.

공개된 성능 표도 Meta가 자체 측정한 결과입니다. 독립 기관의 재현 결과가 나오기 전까지는 참고값으로만 두는 게 맞습니다.

가격표에 안 적힌 비용

모델은 무료입니다. 돌리는 건 무료가 아닙니다.

긴 답변을 뽑는 동안 GPU는 계속 높은 부하로 돕니다. 전기요금과 팬 소음이 같이 올라가고, 노트북은 발열 때문에 속도를 스스로 낮춥니다.

시간도 비용입니다. 수십 GB짜리 파일을 내려받고, 양자화 버전을 고르고, 베타 단계 앱의 오류를 검색하는 데 첫 주말이 통째로 들어갈 수 있습니다.

Unsloth Desktop은 무료 오픈소스이고 윈도우·맥·리눅스를 모두 지원하지만, 공식 사이트 기준으로 아직 베타 딱지가 붙어 있습니다.

반응형

상황별로 무엇을 고르면 되나

그래픽 메모리가 8~12GB인 보급형 게이밍 PC라면 소형 모델부터 시작하세요. 문서 요약, 번역 초벌, 간단한 코드 설명 정도는 충분히 굴러갑니다.

24GB 이상 GPU나 통합 메모리가 넉넉한 맥이라면 30B급을 시험해볼 만합니다. 다만 첫 시도는 4비트판으로 하는 편이 덜 아픕니다.

사양이 애매하면 부품부터 사지 마세요. 클라우드 무료 등급으로 두어 주 써보고, 정말 자주 쓰는지부터 확인하는 게 순서입니다.

개인적으로는 로컬 AI의 진짜 매력이 속도나 품질보다 "이 문서가 내 컴퓨터 밖으로 안 나간다"는 점에 있다고 봅니다. 그 조건이 필요 없다면 굳이 사양 싸움을 할 이유가 없습니다.

설치 전 점검 목록

☐ 내 GPU의 그래픽 메모리 용량을 정확히 확인했는가

☐ 받으려는 모델의 4비트판 파일 용량을 확인했는가

☐ 저장 공간이 모델 용량의 두 배 이상 남아 있는가

⚠️ 노트북이라면 전원 어댑터를 꽂고 발열 상태를 지켜볼 준비가 됐는가

✅ 네 항목이 다 통과하면 작은 모델 하나를 먼저 받아 실행 속도를 재보고, 그 결과로 30B급 도전 여부를 정하면 됩니다.