Category

로컬 LLM

Mac mini, Ollama, mlx-lm 같은 로컬 AI 실험을 기대감과 실제 제약을 나눠서 기록합니다.

이 카테고리에서 해결하는 질문로컬 LLM은 언제 클라우드 AI보다 낫고, 초보자는 어떤 기준으로 선택해야 할까요?

Field Thesis

이 허브에서 먼저 잡는 판단

단순 글 묶음이 아니라, 이 주제에서 Daejin Lab이 실제로 확인한 기준과 한계를 먼저 보여줍니다.

판단

로컬 LLM은 무조건 안전한 대체재가 아니라, 민감 원문·반복 실험·오프라인 작업에서 먼저 검토할 선택지입니다.

가장 강한 근거

M4 Mac mini 16GB, LM Studio, Ollama, Gemma 계열 실험을 데이터 민감도와 실패 비용 기준으로 비교했습니다.

알려진 한계

정밀 벤치마크가 아니라 개인 장비의 체감 실행과 운영 판단을 기록한 글 모음입니다.

이런 독자에게 먼저 권합니다
  • 로컬 LLM을 처음 설치하는 사람
  • 클라우드 AI에 원문을 넣기 찝찝한 사람
  • Mac mini 기준 현실감을 보고 싶은 사람

Topic Hub

처음 읽을 글 3개

이 주제를 처음 보는 사람이 판단 기준을 빠르게 잡을 수 있는 글부터 배치했습니다.

  1. 0116GB Mac mini에서 9B급 MLX 4bit 모델 두 개를 oMLX로 같은 프롬프트에 돌려 본 기록

    M4 Mac mini 16GB에서 oMLX로 Qwen3.8-9B와 Ornith-1.5-9B(둘 다 MLX 4bit)를 요약 프롬프트와 코드 수정 프롬프트 각 3회씩 돌렸습니다. 첫 토큰 시간 0.9~1.5초, 생성 속도 13.8~18.5 tok/s, 모델 메모리 약 4.9GiB였고, 두 모델의 속도 차이는 오차 안이었습니다.

  2. 02MAI-Code-1.1-Flash 로컬 버전, 16GB Mac mini에서 시도하기 전에 계산한 메모리

    Microsoft가 공개한 MAI-Code-1.1-Flash 로컬 버전의 크기 53GB, 256K 컨텍스트 피크 메모리 75.5GB, 권장 120GB 초과 수치로 M4 Mac mini 16GB에서 시도할 수 있는지 계산했습니다. 직접 실행한 기록이 아니라 공개 수치 기반 사전 점검입니다.

  3. 03Qwen3-TTS와 Supertonic 3를 같은 문장으로 재보고 기본 TTS를 바꾼 기록

    M4 Mac mini 16GB에서 Qwen3-TTS와 Supertonic 3에 같은 한국어 문장 4종을 넣고 생성 시간, 음성 길이, 피크 메모리, 샘플레이트를 비교한 뒤 에이전트 기본 TTS를 교체한 기록입니다.

최신 글 목록

최근 11개