Ollaya로 로컬 LLM 모델 비교·선정하는 법

로컬 LLM을 실무에 쓰려다 보면 '어떤 모델이 우리 업무에 제일 잘 맞을까?'를 놓고 수일씩 삽질하게 됩니다. Ollaya는 Ollama 생태계 위에서 모델 후보를 나란히 세워 프롬프트·지표·비용을 한 번에 비교·기록해 주는 무료 오픈소스 도구입니다.

왜 Ollaya를 써야 하나요

로컬 LLM을 직접 돌려보며 비교·선정하는 과정은 생각보다 번거롭습니다. 모델마다 프롬프트·파라미터·하드웨어 조건을 바꾸어가며 여러 번 실행하고, 결과를 스프레드시트에 옮겨 적으며 버전을 관리하다 보면 실수도 잦고 시간도 많이 듭니다. Ollaya는 이 모든 단계를 자동화된 벤치마크 파이프라인으로 묶어주므로, 동일한 조건에서 여러 모델을 한 번에 실행·기록·비교할 수 있습니다.

자동 벤치마크로 얻는 구체적 이점

• 동일 프롬프트·파라미터·하드웨어에서 재현 가능한 점수 확보
• 토큰 속도·메모리 사용량·퍼플렉서티 등 정량 지표 자동 수집
• 실행 로그·설정·결과가 버전 단위로 저장돼 롤백·비교 용이
• 웹 UI에서 필터·정렬·차트로 모델 간 성능 한눈에 파악

팀 협업·공유 워크플로

1. 1. 벤치마크 정의 공유

   benchmarks/ 폴더의 YAML 파일을 Git 저장소에 커밋하면 팀원 모두 같은 조건으로 테스트 가능

2. 2. 실행 결과 자동 동기화

   ollaya push 로 중앙 DB(로컬 SQLite 또는 원격 PostgreSQL)에 결과 업로드

3. 3. 대시보드에서 공동 분석

   웹 대시보드 접속 → 모델·버전·지표 필터링 → 코멘트·태그 달며 의사결정

설치·실행 5단계

1. Docker로 가장 빠르게 시작하기

docker run -d --name ollaya \
  --network host \
  -p 8080:8080 \
  ghcr.io/ollaya/ollaya:latest

2. 미리 빌드된 바이너리 내려받아 실행

도커 없이 단일 실행 파일로 쓰고 싶다면 GitHub Releases 페이지에서 OS·아키텍처에 맞는 압축 파일을 받으세요. 압축을 풀고 실행 권한만 주면 바로 동작합니다.

3. 소스 코드에서 직접 빌드

git clone https://github.com/ollaya/ollaya.git
cd ollaya
go build -o ollaya .
./ollaya

4. 실행 확인 및 Ollama 연동 점검

5. 자주 쓰는 환경 변수 요약

배포 방식에 상관없이 다음 환경 변수로 동작을 제어할 수 있습니다. 도커면 -e, 바이너리면 export 또는 .env 파일에 적으세요.

정리: 다음에 해볼 것

확장 아이디어: CI/CD 파이프라인 연동

모델 비교 결과를 자동화 파이프라인에 녹이면 릴리스마다 품질을 검증할 수 있어요. GitHub Actions나 GitLab CI에서 ollaya run --config benchmark.yaml --output json 명령어를 단계로 넣고, 산출된 JSON을 아티팩트로 올리면 PR마다 성능 회귀를 바로 पक을 수 있습니다.

name: Ollaya Benchmark
on: [pull_request]
jobs:
  bench:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - name: Run Ollaya
        run: |
          curl -fsSL https://github.com/ollaya/ollaya/releases/latest/download/ollaya_linux_amd64.tar.gz | tar xz
          ./ollaya run --config .ollaya/benchmark.yaml --output json > result.json
      - uses: actions/upload-artifact@v4
        with:
          name: benchmark-result
          path: result.json

프롬프트·파라미터 버전 관리

팀 공유 대시보드 구축

비교 결과를 한눈에 보는 대시보드를 팀 위키나 내부 툴에 붙이면 의사결정 속도가 빨라집니다. Ollaya가 내보내는 JSON/CSV를 주기적으로 수집해 Grafana, Metabase, 또는 간단한 Streamlit 앱으로 시각화하세요.

1. 1. 결과 수집 스크립트 작성

   ollaya run --output json 결과를 S3/MinIO 버킷에 날짜별 파티션으로 적재

2. 2. 시각화 레이어 선택

   Grafana(시계열), Metabase(광고-hoc SQL), Streamlit(커스텀 UI) 중 팀 스택에 맞게 선택

3. 3. 알림 규칙 추가

   새 모델 점수가 베이스라인 대비 5% 이상 하락 시 Slack/이메일 알림

4. 4. 문서화

   대시보드 링크와 해석 가이드를 README·Notion·Confluence에 정리

그 밖의 확장 포인트

• 다중 GPU 스케줄링: ollaya serve --gpu-allocation auto로 큐잉·동시 실행 자동화
• 비용·탄소 배출 추적: 실행 시간·전력량 로깅 후 FinOps 대시보드에 통합
• 프롬프트 A/B 테스트 프레임워크: 통계적 유의성 검정(p-value) 자동 계산 모듈 추가
• 모델 카드 자동 생성: 벤치마크 요약·라이선스·하드웨어 요구사항을 마크다운으로 내보내기

• CI 파이프라인에 벤치마크 단계 추가
• 프롬프트 버전 관리 디렉터리 구조 확정
• 팀 대시보드 프로토타입 배포(1주일 내)
• 비용·탄소 추적 로거 구현

• 원문 보기