로컬 LLM 설치 방법

요약하면, 맥 스튜디오급 128GB 통합 메모리 장비는 ‘챗봇을 대체하는 컴퓨터’라기보다 ‘반복 실행 비용을 낮추는 개인 AI 워크스테이션’에 가깝습니다. Qwen 계열 35B급 모델은 MLX/oMLX 환경에서 초당 약 117토큰 수준까지 보고될 만큼 속도가 올라왔고, Claude Code 형태의 CLI와 Hermes Agent 스킬까지 로컬 모델로 연… 더 읽기

128GB RAM을 갖춘 맥은 로컬 LLM을 실사용 영역으로 끌어올리는 기준점입니다. oMLX형 최적화, 긴 문맥 처리, KV 캐시 여유, 그리고 Claude Code·Hermes Agent 연동이 결합되면 개발 보조와 자동화를 로컬에서 안정적으로 운영할 수 있습니다. 맥 환경에 맞춰 설계된 추론 엔진과 캐시 구조가 결합되면, 로컬 AI는 실험용을 넘어 개… 더 읽기

맥미니 로컬 LLM 사용 후기: 직접 돌려본 실사용 리뷰 최근 맥미니에서 로컬 LLM을 직접 돌려보면서 느낀 점을 정리했다. 단순히 "된다, 안 된다" 수준이 아니라, 실제로 어떤 모델이 쓸 만한지, 어디서 답답한지, 그리고 지금 시점의 로컬 AI가 어디까지 왔는지에 초점을 맞췄다. 맥미니 로컬 LLM 썸… 더 읽기