NVIDIA NIM을 통한 Kimi 2.5(moonshotai/kimi-k2.5) 사용 현황에 대한 심층 조사 결과입니다.

NVIDIA NIM을 통한 Kimi 2.5(moonshotai/kimi-k2.5) 사용 현황에 대한 심층 조사
결과입니다.

🦅 NVIDIA NIM - Kimi 2.5 상태 보고

1. 불안정한 서비스 가용성 (가장 유력한 원인)

• NVIDIA 개발자 포럼 보고: 약 1주일 전부터 "Kimi K2.5가 API를 통해 대부분의
  시간 동안 사용 불가능하다"는 보고가 다수 확인되었습니다.
• 오류 유형: 다른 Kimi 모델은 정상 작동하나, 2.5 버전만 유독 429 (Too many
  requests) 또는 Bad request 에러를 빈번하게 발생시키고 있습니다. 이는 모델
  자체의 인기가 높아 NVIDIA 측 할당 리소스가 부족하거나, Moonshot AI와의
  엔드포인트 통신에 병목이 있음을 시사합니다.

1. API 호출 방식의 특이사항

• 추론 모드(Thinking Mode) 지원: Kimi 2.5는 'Thinking' 모드와 'Instant' 모드를
  모두 지원하는데, API 호출 시 특정 파라미터나 시스템 프롬프트 설정에 따라 응답
  지연(Time-out)이 발생할 가능성이 높습니다.
• 엔드포인트: 현재 사용 중인 https://integrate.api.nvidia.com/v1은 정상적인
  표준 엔드포인트이나, 최근 NVIDIA Technical Blog(3일 전 게시)에 따르면
  Blackwell 아키텍처 도입 등 인프라 업데이트가 진행 중이라 일시적인 불안정성이
  있을 수 있습니다.

1. 지역 및 요율 제한 (Rate Limit)

• NVIDIA NIM 무료 티어의 경우 모델별로 엄격한 요율 제한이 적용됩니다. Kimi
  2.5처럼 고성능 추론 모델은 일반 모델보다 훨씬 낮은 TPM(Tokens Per Minute) 또는
  RPM(Requests Per Minute)이 설정되어 있을 확률이 큽니다.

1. 결론 및 현재 상황

• 응답 없음의 실체: 현재 재열 님의 환경에서 발생하는 '응답 없음'은 설정
  오류보다는 **NVIDIA NIM 서버 측의 리소스 부족 또는 Kimi 2.5 모델 엔드포인트의
  일시적 장애(Unusable state)**일 가능성이 매우 높습니다.
• 기술적 시사점: 3일 전 NVIDIA 기술 블로그에서 대대적으로 홍보했음에도
  불구하고, 포럼에서는 "대부분의 시간 동안 사용 불가"라는 피드백이 지배적인
  것으로 보아 서비스 품질이 아직 안정화되지 않은 단계로 판단됩니다.