설명
Nebius 토큰 팩토리는 Nebius AI Cloud의 일부로, Nebius의 개발자 지향 부문으로, 상장된(NBIS) AI 인프라 회사입니다. OpenAI 호환 API를 통해 오픈 소스 언어 모델을 제공하므로, 기존에 OpenAI 클라이언트 라이브러리를 사용하여 작성된 코드는 최소한의 변경으로 토큰 팩토리를 가리킬 수 있습니다. Nebius는 이 제품이 실시간 및 배치 추론, 전용 엔드포인트 및 생산 SLA를 포함하여 초기 실험을 넘어서는 작업 부하를 처리하도록 설계되었다고 설명합니다.
더 읽기
이 서비스는 빠른 시작과 생산 작업 부하를 모두 포함합니다. 개발자는 API를 직접 호출하거나, 놀이터에서 프롬프트를 테스트하거나, LiteLLM 및 Aisuite와 같은 지원되는 통합을 통해 기존 도구에 연결할 수 있습니다. LlamaIndex 및 LangChain과 같은 프레임워크, Agno 및 CrewAI와 같은 에이전트 라이브러리도 포함됩니다. 프로토타입 단계를 넘어선 팀을 위해 토큰 팩토리는 전용 엔드포인트, 캐시 인식 라우팅을 통한 자동 확장 및 실시간 제약 외부에서 대량 요청을 처리하기 위한 배치 추론을 추가합니다.
사전 훈련된 모델을 그대로 제공하는 것을 넘어, 토큰 팩토리는 후처리 및 사용자 정의를 지원합니다: 팀은 자신의 데이터에서 오픈 모델을 미세 조정하고, 결과로 생성된 사용자 정의 모델을 동일한 인프라를 통해 배포할 수 있습니다. Nebius는 대규모 혼합 전문가 모델이 지연 예산에 미치는 영향, 추측적 디코딩이 생산 서비스에 미치는 변화, 라우팅 설계가 부하 하에서 확장과 정체의 차이에 미치는 영향을 다루는 아키텍처 주제를 포함한 기술 문서 및 블로그 게시물로 이를 지원합니다.
토큰 팩토리는 폐쇄형, 독점 API가 아닌 오픈 모델을 기반으로 구축하려는 개발자 및 AI 팀을 대상으로 합니다. 이는 Nebius의 더 넓은 AI Cloud와 함께 제공되며, 관리형 추론을 사용하는 대신 자신의 사용자 정의 스택을 훈련하거나 실행하려는 팀을 위한 GPU 가상 머신 및 클러스터를 제공합니다. Nebius는 또한 플랫폼에서 구축하는 사람들을 위한 크레딧 및 지원, 실행 가능한 예제가 포함된 요리책, 커뮤니티 오피스 시간, Discord 및 Token Factory의 아키텍처와 그 위에 구축된 커뮤니티 프로젝트를 안내하는 YouTube 재생 목록을 제공하는 Builder Program을 운영합니다.
토큰 팩토리 추론에 대한 구체적인 가격은 페이지에 공개되어 있지 않습니다; Nebius의 더 넓은 AI Cloud 가격은 사용량 기반이며, 토큰 팩토리의 관리형 추론과 별도로 훈련 및 호스팅에 사용되는 GPU 인스턴스를 포함합니다.
- 카테고리MLOps 및 모델 배포
- 요금제프리미엄
- 배포클라우드
- 플랫폼웹
Nebius 토큰 팩토리의 핵심 기능
오픈 소스 모델 제공을 위한 OpenAI 호환 API
인터랙티브 애플리케이션을 위한 실시간 추론
대량 비인터랙티브 작업 부하를 위한 배치 추론
자동 확장 및 캐시 인식 라우팅이 포함된 전용 엔드포인트
오픈 모델 사용자 지정을 위한 후처리 및 미세 조정 지원
LiteLLM, Aisuite, LlamaIndex 및 LangChain과의 통합
Agno, CrewAI 및 Pydantic을 통한 에이전트 프레임워크 지원
통합 전 모델을 테스트하기 위한 인터랙티브 놀이터
Nebius 토큰 팩토리 사용 방법은?
가입하기: API 액세스를 얻기 위해 토큰 팩토리 계정을 생성합니다.
API 키 받기: 토큰 팩토리 대시보드에서 자격 증명을 생성합니다.
놀이터에서 테스트하기: 코드를 작성하기 전에 프롬프트를 시도하고 오픈 모델을 비교합니다.
API 호출하기: 기존 OpenAI 호환 클라이언트 코드를 토큰 팩토리 엔드포인트로 가리킵니다.
확장하기: 요청량이 증가함에 따라 전용 엔드포인트 또는 배치 추론으로 이동합니다.
사용자 지정하기: 후처리 도구를 사용하여 자신의 데이터에서 모델을 미세 조정합니다.
Nebius 토큰 팩토리의 사용 사례
- 오픈 모델로 프로토타입 제작
- 대규모 생산 추론
- 배치 데이터 처리
- 사용자 정의 모델 배포
