설명
AI21은 자체 최종 사용자 앱을 제공하는 대신, AI 에이전트를 운영하는 기업을 위한 인프라를 구축합니다. AI21의 주장은 대부분의 팀이 에이전트가 실제로 필요로 하는 것보다 훨씬 더 많은 토큰 비용을 지불하고 있으며, 일반 모델 교체만으로는 품질을 해치지 않고 이를 해결할 수 없다는 것입니다.
더 읽기
현재 베타 버전인 AI21 Gateway는 에이전트와 모델 사이에 위치하는 드롭인 엔드포인트입니다. 통합은 에이전트의 API 기본 URL을 게이트웨이에 지정하는 한 줄의 변경으로 이루어지며, Claude Code, Codex, LangChain 또는 사용자 정의 하네스와 같은 도구와 함께 추가 코드 변경 없이 작동합니다. 게이트웨이는 에이전트의 실제 트래픽에서 비용 프로파일을 구축한 다음, 중복된 컨텍스트를 다듬고 재구성하며, 작업 난이도에 따라 각 턴을 올바른 모델로 라우팅하고, 단일 호출을 개별적으로 최적화하는 대신 전체 실행을 고려하여 캐싱을 조정합니다. AI21은 자율 코드 검토 에이전트에서 68%의 비용 절감을 보고하며, 모든 절감 권장 사항은 생산에 도달하기 전에 코딩 벤치마크에 대해 확인됩니다. AI21 Gateway는 베타 미리보기 기간 동안 무료로 사용할 수 있으며, 공유 작업 공간 접근과 같은 기업 기능은 AI21에 직접 문의해야 합니다.
두 번째 제품인 Post-Training은 AI21이 고객의 팀과 협력하여 그들의 데이터로 전용 모델을 훈련시키고, 팀이 추가 라운드를 실행할 수 있도록 훈련 레시피를 전달하는 서비스입니다. AI21은 회사의 추론 비용이 자체 모델을 호스팅하고 훈련하는 비용을 초과할 경우 더 저렴한 경로로 이를 제안합니다.
AI21은 2021년 Jurassic-1을 출시하면서 언어 모델을 훈련해 왔으며, 세계에서 두 번째로 대형 언어 모델을 출시한 회사라고 주장합니다. 이들의 작업에는 오픈 소스 Jamba 모델 패밀리와 데이터 혼합, 아키텍처 및 확장성에 관한 11개의 연구 논문이 포함됩니다. CEO Ori Goshen과 스탠포드 명예 교수이자 전 구글 수석 과학자인 의장 Prof. Yoav Shoham이 이끌고 있습니다.
AI21의 도구는 대규모로 AI 에이전트를 운영하는 엔지니어링 및 ML 팀을 위해 설계되었으며, 개인 개발자가 첫 프로토타입을 구축하기 위한 것이 아닙니다.
- 카테고리머신러닝 플랫폼
- 요금제부분 무료
- 배포클라우드
- 플랫폼웹
AI21의 핵심 기능
AI21 Gateway: AI 에이전트 트래픽의 토큰 비용을 줄이는 드롭인 엔드포인트
한 줄 통합; Claude Code, Codex, LangChain 또는 사용자 정의 하네스와 함께 작동
일반적인 휴리스틱이 아닌 실시간 트래픽에서 에이전트별 비용 프로파일 구축
전체 에이전트 실행을 고려한 궤적 인식 절감
중복된 토큰 지출을 줄이기 위한 컨텍스트 압축 및 적응형 캐싱
생산에 도달하기 전에 코딩 벤치마크에 대해 검증된 절감 권장 사항
Post-Training: 회사의 자체 데이터로 맞춤형 모델 훈련, 이후 레시피 전달
오픈 소스 Jamba 모델 패밀리를 포함한 내부 사전 훈련 연구 스택
AI21 사용 방법은?
연결: 에이전트의 API 기본 URL을 AI21 Gateway에 지정합니다.
트래픽 실행: 게이트웨이가 에이전트의 실제 사용에서 비용 프로파일을 구축하도록 합니다.
검토: 게이트웨이가 에이전트에 대해 제시하는 절감 권장 사항을 확인합니다.
승인: 생산에 도달하기 전에 적용할 변경 사항을 확인합니다.
맞춤형 모델 얻기: AI21의 Post-Training 팀과 협력하여 자신의 데이터로 전용 모델을 훈련합니다.
AI21의 사용 사례
- 에이전트 비용 절감
- 코딩 에이전트
- 맞춤형 기업 모델
- 다중 프레임워크 에이전트
