설명
Canopy Labs는 아바타를 위한 실시간 인터랙티브 모델을 구축하는 작업을 설명하며, 디지털 인간을 개발하여 실제 인간과 구별되지 않도록 하는 것을 목표로 하고 있습니다. 이 회사는 이를 소프트웨어와의 상호작용 방식을 재편할 것으로 기대되는 개방형 연구 문제로 설정하고, 개인화된 교육 경험 및 기업 회의에 참여하는 아바타와 같은 시나리오를 기술이 가능하게 할 방향으로 나열하고 있습니다. 이는 회사가 명시한 비전이지 출시된 기능은 아닙니다.
더 읽기
Canopy Labs는 이전에 Orpheus TTS를 출시했으며, 이 제품은 여러 기업에 채택되었고, 백만 번 이상 다운로드되었으며, 수천 번 포크되거나 파인튜닝되었습니다(회사의 자체 수치). 그 이후로 Canopy Labs는 1,700만 달러를 모금했으며, 아직 공개되지 않은 추가 음성 및 아바타 모델을 개발하고 있다고 밝혔습니다.
현재 제공되는 제품은 Orpheus v1로, 두 가지 계층(Base 및 Flash)으로 제공되는 텍스트 음성 변환 모델입니다. 이 모델은 본래 다국어 지원을 하며, 영어, 힌디어, 만다린, 독일어, 일본어, 프랑스어, 이탈리아어, 포르투갈어, 러시아어, 스페인어, 한국어를 지원하고, 대본 내에서 감정 전달을 조절하기 위한 인라인 스테이지 지시도 지원합니다. Canopy Labs는 이 모델이 초저지연성을 가지고 있으며, p99 응답 시간이 기준선에서 30밀리초 이내라고 주장합니다. 30개 이상의 사전 설정된 음성을 포함하는 음성 라이브러리가 제공되며, 전문 음성 클로닝 또는 원샷 음성 클로닝을 통해 몇 시간의 오디오로 맞춤형 브랜드 음성을 구축할 수 있습니다.
기업 고객을 위해 Orpheus는 온프레미스 또는 프라이빗 클라우드에 배포할 수 있으며, 우선 지원 및 SLA를 제공하여 단순히 호스팅된 API를 통해 제공되지 않습니다. Canopy Labs는 사이트에서 고객 지원 음성, 자기 반성 톤, 극적인 낭독, 언어 학습 내레이션, 명상 코치 음성 등 여러 사전 설정된 전달 스타일을 통해 모델을 시연하여 동일한 모델이 다양한 레지스터를 처리하는 모습을 보여줍니다. Canopy Labs는 사이트에서 Orpheus의 공개 가격을 게시하지 않습니다.
- 카테고리AI 아바타 생성기
- 배포클라우드
- 플랫폼웹
Canopy Labs의 핵심 기능
Base 및 Flash 계층에서 제공되는 텍스트 음성 변환 모델(Orpheus v1)
영어, 힌디어, 만다린을 포함한 11개 언어에서 본래 다국어 지원
대사의 감정 전달을 조절하기 위한 인라인 스테이지 지시 지원
몇 시간의 오디오로부터 맞춤형 음성을 구축할 수 있는 전문 및 원샷 음성 클로닝 제공
30개 이상의 사전 설정된 음성 라이브러리 제공
초저지연성을 주장하며, p99는 기준선에서 30밀리초 이내
SLA 지원과 함께 온프레미스 또는 프라이빗 클라우드 기업 배포 지원
출시된 음성 제품을 넘어 실시간 인터랙티브 아바타 모델 연구 중
Canopy Labs 사용 방법은?
모델 계층 선택: 지연 및 품질 요구에 따라 Orpheus v1 Base 또는 Flash를 선택합니다.
음성 선택 또는 클로닝: 라이브러리 음성을 사용하거나 샘플 오디오에서 맞춤 음성을 클로닝합니다.
스크립트 작성: 전달 방식을 형성하기 위해 톤이나 감정과 같은 스테이지 지시를 추가합니다.
배포 선택: 호스팅된 모델을 사용하거나 온프레미스 또는 프라이빗 클라우드 배포를 준비합니다.
출력 통합: 생성된 음성을 제품, 아바타 또는 지원 워크플로에 피드합니다.
Canopy Labs의 사용 사례
- 음성 제품 프로토타이핑
- 고객 지원 음성
- 언어 학습 내레이션
- 기업 온프레미스 배포
