설명
추론 대형 언어 모델, 다중 에이전트 시스템 및 다중 모드 AI 어시스턴스와 같은 전문 대리 시스템을 훈련하려면 종종 부족하거나 조직 내에서 분리되어 있거나 공유하기에 너무 민감한 대규모 고품질 데이터 세트가 필요합니다. NVIDIA의 합성 데이터 생성 도구는 NeMo Data Designer를 기반으로 하여 모든 도메인에 대해 대규모로 다양하고 도메인별 데이터 세트를 생성하여 이러한 격차를 해소하도록 설계되었습니다.
더 읽기
데이터 세트를 구축하는 것은 생성할 모델을 구성하는 것부터 시작하며, 쉽게 참조할 수 있도록 별칭과 조정 가능한 추론 매개변수를 사용합니다. 그 다음, 합성 출력이 해당 데이터의 패턴, 분포 및 특성을 유지하도록 기존의 실제 데이터를 사용하여 프로젝트를 시작할 수 있습니다. 다음 단계에서는 LLM이 생성한 열과 프롬프트 및 구조화된 출력을 포함하여 데이터 세트를 구성하는 열을 정의합니다. 전체 데이터 세트로 확장하기 전에 작은 미리보기 샘플을 생성하고 검토할 수 있으며, NeMo Data Designer에는 생성된 코드를 검증하고 자동화된 메트릭 및 LLM 기반 심사를 사용하여 전체 데이터 품질을 평가하는 도구가 포함되어 있습니다.
이 도구는 여러 사용 사례를 다룹니다. 대리 AI의 경우, 추론, 계획 및 목표 지향 행동을 수행하는 모델을 훈련하고 평가하기 위해 텍스트 기반 데이터를 생성합니다. 대화형 AI의 경우, 도메인별 언어, 의도 변형 및 부족한 실제 전사에서 제공하는 것 이상의 드문 엣지 케이스를 포착하는 대화 데이터를 생성합니다. 평가 및 벤치마크의 경우, 검색 증강 생성(RAG) 성능을 측정하고 동일한 작업에서 여러 모델을 비교하기 위해 도메인별 질문-답변 데이터 세트를 구축합니다. 저자원 적응을 위해, 독점 코딩 언어 또는 저대표 언어에 대한 현실적인 텍스트를 생성합니다. 민감한 데이터의 경우, NeMo Safe Synthesizer는 HIPAA 및 GDPR과 같은 규정을 준수하도록 설계된 구성을 통해 데이터의 개인 정보 보호 안전 버전을 생성합니다. 이 도구는 또한 세금 양식, 법적 문서 및 모기지 승인과 같은 합성 구조화 문서를 지원하여 구조화된 데이터 응용 프로그램에 대한 모델 훈련을 위한 것입니다.
이 도구는 부족하거나 분리되어 있거나 민감한 실제 데이터 세트에만 의존하지 않고 훈련 또는 평가 데이터가 필요한 대리 AI, 대화형 AI 또는 RAG 시스템을 구축하는 팀을 대상으로 합니다. 가격 및 패키지는 이 페이지에 자세히 나와 있지 않으며, NVIDIA NeMo를 통해 접근할 수 있습니다.
- 카테고리머신러닝 플랫폼
- 요금제영업팀 문의
- 배포클라우드
- 플랫폼웹
대리 AI를 위한 합성 데이터 생성의 핵심 기능
대규모로 생성하기 전에 합성 데이터 세트 디자인을 구성하고 미리보기
도메인 패턴을 유지하기 위해 실제 데이터를 사용하여 생성 시작
구조화된 출력을 가진 사용자 정의 스키마 및 LLM 생성 열 정의
대화형 AI 훈련을 위한 도메인별 대화 데이터 생성
RAG 평가 및 모델 간 비교를 위한 QA 벤치마크 데이터 세트 구축
NeMo Safe Synthesizer를 사용하여 민감한 데이터의 개인 정보 보호 안전 버전 생성
세금 양식 및 법적 문서와 같은 합성 구조화 문서 생성
자동화된 메트릭 및 LLM 기반 심사를 통해 생성된 코드 검증 및 데이터 세트 품질 평가
저자원 및 독점 언어 텍스트 생성 지원
대리 AI를 위한 합성 데이터 생성 사용 방법은?
NeMo Data Designer에 접근: NVIDIA NeMo Data Designer를 열어 합성 데이터 프로젝트를 시작합니다.
모델 구성: 데이터 세트를 생성할 모델을 연결하고 별칭을 지정하며 추론 매개변수를 조정합니다.
시드 데이터 추가: 기존의 실제 데이터를 업로드하여 합성 출력을 기반으로 다양화합니다.
열 정의: 각 열에 대한 스키마, 프롬프트 및 구조화된 출력을 설정합니다.
미리보기 및 수정: 작은 샘플을 생성하고 결과를 확인한 후 디자인을 조정합니다.
생성 및 평가: 전체 데이터 세트로 확장한 후 자동화된 메트릭 및 LLM 기반 심사를 통해 검증합니다.
대리 AI를 위한 합성 데이터 생성의 사용 사례
- 대리 AI 훈련
- 대화형 AI 데이터
- RAG 평가
- 개인 정보 보호 안전 데이터 세트
