설명
TabFM 1.0.0 (PyTorch)은 Google Research에서 개발한 제로샷 표 형식 기초 모델입니다. 이 모델은 구조화된 데이터, 특히 혼합된 수치 및 범주형 열을 가진 표 형식 데이터에서 분류 및 회귀 작업을 처리하도록 설계되었습니다. 모델은 미세 조정이나 하이퍼파라미터 검색 없이 작동하며, 사용자가 훈련 예제를 컨텍스트로 전달하고 단일 전방 패스를 통해 예측을 수행할 수 있습니다.
더 읽기
모델 아키텍처는 특징 상호작용 및 행 수준 패턴을 포착하기 위해 교차 행 및 열 주의를 사용합니다. 열 주의는 Set Transformer를 사용하여 각 셀을 푸리에 특징으로 임베딩하고, 유도된 자기 주의를 통해 행을 집계합니다. 행 압축은 CLS 토큰을 통해 이루어지며, 각 행을 행 수준 주의와 회전 위치 임베딩(RoPE)을 사용하여 밀집 벡터로 요약합니다. 24블록 인과 변환기인 ICL Transformer는 이러한 압축된 행 벡터에서 작동하며, 훈련 행을 컨텍스트로 처리하고 테스트 행에 대한 예측을 출력합니다.
TabFM은 이진 및 다중 클래스 분류(최대 10개 클래스)와 연속 목표에 대한 회귀에 최적화되어 있습니다. pandas DataFrame 또는 numpy 배열 형식의 데이터를 지원합니다. 이 모델은 표 형식 작업에서 일반적인 인과 구조에 대한 귀납적 편향을 인코딩하는 구조적 인과 모델(SCM)을 사용하여 생성된 수억 개의 합성 데이터 세트에서 훈련되었습니다.
51개 데이터 세트에 대한 TabArena에서의 성능 평가 결과, TabFM은 제로샷 모드에서 기울기 부스팅 트리를 포함한 고도로 조정된 감독 기준선을 초과하는 성능을 보였습니다. 그러나 분류를 위한 최대 10개 클래스 및 훈련 행 수에 따라 확장되는 메모리 사용량과 같은 제한 사항이 있습니다. 상업적 사용, 이미지, 오디오, 비디오, 원시 텍스트 또는 비표 형식 구조화된 데이터에는 사용되지 않습니다.
모델 가중치는 TabFM 비상업적 라이센스 v1.0에 따라 공개되며, 소스 코드는 Apache 2.0 라이센스 하에 제공됩니다.
- 카테고리AI 모델 및 LLM
- 요금제오픈소스
- 배포클라우드
- 플랫폼웹
TabFM 1.0.0 (PyTorch) 하이라이트
제로샷 표 형식 모델
분류 및 회귀 지원
혼합된 수치 및 범주형 데이터 처리
미세 조정 필요 없음
교차 행 및 열 주의
합성 데이터 세트에서 훈련됨
분류를 위한 최대 10개 클래스
비상업적 라이센스
TabFM 1.0.0 (PyTorch) 시작하기
모델 접근: Hugging Face 페이지 방문
인증: Hugging Face 자격 증명 사용
환경 설정: PyTorch 설치
API를 통한 통합: Hugging Face Hub API 사용
최적화: 대표 데이터에서 평가
TabFM 1.0.0 (PyTorch)의 사용 사례
- 이진 분류
- 다중 클래스 분류
- 회귀 분석
- DataFrame 통합
- Numpy 배열 지원











