설명
HRM-Text-1B는 Sapient Intelligence에서 개발한 정교한 언어 모델로, 10억 개의 매개변수 아키텍처를 특징으로 합니다. 이 모델은 계층적 추론 모델(HRM) 아키텍처를 기반으로 하며, 이중 시간 척도 순환 설계를 사용합니다. 이 설계는 고수준 및 저수준의 두 개의 Transformer 모듈을 통합하여 입력 임베딩을 여러 사이클에 걸쳐 처리할 수 있게 하여, 매개변수 수를 제한하면서도 무한한 계산 깊이를 유지할 수 있습니다.
더 읽기
이 모델은 조건 접두사 토큰을 사용하여 PrefixLM 목표로 사전 훈련되어, 분류, 추출 및 구조화된 출력과 같은 다양한 NLP 작업에 적합합니다. 그러나 HRM-Text-1B는 사전 정렬 모델 체크포인트이며, 채팅이나 지시 따르기 작업에 최적화되어 있지 않다는 점에 유의해야 합니다. 이러한 응용 프로그램에 관심이 있는 사용자는 작업별 데이터에 대해 감독된 미세 조정(SFT) 또는 강화 학습(RL)과 같은 추가 정렬을 수행해야 합니다.
HRM-Text-1B는 NLP 작업을 위한 몇 가지 샘플을 포함한 직접 조건 및 추론 및 수학 작업을 위한 복합 조건을 포함한 다양한 프롬프트 기법을 지원합니다. 모델의 아키텍처에는 게이티드 주의 메커니즘, RoPE 위치 인코딩 및 SwiGLU 활성화와 같은 기능이 포함되어 있어 다양한 작업에서 강력한 성능을 보장합니다.
이 모델은 주로 영어 텍스트 코퍼스에서 훈련되었지만, 제3자 실험을 통해 코딩 작업에 대한 적응 가능성을 보여주었습니다. 그러나 사용자는 출력의 잠재적 편향 및 부정확성을 포함한 한계를 인식해야 합니다. HRM-Text-1B는 Apache License 2.0에 따라 오픈 소스로 제공되어 추가 연구 및 개발을 장려합니다.
- 카테고리AI 모델 및 LLM
- 요금제오픈소스
- 배포클라우드
- 플랫폼웹
HRM-Text-1B 하이라이트
10억 개의 매개변수
계층적 추론 모델 아키텍처
이중 시간 척도 순환 설계
PrefixLM 목표 사전 훈련
게이티드 주의 메커니즘
RoPE 위치 인코딩
SwiGLU 활성화
Apache License 2.0에 따른 오픈 소스
HRM-Text-1B 시작하기
모델 페이지 접근: HRM-Text-1B의 Hugging Face 모델 페이지를 방문하세요.
인증: Hugging Face 계정에 로그인하세요.
구성: 필요한 변환기 버전으로 모델을 설정하세요.
프롬프트 전송: 작업에 적합한 프롬프트 기법을 사용하세요.
미세 조정: 특정 응용 프로그램을 위한 추가 정렬을 수행하세요.
HRM-Text-1B의 사용 사례
- NLP 분류
- 데이터 추출
- 추론 작업
- 단답형 QA
- 개방형 생성
