Inkling 2 Small은 총 5,940억(594B) 개의 파라미터와 170억(17B) 개의 활성 파라미터 및 256K 토큰의 컨텍스트 창을 지원하는 전문가 혼합(MoE) 언어 모델입니다.
제품의 기능과 공식 포지셔닝
Inkling 2 Small은 Thinking Machines에서 개발한 프론티어 규모의 파운데이션 모델입니다. 전문가 혼합(MoE) 아키텍처를 기반으로 구축된 이 모델은 총 5,940억 개의 파라미터 중 토큰당 170억 개의 활성 파라미터를 결합하여 최대 256K 토큰의 확장된 컨텍스트 창을 제공합니다.
Tinker 플랫폼에서 호스팅되는 Inkling 2 Small은 학습, 샘플링 및 베타 버전의 서버리스 추론을 지원합니다. 사용자는 Tinker의 API와 클라이언트 SDK를 통해 이를 커스텀 워크플로에 손쉽게 통합할 수 있습니다.
공식 출처로 확인된 활용 사례
조직은 Tinker 학습 API를 통해 지도 미세 조정(SFT)이나 강화 학습을 활용하여 특화된 도메인 데이터셋에 Inkling 2 Small을 맞춤 조정할 수 있습니다.
개발자는 서버리스 추론 엔드포인트를 통해 Inkling 2 Small을 배포하고 입력 캐싱을 활용하여 최대 256K 토큰에 달하는 긴 문서를 효율적으로 처리할 수 있습니다.
Inkling 2 Small은 총 5,940억 개의 파라미터로 구성된 희소 전문가 혼합(Sparse Mixture-of-Experts) 아키텍처를 구현하여, 토큰당 170억 개의 파라미터만 활성화되도록 연산을 라우팅합니다. 이러한 설계를 통해 모델은 광범위한 표현 능력을 확보하는 동시에 실제 추론 및 학습에 필요한 연산량을 효율적으로 억제합니다.
이 모델은 Thinking Machines의 Tinker 플랫폼에 직접 통합되어 관리형 GPU 클러스터 전반에서 그래디언트 누적, 순방향 및 역방향 패스, 옵티마이저 스텝, 주기적인 체크포인트 관리를 원활하게 조율합니다.
본인의 자료와 작업 흐름으로 직접 확인할 항목
확인한 출처와 확인 시점
출처를 확인한 제품 정보를 바탕으로 한 답변
Inkling 2 Small은 총 5,940억 개의 파라미터와 실행 시 토큰당 170억 개의 활성 파라미터로 동작하는 전문가 혼합(Mixture-of-Experts) 모델 아키텍처를 채택하고 있습니다.
Inkling 2 Small은 학습 및 추론 워크로드 모두에서 최대 256K(262,144) 토큰에 달하는 대규모 컨텍스트 창 길이를 안정적으로 지원합니다.
네, Inkling 2 Small은 현재 베타 기능으로 제공 중인 Tinker의 서버리스 추론 서비스를 통해 지원되며 입력 캐싱 기능을 함께 활용할 수 있습니다.
네, Tinker 플랫폼은 사용자가 작업 중 저장한 모델 체크포인트를 언제든지 로컬 환경이나 외부로 직접 다운로드할 수 있도록 API 엔드포인트를 제공합니다.
고객 관리형 Cloud KMS 암호화, VPC PrivateLink, 커스텀 OIDC 발급자, 세분화된 역할 기반 접근 제어(RBAC), 조직 감사 로그 등을 통해 워크로드를 철저히 보호합니다.
