독자 AI 학습데이터 29종 공개, 3,544만건·1.56조 토큰을 AI허브에서 쓰는 법
30초 핵심 요약
과기정통부와 NIA가 독자 AI 파운데이션 모델 프로젝트에서 확보한 AI 학습데이터 29종을 AI허브에 개방한다. 규모는 약 3,544만건, 약 1.56조 토큰으로 사전학습·멀티모달·레드티밍 데이터까지 포함한다. 개발자는 ‘무료 공개’라는 말만 볼 게 아니라 데이터별 라이선스, 품질검증 상태와 안심존 등 별도 이용절차를 확인해야 한다.
1. 29종 데이터는 5개 정예팀이 실제 모델 개발에 쓴 자원이다
이번 개방 대상은 독자 AI 파운데이션 모델 프로젝트 5개 정예팀이 1차 단계평가 과정에서 구축한 총 29종 데이터다. 과기정통부는 약 3,544만건, 약 1.56조 토큰 규모로 추산하고 있다. 2025년 데이터 구축·가공 예산 150억원을 활용해 확보한 데이터가 포함된다.
2. 텍스트만이 아니라 영상·음성·안전성 데이터까지 있다
데이터 유형은 대규모 사전학습용 말뭉치뿐 아니라 영상·음성 등 멀티모달 데이터와 모델 안전성 검증을 위한 레드티밍 데이터까지 포함한다. 예를 들어 네이버클라우드가 구축한 공개 영상·방송 영상과 캡션·음성 질의응답, 업스테이지의 대규모 사전학습·사후학습 데이터처럼 팀별 개발전략에 맞춘 구성이 다르다. 목적에 맞는 데이터셋을 골라야 하는 이유다.
3. AI허브에서 국민이 활용할 수 있지만 절차는 데이터마다 다르다
과기정통부는 국내 기업·연구자·학생 등 대한민국 국민이 AI허브의 ‘독자AI모델 데이터’ 항목에서 팀별·데이터 종류별 자료를 확인할 수 있다고 안내했다. 다만 일부 데이터는 보안이 보장된 온라인 개발환경인 안심존을 통한 별도 신청 절차가 필요할 수 있다. 다운로드 가능 여부와 이용조건은 데이터셋 상세페이지에서 다시 확인해야 한다.
4. 1.56조 토큰이 곧바로 같은 성능을 보장하지는 않는다
공개 규모가 크더라도 모델 성능은 데이터 품질, 중복 제거, 도메인 적합성, 학습 방식과 모델 구조에 따라 달라진다. 따라서 공개 숫자만으로 특정 모델 성능을 예측하는 것은 어렵다. 개발자는 데이터 설명서와 품질검증 결과를 확인한 뒤 자신의 학습 목적에 맞게 샘플링·정제를 설계해야 한다.
📌 체크포인트
- AI허브에서 팀별·데이터 종류별 상세설명을 확인한다.
- 라이선스와 상업적 활용 가능 범위를 데이터셋별로 확인한다.
- 안심존 등 별도 신청이 필요한 데이터인지 확인한다.