한국전자통신연구원_한국어 생성 언어모델(EiLLM)

What it contains

한국어 생성 언어모델(EiLLM)

• 한국어 텍스트 생성이나 질의응답 모델을 직접 실행하거나 미세조정하기
• 언어모델 성능을 다른 모델과 비교 연구하기

Official description

과학기술정보통신부의 재원으로 정보통신기획평가원의 지원을 받아 수행된 전문지식 대상 판단결과의 이유/근거를 설명가능한 전문가 의사결정 지원 인공지능 기술개발 과제에서 개발된 한국어 생성 언어모델을 공개합니다. ETRI에서 배포하는 언어모델은 총 2종이며, 한국어 모델(polyglot-ko-12.8b)을 기반으로 약 26만개의 instruction following 데이터로 fine-tuning된 모델과 영어 모델(llmama2-13b)을 기반으로 약 63만개의 instruction following 데이터로 fine-tuning된 모델입니다. 영어 모델 기반으로 fine-tuning된 생성 언어모델은 NIA와 Upstate가 주최하는 Open-ko-llm 리더보드에서 추론과 상식분야에서 1위를 하였습니다 (2023. 10. 10기준).

Details

Provider

한국전자통신연구원

Type

FILE

Formats

PT

Update cycle

수시 (자동 갱신)

Period

2023년 10월 10일 기준 리더보드 성적 언급

Rows / size

60

Keywords

LLM,생성언어모델,인공지능

Modified

2024-07-10

Source ID

15129677 · https://www.data.go.kr/data/15129677/fileData.do

Related terms

언어모델인공지능 모델한국어 AI챗봇생성형 AILLM생성 언어모델large language modelLLMinstruction tuningfine-tuning 모델Open-ko-llm 리더보드polyglot-ko

Related datasets

1. 한국전자통신연구원_KoreBERT(wordpiece)

   한국전자통신연구원
   한국어 언어모델 KorBERT(WordPiece)의 활용 예시와 문서 분류 구현을 담은 파이썬 딥러닝 소프트웨어입니다.
2. 문화체육관광부 국립국어원_교육 과정 정보

   문화체육관광부 국립국어원
   국립국어원 온라인 국어문화학교의 교육 과정, 교보재, 동영상, 강의 정보를 담은 네 개의 테이블 데이터이다.
3. 한국형사법무정책연구원_LLM 학습용 QA 연구보고서 데이터

   한국형사법무정책연구원
   한국형사법무정책연구원 연구보고서 30편을 바탕으로 생성한 LLM 파인튜닝용 질의응답(Q/A) 데이터세트이다.
4. 문화체육관광부 국립국어원_한국어기초사전

   문화체육관광부 국립국어원
   한국어기초사전의 표제어, 뜻풀이, 예문 정보를 오픈 API 형태로 제공하는 자료입니다.
5. 문화체육관광부 국립국어원_온라인 한국어교수학습샘터_교수자료정보

   문화체육관광부 국립국어원
   국립국어원 한국어교수학습샘터의 한국어 교수 자료 정보로, 교재명, 단원, 수준, 목표 문법과 어휘 등을 담고 있다.
6. 문화체육관광부 국립국어원_국어문화학교 강의 교육 목록

   문화체육관광부 국립국어원
   국립국어원 온라인 국어문화학교의 강좌 목록(강좌명 등)을 담은 데이터이다.