오픈 Ko-LLM 리더보드

이든티앤에스(대표 김연기)가 한국어 대형언어모델(LLM) 순위 강자로 떠올랐다.

업스테이지와 한국지능정보사회진흥원(NIA)이 공동 주최하는 '오픈 Ko-LLM 리더보드' 2월 2주차에서 이든티앤에스의 모델 'DataVortexS-10.7B-dpo-v1.0'은 2위를 차지했다.

무엇보다 '추론능력(ARC)'과 '상식능력(HellaSwag)'에서 각각 56.91점, 65.81점을 획득했다. 이는 현재 10위권 내 분야별 최고점이다.

이든테앤에스는 RPA(로봇프로세스자동화) 솔루션 전문 기업이다. 현재는 데이터 수집·관리·활용 전문으로 나아가고 있다고 설명했다.

리더보드 참가를 통해 다양한 베이스를 기반으로 자체 데이터셋을 적용, 최적의 추론기법을 만들어가고 있다고 소개했다. 이번 모델은 업스테이지의 '솔라'를 바탕으로 한 '메가스터디/M-SOLAR-10.7B-v1.3'를 베이스로 사용했다.

특히 "RPA를 통해 데이터를 직접 핸들링하며 얻은 노하루로 데이터셋 구축에 강점을 보이고 있다"라고 강조했다.

2007년 설립한 이든티앤에스는 2021년 국내 최초의 웹 기반 RPA 솔루션 '웍트로닉스' RPA를 개발, 공공 기업과 제조, 유통 등 다양한 분야의 120개 이상 기업에 서비스해 왔다. 

최근에는 다양한 현장에서 생성 인공지능(AI) 서비스를 요청받고 있다고 밝혔다. 따라서 현재 '웍트로닉스_RPA'나 '데이터볼텍스_플랫폼' 등에 생성 AI 기술을 내재화, 제품화 단계에 와 있다고 전했다. 

이 과정에서 리더보드 2위를 기록한 것은 성공적인 기술 고도화를 보여주는 증거라고 설명했다. 이번 모델 개발은 미래전략기술부 최승현 디렉터, 최효석 리서처 , 양광석, 최정원 AI 개발자가 담당했다.

이든티앤에스 관계자는 "정말 기쁘다"라며 "리더보드가 AI 기술력을 모두 대변하진 않겠지만, 쟁쟁한 상장회사들과 경쟁해 상위권에 올랐다는 것에 자부심을 느낀다"라고 말했다.

한편 롯데정보통신은 1월3주차부터 한달째 정상을 지키고 있다. 또 인스웨이브와 CJ올리브네트웍스, 메가스터디, 야놀자 등 최근 두어달 사이에 등장한 강자들이 상위권을 형성하고 있다. 

이 가운데 1위 롯데정보통신 모델 'LDCC-SOLAR-10.7B'은 평균 점수 59.34점을 기록 중이다. 이를 넘어, 한국어 벤치마크에서 처음으로 평균 60점이 넘는 모델이 언제 등장할지가 관심이다. 

리더보드 상세 내용은 NIA 홈페이지나 허깅페이스 홈페이지에서 확인할 수 있다. 

전문 보기 : https://www.aitimes.com/news/articleView.html?idxno=157100