최근 한국어 AI 연구자들이 눈독들이고 있다는 분야 > 유머게시판

다들 알다시피 모델에 사실기반 정보를 넣는것은 매우 고된일이면서, 모델의 파라미터를 추론능력에 쏟을 수 없고, 자칫하다간 할루시네이션을 유발하는 일이다.

그렇다면 한국어 로컬 모델을 나무위키와 연결하면 어떨까? RAG와 개념은 비슷하게 ChatGPT의 브라우징처럼 덤프해놓은 나무위키 데이터로 간단한 서버를 열고 사용하는것이다.

예시)

User: 아이폰 15 프로 하드웨어 스펙이 어떻게 돼? 아이폰 13에서 바꿀 가치가 있을까?

Assistant: <|namuwiki|>[QUERY]아이폰 15 프로[/QUERY]

[RESP]<LIST>

1. 개요

2. 사양

3. 특징

3.1. 기능

3.2. 주변 기기 및 액세서리

3.2.1. 주변 기기

3.2.2. 액세서리

4. 출시

4.1. 대한민국 시장

4.2. 대한민국 시장 이외

5. 소프트웨어 지원

6. 논란 및 문제점

7. 기타

7.1. 홍보 영상

8. 공개 전 루머

</LIST>[/RESP]
[QUERY]2[/QUERY]

[RESP]

프로세서

Apple A17 Pro APL1V02 SoC 

+ 2세대 초광대역 칩 + Qualcomm Snapdragon X70 5G Modem

메모리

8 GB LPDDR5 SDRAM

128 / 256 / 512 GB / 1 TB NVMe 규격 내장 메모리

디스플레이

6.1인치 19.5:9 비율 2556 x 1179 Super Retina XDR Display (460 ppi) 이하 생략

[/RESP]<|namuwiki|>

아이폰 15 프로는...~~

연두색은 서버에서 리턴, 빨간색은 EOS로 작용으로 한번 생각해봤는데

이런식으로 로컬서버 구성해서 사용하면 작은 모델 추론능력만 극대화 시켜서 실사용 하기에는 괜찮은 생각인것같다.

위처럼 Agent 프롬프트 만들어서 조금 먹이고 dpo좀 먹이면 잘 할 수 있지 않을까?

****

출처 : AI 언어모델 로컬 채널