최근 한국어 AI 연구자들이 눈독들이고 있다는 분야
-
- 관련링크 : https://www.fmkorea.com/7109311162200회 연결
본문
다들 알다시피 모델에 사실기반 정보를 넣는것은 매우 고된일이면서, 모델의 파라미터를 추론능력에 쏟을 수 없고, 자칫하다간 할루시네이션을 유발하는 일이다.
그렇다면 한국어 로컬 모델을 나무위키와 연결하면 어떨까? RAG와 개념은 비슷하게 ChatGPT의 브라우징처럼 덤프해놓은 나무위키 데이터로 간단한 서버를 열고 사용하는것이다.
예시)
User: 아이폰 15 프로 하드웨어 스펙이 어떻게 돼? 아이폰 13에서 바꿀 가치가 있을까?
Assistant: <|namuwiki|>[QUERY]아이폰 15 프로[/QUERY]
[RESP]<LIST>
1. 개요
2. 사양
3. 특징
3.1. 기능
3.2. 주변 기기 및 액세서리
3.2.1. 주변 기기
3.2.2. 액세서리
4. 출시
4.1. 대한민국 시장
4.2. 대한민국 시장 이외
5. 소프트웨어 지원
6. 논란 및 문제점
7. 기타
7.1. 홍보 영상
8. 공개 전 루머
</LIST>[/RESP]
[QUERY]2[/QUERY]
[RESP]
프로세서
Apple A17 Pro APL1V02 SoC
+ 2세대 초광대역 칩 + Qualcomm Snapdragon X70 5G Modem
메모리
8 GB LPDDR5 SDRAM
128 / 256 / 512 GB / 1 TB NVMe 규격 내장 메모리
디스플레이
6.1인치 19.5:9 비율 2556 x 1179 Super Retina XDR Display (460 ppi) 이하 생략
[/RESP]<|namuwiki|>
아이폰 15 프로는...~~
연두색은 서버에서 리턴, 빨간색은 EOS로 작용으로 한번 생각해봤는데
이런식으로 로컬서버 구성해서 사용하면 작은 모델 추론능력만 극대화 시켜서 실사용 하기에는 괜찮은 생각인것같다.
위처럼 Agent 프롬프트 만들어서 조금 먹이고 dpo좀 먹이면 잘 할 수 있지 않을까?
****
출처 : AI 언어모델 로컬 채널
댓글목록0