[EOST 2023] ETRI Open Source Tech Day 에 참여하다!

10월 11일 수요일, 과학기술정보통신부에서 주회한 ETRI 오픈소스 테크데이에 참여했습니다.

 

프로그램 일정은 다음과 같습니다.

EOST2023

 

저는 이중에서 핸즈온 강연인 "오픈소스 LLM & 생성형 AI 알아보고 실습하기" 에 참여하고,

남은 시간 동안은 패널토의 - "오픈소스가 만드는 LLM의 미래는?" - 를 듣기도 했습니다.

 

---

오픈소스 LLM & 생성형 AI 알아보고 실습하기

 

사실 저는 AI 쪽 진로가 아니고,그래서 사전지식도 거의 없지만 이번 기회에 "Learning by Doing" 을 하고자 사전 신청을 했습니다.

 

실습에 앞서 Large Model Language 의 역사 및 간략한 내용 설명을 들었습니다.

2017년 구글에서 발표한 Transformer 부터 GPT, BERT, GPT2, GPT3 그리고 chatGPT 까지 변천사와, 인코더/디코더 모델의 차이점을 알 수 있었습니다. chatGPT 의 한계로는 “Open AI 에서 만들었지만 Closed AI” 라며, 인터넷 연결을 필요로 하고 입력된 정보가 Open AI 서버로 전송된다는 점이 거론됩니다.

그로 인해 오픈소스 LLM 에 관심을 갖게 되는 이유는 다음과 같습니다.
첫 번째, 데이터의 privacy 가 필요한 경우 오픈소스 LLM 은 로컬이나 내부 서버에서 실행이 가능하다.
두 번째, 대규모 언어 모델을 비즈니스 목적에 맞게 다시 학습하거나 파인튜닝을 통해 새로운 소규모 모델을 운영할 수 있다.
세 번째, 대형 LLM 을 사용하는데 소요되는 비용과 공급업체 종속 가능성에 따른 잠재 리스크를 줄일 수 있다.

 

 

오픈소스 LLM 로는 Meta AI 의 LLaMA, 스탠포드의 Alpaca, UC 버클리 등의 연합에서 만든 Vicuna 등이 있습니다.

저는 https://github.com/aifrenz/text-generation-webui-colab 에서 “llama-2-7b-chat-GPTQ-4bit (4bit)”  오픈소스를 구글 Colab을 통해 실습해보았습니다.

 

LLM 의 성능을 개선하기 위해 RAG 와 Fine Tuning 중 무엇을 선택할지 스스로 고려해보아야 합니다.

RAG 와 파인 튜닝은 스푼과 나이프 - 음식을 수저로 퍼먹을지, 원하는 만큼 조정해서 자를 지 – 에 비유되곤 합니다.

https://github.com/youngmook/aihub/blob/main/h2ogpt_gpu.ipynb 의 오픈소스로 RAG 를 실습해 보았습니다. 내(블로그 주인장)가 누구인지 쿼리를 보냈을 때, customized 이전엔 전혀 엉뚱한 대답을 했지만, 제 Resume PDF 를 데이터 소스로 등록했을 땐 어느정도 일치한 대답을 한다는 것을 알 수 있었습니다.

오픈소스 LLM 파인 튜닝은 아쉽게도 코드 오류로 인해 실습하지 못했습니다.

 

이후, PEFT, LoRA, 양자화 기법에 대해서도 알아보며 강연이 끝났습니다.

 

---

 

AI 는 4차 산업혁명의 대표주자 입니다.

그동안 산업 흐름의 주도권을 쥐고 있던 전통적인 반도체 시장은(PC, 스마트폰의 탄생과 발전으로 스마트폰 고사양화, SSD 확대 등) 이미 정체기라고 생각합니다. 이제는 AI 를 중심으로 혁명적인 기술이 생겨날 것이기 때문에 직접적인 AI 종사자가 아니더라도 기술과 활용방법 등을 파악해야 합니다.

강연을 통해 기술 동향 및 AI 를 이해하기 위한 큰 틀이 잡힌 것 같습니다.