AI Engineering 입문하기

이 글은 언어 모델과 파운데이션 모델을 AI Engineering 관점에서 정리한 글이다.

최근 생성형 AI가 빠르게 확산되면서 언어 모델, 파운데이션 모델, 멀티모달, AI Engineering 같은 용어가 함께 사용되는 경우가 많아졌다.

하지만 이 개념들은 각각 따로 설명되는 경우가 많아 전체 흐름을 한 번에 이해하기는 쉽지 않다.

이 글에서는 언어 모델이 어떻게 학습되는지에서 시작해, 파운데이션 모델이 등장하게 된 배경과 그 위에서 AI Engineering이 어떤 역할을 하는지까지 하나의 흐름으로 정리한다.

모델 구조의 세부 구현이나 수식 설명보다는, 개념 간의 관계와 역할에 초점을 둔다.

이 글은 모델을 직접 처음부터 학습하는 연구 관점이 아니라, 이미 학습된 모델을 바탕으로 애플리케이션을 설계하고 구현하는 관점에서 작성되었다.

이후 지도 파인튜닝(SFT), 선호도 파인튜닝, 프롬프트 엔지니어링, RAG 등 AI Engineering에서 자주 등장하는 개념을 같은 방식으로 이어서 정리할 예정이다.

---

1. Language Model(언어 모델)

언어 모델은 텍스트 시퀀스에서 다음에 올 토큰을 예측하도록 학습된 모델이다. 대부분의 언어 모델은 지도 학습이 아니라 자기 지도 학습(Self-supervised Learning) 방식으로 학습된다. 이 방식에서는 사람이 직접 정답 레이블을 만들 필요가 없다. 텍스트 자체가 입력이자 정답이 되기 때문이다.

학습 과정은 비교적 단순하다. 문장의 앞부분을 입력으로 주고, 그 다음에 올 단어를 예측하도록 학습시키는 과정을 반복한다. 내부적으로 언어 모델은 대화를 이해한다기보다, 이전 토큰이 주어졌을 때 다음 토큰이 나올 확률을 계산하는 확률 모델에 가깝다. 우리가 대화처럼 느끼는 출력 역시 이 확률 계산의 결과다.

텍스트 → 토큰화 → 다음 토큰 예측 → 파라미터 업데이트

이 구조 덕분에 웹 문서, 책, 코드처럼 이미 존재하는 방대한 텍스트 데이터를 그대로 활용할 수 있었고, 대규모 언어 모델이 등장할 수 있었다. 언어 모델은 다음 토큰을 어떻게 예측하느냐에 따라 성격이 나뉜다. 이 구분은 모델이 어떤 작업에 적합한지를 이해하는 데 중요하다.

 

언어 모델의 학습 방식에 따른 구분

• 마스크 언어 모델 (Masked Language Model)
  • BERT(Pre-training Deep Bidirectional Transformers for Language Understanding)
  • 문장의 앞뒤 문맥을 동시에 이해해야 하므로 텍스트 이해, 분류, 검색, 문서 분석에 적합
  • 코드 디버깅 모델처럼 앞뒤 코드를 모두 이해해 오류를 찾아야 하는 작업에 사용됨
  • 문장 일부를 가리고, 주변 토큰을 사용해 예측 → 보통 인코더(Encoder) 모델로 분류됨
• 자기회귀 언어 모델 (Autoregressive Language Model)
  •  GPT 계열 모델→ 보통 디코더(Decoder) 모델로 분류됨
  • 텍스트 생성과 대화에 특화되어 있으며 현재 사용되는 대부분의 생성형 AI가 이 구조를 기반으로 함
  • 이전 토큰만을 사용해 시퀀스의 다음 토큰을 순차적으로 예측

이 두 방식의 차이는 단순한 구현상의 차이가 아니라, 모델의 용도 차이로 이어진다.

문장을 이해하는 데 강한 모델과, 문장을 만들어내는 데 강한 모델은 서로 다른 목적을 가진다.

모델의 크기는 보통 파라미터 수로 표현된다.

파라미터는 학습 과정에서 조정되는 모델 내부의 변수로, 모델이 표현할 수 있는 정보의 범위와 직접적으로 연결된다.

파라미터 수가 증가할수록 모델은 더 복잡한 패턴을 학습할 수 있지만, 그만큼 비용과 운영 부담도 함께 증가한다. 

---

2. Foundation Model

파운데이션 모델은 특정 작업 하나만을 위해 만들어진 모델이 아니다. 하나의 모델을 기반으로 다양한 작업을 수행할 수 있도록 설계된 범용 모델이다. 과거에는 번역, 요약, 분류 같은 작업마다 별도의 모델을 학습하는 것이 일반적이었다.

이를 구조적으로 정리하면 다음과 같다.

• 전통적인 방식
  • 작업마다 모델을 따로 학습
  • 작업마다 데이터셋 구성
  • 작업마다 배포 및 운영
• 파운데이션 모델 방식
  • 하나의 범용 모델
  • 공통 데이터 기반 학습
  • 하나의 인프라에서 여러 작업 수행

파운데이션 모델은 입력과 출력의 형태만 바꾸어 다양한 작업을 처리한다. 이는 모델 개발 비용뿐 아니라, 운영과 유지보수의 복잡도를 크게 줄여준다. 이 흐름은 멀티모달 모델로 확장되었다. 멀티모달 모델에서는 텍스트뿐 아니라 이미지, 음성과 같은 서로 다른 형태의 데이터도 함께 처리한다. 중요한 점은 이 데이터들 역시 모두 토큰으로 표현된다는 것이다.

• 텍스트 토큰
• 이미지 토큰
• 음성, 비디오 토큰

이 토큰들은 공통의 임베딩 공간에서 함께 학습되고, 의미적으로 연결된다.

2021년 공개된 CLIP은 이러한 접근 방식을 처음으로 크게 보여준 사례다. 이후 생성형 멀티모달 모델들은 이 구조를 기반으로 발전해왔다.

 

 

AI Engineering

모델의 성능이 일정 수준을 넘어서면 문제의 중심은 바뀐다. 더 이상 “모델을 만들 수 있는가”가 아니라 “이 모델을 어떻게 쓸 것인가”가 중요해진다. AI Engineering은 바로 이 지점에서 등장한 개념이다.

AI Engineering은 파운데이션 모델을 기반으로 실제 애플리케이션과 서비스를 만드는 전 과정을 의미한다. 모델을 처음부터 설계하고 학습하는 일보다는, 이미 존재하는 모델을 어떻게 활용하고 조정할지를 고민한다. 여기에는 성능뿐 아니라 비용, 지연 시간, 안정성과 같은 시스템적인 요소도 함께 포함된다.

실무에서 모델의 출력이 기대에 미치지 못하는 경우는 흔하다. 이때 가장 먼저 하는 일은 모델을 다시 학습시키는 것이 아니다. 보통은 다음과 같은 순서로 접근한다.

• 결과가 만족스럽지 않음 → 프롬프트 수정 → 컨텍스트 추가(RAG) → 그래도 부족하면 파인튜닝(Fine Tuning)

이 순서는 기술적 우열이 아니라, 비용과 유지보수를 고려한 현실적인 선택이다.

AI Engineering은 이러한 판단을 반복하며 시스템을 설계하는 일에 가깝다.

 

AI Application 기획

AI 애플리케이션은 기술적으로 가능하다는 이유만으로 만들어지지 않는다. 대부분은 위험을 줄이거나 새로운 기회를 만들기 위해 기획된다. 이 과정에서 중요한 것은 AI와 사람의 역할을 어떻게 나눌 것인가다.

AI가 모든 결정을 내릴 것인지, 사람을 보조하는 역할에 머무를 것인지, 혹은 단계적으로 자동화를 확대할 것인지를 명확히 해야 한다.

이는 애플리케이션의 신뢰성과 확장성에 직접적인 영향을 미친다.

실제 서비스에서는 보통 사람의 개입이 많은 구조에서 시작한다. 이후 내부 사용자와의 상호작용을 거쳐 자동화를 점진적으로 늘리고, 최종적으로 외부 사용자까지 확장한다. 이를 흔히 crawl, walk, run 단계로 표현한다.

Crawl	추천, 초안 생성	최종 판단
Walk	자동 처리	예외 대응
Run	자동 결정	모니터링

 

이 과정에서 Human-in-the-loop 설계는 안정성과 신뢰성을 확보하는 데 중요한 역할을 한다.

 

AI 세 가지 계층

차상위 계층에서 시작해 필요에 따라 아래로 내려간다.

1. 애플리케이션 개발 : 가장 빠르게 발전
   1. (역할) 모델에 적절한 프롬프트와 필요한 컨텍스트를 제공
   2. AI 인터페이스, 프롬프트 엔지니어링, 컨텍스트 구성, 평가
2. 모델 개발
   1. (역할) 모델링, 학습, 파인튜닝, 추론 최적화를 위한 프레임워크를 포함해 모델을 개발하기 위한 도구를 제공, 데이터 엔지니어링
   2. 추론 최적화, 데이터셋 엔지니어링, 모델링과 학습, 평가
3. 인프라
   1. 모델 서빙, 데이터와 컴퓨팅관리, 모니터링 도구

---

AI Engineering vs ML Engineering

AI Engineering과 ML Engineering은 비슷해 보이지만, 다루는 문제의 성격이 다르다. 두 역할의 차이는 모델을 어떻게 바라보는가에서 시작된다.

	ML Engineering	AI Engineering
모델 학습/조정	필요한 모델을 직접 학습(ML 지식 필수)	파운데이션 모델 사용, 모델 조정에 초점
컴퓨팅	덜 중요	GPU , 큰 컴퓨팅 클러스터 필요(효율적인 학습과 추론 최적화)
데이터셋 엔지니어링	특성공학 역량	데이터 중복 제거, 토큰화, 컨텍스트 검색, 품질 관리 더 중요
추론 최적화	중요함	더 중요함

 

<참고 도서>

Chip Huyen, AI Engineering (https://product.kyobobook.co.kr/detail/S000217939673)