1탄: AWS Bedrock을 활용한 LLM 기반 AI 시스템 구축기 – 실무에서 경험한 고민과 해법

 

안녕하세여

간만에 본업으로 다가왔습니다.

물론 블로그 시작한지 3일째긴하지만..

 

요즘 회사에서 AI 관련으로 POC를 진행 중에 있습니다.

처음엔 그냥 단순히 이미지검색기능을 구현하는 줄 알고 차근차근 알아보며 이론을 다지는 시간을 가졌었는데요

 

생각보다 너무 재밌어서..요즘 많이 빠져있습니다.

그리고 알면알수록 어렵고 복잡하다보니 계속 부딪히며 하나하나 풀어나가고 있어요

쉬울 수가 없겠져..!?

 

반응형

 

👀 프로젝트 배경

프로젝트 목적은 간단해요:
"고객의 진짜 니즈를 AI가 알아채고, 설득력 있게 대답하자!"

그래서 단순 Q&A 챗봇이 아니라,

• 고객이 무슨 말을 하고 싶은 건지 파악하고
• 내부 문서나 자료를 참고해서
• “이런 게 필요하신 거군요!” 하고 대답해주는
  그런 똑똑한 챗봇을 만드는 게 목표예요.

 

⚙️ 사용한 기술들 이번 프로젝트에선 아래처럼 구성했어요:

• AWS Bedrock: LLM 모델 제공 (저는 Nova LLM 이용했어요)
• Embedding 모델: Titan Text Embeddings v2
• Knowledge Base: Bedrock의 문서 기반 QnA 시스템
• 파일 처리: PDF, 엑셀, CSV는 S3에 올려서 인제스트 / pdf 이미지는 아직 해보진 않았어요
• LangChain: 프롬프트, 흐름 제어용
• UI: 사내 웹챗 프론트

bedrock 로고

🤯 실제로 부딪힌 문제들

1. Bedrock, 진짜 괜찮은 선택일까?

• 장점: 인프라 고민 없이 바로 LLM 돌릴 수 있음
• 단점: 비용 & 벤더 락인
  그래서 지금은 Bedrock으로 먼저 POC를 해보는 수순으로 작업에 돌입함
  
  

2. 문서를 AI가 잘 못 읽는 문제

Knowledge Base는 편하긴 한데,
PDF나 엑셀처럼 구조가 복잡한 문서는 의도대로 안 읽히더라고요.

chunking이랑 wrap 관련 옵션조정해보며 계속 ingest 해가며 고생을 많이 하긴했네여 ㅎㅎ

 

그래서 저희는 파일 포맷별로 전처리 방법을 따로 만들고 있어요.
예를 들어 표 위주인 문서는 텍스트만 뽑는 게 아니라 구조까지 살펴서 분할해야 하더라고요.

3. 유저 질문, 너무 자유로우면 LLM이 해맴

"이게 궁금한 건가…?"
"아냐, 저 얘긴가…?"

LLM도 혼란스러워할 수 있어요.
그래서 유저가 질문하면, 그걸 의도별로 정리해서 LLM한테 넘기고 있어요.
단계적으로 질문 유도도 하고, 프롬프트도 상황에 맞게 나눠주고요.

---

💡 지금까지 얻은 인사이트

• AI는 결국 '질문을 이해하게 만들기'가 핵심이다.
• Bedrock은 초기 프로토타입 만들 땐 최고!
• 하지만 장기적으론 오픈소스 대비도 필요
• PDF나 엑셀, 진짜 생각보다 처리 어려움. 전처리 필수.

---

🛠 앞으로 할 일

• Knowledge Base 문서 자동 정제 시스템 만들기
• 질문-응답에 대한 Prompt Engineering

---

📝 마무리

이번 프로젝트 하면서 AI도 결국 데이터와 사람이 다 한다는 걸 다시 느꼈어요.
“이거 멋지다!”보다 “진짜 쓸만하다”는 걸 만들려면, 결국 실무자가 머리 싸매야 하더라고요 ㅋㅋ

Bedrock, LangChain, 벡터 검색… 이런 키워드로 고민 중이시라면
저처럼 회사에서 직접 써보는 과정에서 많은 걸 배우실 거예요.

혹시 비슷한 프로젝트 하고 계신다면 댓글이나 DM 주세요.
같이 얘기해보면 좋을 것 같아요!

 

 

다음편에는 Bedrock의 꽃인 Agent로 돌아올께요! 

가장 재밌게 했었어요 오늘은 1탄!