상담사 지원 AI 에이전트, 상담업무 소요 시간 단축 기대
인텔리전스 플랫폼, 통신사 대상 생성형 AI 앱 구축 지원
[서울파이낸스 이도경 기자] SK텔레콤이 5G 요금제, T멤버십, 공기지원금 등 국내 통신 전문 용어와 AI(인공지능) 윤리가치 등 통신사 내부 지침을 학습한 '텔코 LLM'을 이르면 오는 6월 선보인다.
SKT는 30일 서울 중구 SKT타워에서 '텔코 LLM 기자설명회'를 열고 이같이 밝혔다. 텔코LLM은 통신 산업에 특화된 LLM(대규모 언어모델)으로 오픈AI, 엔트로픽 등과 협력해 통신사의 데이터를 수집하고 정형·비정형 데이터를 선별해 자사 LLM인 에이닷엑스(A.X), 오픈AI의 'GPT', '클로드'에 학습시키는 방식으로 제작되고 있다.
SKT는 통신사들이 AICC(인공지능 컨택센터), 유통망, 네트워크 운용, 사내 업무 등 활용처와 특정 업무마다 최적화된 LLM을 가져다 쓸 수 있게 하는 '멀티(다중) LLM'전략을 펼칠 예정이다.
에릭 데이비스 SKT AI 테크 콜라보레이션 담당은 "1개 범용 LLM으로 통신사들이 하려는 다양한 서비스와 문제를 해결하는 것은 쉽지 않을 것"이라며 "통신 데이터와 도메인 노하우에 맞춰 조정하는 미세조정(파인튜닝)과 모델평가(벤치마킹)을 거쳐 다양한 텔코LLM을 만들고, 이를 상황에 맞게 골라 쓸 수 있도록 하는 것이 SKT의 멀티LLM 전략"이라고 설명했다.
◆ 텔코LLM, A.X·GPT-4 등 범용 LLM에 한국어 통신 특화 튜닝
SKT는 다양한 통신 특화 LLM 라인업을 갖추고 성능과 비용 절감 면에서 다변화를 꾀했다. SKT는 범용LLM 대비 텔코LLM은 통신 영역에서 높은 수준의 생성형 AI 작업을 수행할 수 있어 활용성이 높다고 설명했다.
SKT는 텔코LLM을 구축하기 위해 우선 텔코 데이터를 수집하고 비정형·정형 데이터를 선별, 정제하는 작업을 진행했다. 이를 기반으로 범용 LLM을 통신사 전용으로 파인튜닝하는 과정을 거치고, 휴먼 피드백 기반의 강화 학습(RLHF)을 한 후 최종 벤치마킹(모델 평가)을 하는 사이클을 거친다.
범용 LLM은 통신사의 번호이동 방법이나 절차 등 전문지식을 제대로 학습하지 않아 요금제 추천 같은 고객 요구에 제대로 대응하기 어렵지만, 통신 관련 데이터를 추가로 학습해 이 문제를 해결하는 과정이 텔코LLM의 파인튜닝이다.
이렇게 파인튜닝이 된 텔코LLM은 휴먼 피드백 기반의 강화학습(RLHF) 과정을 거친다. 강화학습에는 텔코LLM이 답변한 내용에 대해 상담사들이 품질, 만족도 등을 평가하고 채점하는 등 사람의 평가가 직접 반영된다.
마지막으로 텔코LLM의 언어 능력, 추론 능력, 통신 특화과제 수행 능력 등에 대해 벤치마킹을 한다. 예를 들어 고객이 요금제를 문의하거나 부가서비스 변경을 요청하는 식의 상담 유형을 선택하는 영역에서 낮은 점수를 받으면 관련 데이터를 더 구축하는 방식으로 학습하는 방식으로 LLM을 지속 고도화하는 방식이다.
◆ 상담사 지원 AI 에이전트, 상담업무 소요 시간 단축 기대
현재 고객센터에서 상담 전화 한 건을 처리하는데 고객 상담에 약 3분, 상담 후 업무 처리에 30초 이상이 소요되는 것으로 알려진다. SKT는 이번 텔코LLM 도입으로 상담사가 고객과 전화하는 동안 LLM이 해결책을 제공, 상담 내용을 요약해주는 등 상담 후 처리까지 소요 시간을 크게 단축할 것으로 기대했다.
특히 텔코LLM 중 통신 관련 데이터를 입힌 '클로드' 버전의 경우 AI가 따라야 할 윤리원칙을 학습하고 있어 빠르게 생겨나고 있는 국내 신조어나 한국어 욕설, 위협 폭언 식의 문맥 뉘앙스를 정확하게 파악할 수 있다.
SKT는 텔코LLM이 통신사의 네트워크 인프라 운용에도 유용할 수 있다 밝혔다. 네트워크 모니터링 중 문제가 발생할 경우, 인프라 운용자가 실시간으로 텔코LLM에 질문을 입력하면 장비 매뉴얼, 대응 사례 등 정보 기반으로 상황에 맞는 답변을 빠르게 제공한다.
SKT는 향후 인프라 운용 중에 발생되는 데이터 분석과 축적된 데이터 기반의 정보 조회 등에도 텔코LLM을 확대 적용할 계획이다.
정민영 SKT AI플랫폼 담당은 "고객센터, 인프라 뿐만 아니라 마케팅·유통망 등 고객 접점이나 법무, HR와 같은 사내 업무까지 통신사 운영의 다양한 영역에서 텔코LLM이 업무 효율성을 높일 것"이라며 "지속적으로 텔코LLM을 활용한 유즈케이스를 늘려갈 계획"이라고 설명했다.
◆ 인텔리전스 플랫폼, 통신사 대상 생성형 AI 앱 구축 지원
SKT는 통신사들이 생성형 AI 애플리케이션을 효율적으로 구축, 개발할 수 있는 '인텔리전스 플랫폼'도 공개했다. 이는 멀티 LLM부터 멀티모달, 오케스트레이션, 검색증강생성(RAG) 등까지 아우르는 일종의 '기업용 AI 개발·운용 패키지'다.
기존 범용 LLM은 성능에 비례해 추론 비용이 높고 특정 영역에 대한 이해도가 낮을 수 있기 때문에, 이번 인텔리전스 플랫폼은 단일 LLM에 의존하지 않고 통신업에 특화된 멀티 LLM을 이용한다고 SKT는 설명했다.
또 멀티LLM을 인텔리전스 플랫폼을 현재A.(에이닷) 등의 서비스 등에 적용 중이며, 적용 사례를 지속 확대할 예정이다.
SKT는 이번 인텔리전스 플랫폼을 △고객센터 콜봇 △챗봇 △유통 채널 어시스턴트 △인프라 어시스턴트 △사내 업무 혁신 등 넓은 서비스에 활용할 수 있다고 설명했다.
SKT 관계자는 "우리나라를 비롯해 글로벌 통신사들은 물론 상담업무 등 유사한 업무특성을 가진 기업들이 텔코 LLM 인텔리전스 플랫폼을 통해 거대 플랫폼 개발에 드는 비용과 시간을 절감할 수 있을 것으로 기대한다"고 밝혔다.
