Jev 한국어 서비스 분기 설계 기준
한국어 고객 문의를 자동 분류하려면 먼저 실제 문의로 판단 성능을 확인해야 합니다. Jev는 TypeSafe AI의 결정 모델로, 미리 정한 선택지와 확률을 돌려주지만 영어와 동등한 한국어 성능을 보장하지는 않습니다. 답의 형식을 제한할 수 있다는 점과 문의를 정확히 이해한다는 점을 구분해야 합니다.
담당 부서와 심각도에 맞는 질문 선택
자연어로 들어온 문의를 코드의 처리 경로에 연결하려면 무엇을 판단할지부터 나누는 편이 좋습니다. 평가할 내용은 state에, 판단 기준은 questions에 넣습니다. 질문마다 하나의 판단을 맡기고, 답을 조합하는 일은 코드로 처리하는 구조입니다.
- Choice는 담당 부서처럼 정해진 범주를 고를 때 사용합니다. 질문 하나에 최대 255개 선택지를 둘 수 있으며, 목록 밖의 문의가 예상되면 기타 항목을 고려할 수 있습니다.
- Score는 장애의 심각도처럼 설명이 붙은 단계를 평가합니다. 단계 번호는 0부터 시작하며, 각 번호에 확률을 반영한 평균을 반환하므로 소수점 점수도 나올 수 있습니다.
- Noul은 상담원 연결 요구처럼 특정 조건이 참일 확률을 0부터 1 사이로 반환합니다. 0.5 근처는 참과 거짓의 가능성이 비슷하다는 의미이며, 요구의 강도가 중간이라는 뜻은 아닙니다.
질문 유형을 목적에 맞추면 반환값을 부서 배정이나 검토 기준에 연결하기 쉬워집니다. 다만 같은 뜻을 물어도 유형에 따라 확률이 달라질 수 있어, 한 유형에서 정한 분기 기준을 다른 유형에 그대로 적용해서는 안 됩니다.
Jev의 코드 예제와 검증 항목
인조이스의 원문 기사는 질문 유형 비교부터 실제 코드 연결까지 다뤄, 맡기려는 판단에 어떤 질문이 맞는지 대조하는 데 도움이 됩니다. TypeScript 호출 예제와 신뢰도 계산, 실패 유형별 대응을 함께 제시해 구현 전 점검할 부분을 구체화합니다. 가격과 응답 시간의 발표 조건, 공식 문서 확인 경로도 찾을 수 있습니다.
신뢰도와 정답률을 구분하는 방법
자동 실행 기준을 정할 때 confidence를 정답률로 읽으면 기준의 의미가 달라집니다. 이 값은 답에 부여된 확률 분포를 요약한 지표입니다. 선택지가 3개이고 확률이 0.6, 0.3, 0.1인 예시에서 confidence는 0.4입니다. 선택된 답의 확률 60%와도 다르며, 정답률 40%를 뜻하지도 않습니다.
TypeScript SDK의 타입 추론도 판단 정확성과 구분해야 합니다. 질문에 정의한 선택지로 답의 허용값을 좁혀 잘못된 문자열 비교를 컴파일 단계에서 찾는 데 도움이 됩니다. 그러나 형식이 맞는 답도 업무상 오답일 수 있으므로 권한과 실행 조건은 코드에서 별도로 검사해야 합니다.
문의 접수부터 답변까지 역할 나누기
계정 문제와 배송 문의를 받는 서비스를 운영한다면, 다음처럼 처리 과정을 나눠 적용 범위를 정할 수 있습니다. 각 단계에서 필요한 결과가 무엇인지 기준으로 삼은 활용 예시입니다.
- 문의의 담당 부서는 Choice로 판단하고, 두 범주 밖의 내용은 기타 선택지로 받을 수 있습니다. 기타 항목은 억지 분류를 줄이기 위한 장치이며 정확성을 보장하지는 않습니다.
- 배송 관련 날짜 간격이나 문의 개수는 일반 코드로 계산합니다. 의미 판단과 계산을 분리해 모델에 맡길 범위를 좁힐 수 있습니다.
- 고객에게 보낼 답변 문장은 생성 모델에 맡깁니다. Jev가 반환한 선택지와 확률만으로 자유로운 답변 작성까지 끝나는 구조는 아닙니다.
한국어 적용 전 확인할 환경과 평가 기준
서비스가 한국어 문의를 받는다면 실제 고객 문체가 담긴 표본으로 확인해야 합니다. 공식 문서는 주된 훈련 언어가 영어라고 설명하며, 일반화할 수 있는 한국어 정확도 수치를 제시하지 않습니다. 완곡한 표현과 생략이 있는 문의를 포함하고, 영어에서 정한 임계값, 즉 자동 처리 여부를 가르는 기준값도 다시 검증하는 편이 좋습니다.
TypeScript SDK를 사용하려면 Node.js 20 이상이 필요합니다. 또한 jev-latest는 새 버전이 나오면 연결된 모델이 바뀌므로, 검증한 기준을 유지하려면 특정 버전 지정을 고려할 수 있습니다.
평가할 때는 전체 정확도와 함께 자동으로 처리한 비율, 그중 잘못 처리한 비율을 기록하세요. 모호한 문의를 사람에게 넘기면 검토 부담이 남기 때문입니다. 자동 처리 건수가 없다면 자동 처리 오판율은 0%가 아니라 계산 불가로 기록해야 합니다.
오늘 시작할 단계는 실제 업무 표본에 사람이 정답을 붙이는 일입니다. 그 표본을 준비한 뒤 인조이스의 원문 기사에 제시된 평가 순서에 따라 질문과 선택지를 고정하고, 기준값별 자동 처리율과 오판율을 비교하세요.
이 글은 인조이스(injoys.com)가 운영하는 채널의 도움을 받아 작성했습니다. 원문과 출처는 위 링크에서 확인할 수 있습니다.
댓글
댓글 쓰기