챗GPT로 통칭되는 LLM(거대 언어 모델)은 모두 이런 환각현상(할루시네이션, hallucination)이 존재합니다. 이것은 LLM의 동작방식에서 비롯되는 어쩌면 자연스러운 현상입니다. 하지만, 고객의 질문에 거짓으로 대답한다면 치명적인 단점이 될 것입니다. 그래서 많은 기업과 개인들이 할루시네이션을 방지하기 위한 방법을 연구하고 있습니다. 가장 대표적인 방식은 프롬프트에서 예상되는 고객의 질문에 대해서 충분히 답변 정보를 주는 것입니다. 인공지능 챗봇이 환각을 일으키는 경우는 뭔가 답하기 어려운 애매한 상황이 주어질 때입니다. 즉 정해진 답이 없는 경우에는 챗GPT가 그럴듯하게 지어내기 시작하는 것입니다. 따라서, 충분한 정보를 프롬프트를 통해서 사전에 전달하면, 챗GPT는 먼저 이 프롬프트에 있는 정보를 최우선으로 답하게 됩니다.
이 방식을 적용하면 환각을 방지할 수 있습니다. 그리고 모르는 정보나 곤란한 질문에 대해서는 공손하게 모른다고 대답하게 하거나, 챗봇이 맘대로 상상해서  답변을 하지 않고 팩트위주로만 답변을 할수 있게 강력한 설정을 할수 있습니다.

이럼에도 불구하고 만의 하나 초기에 프롬프트를 세팅할 때 고려하지 못했던 질의 응답이 있었다면 환각현상이 발생할 수 있습니다. 그런 경우에는 당황하기 보다는 오케이챗의 프롬프트란에 해당 질의 응답의 정보를 추가해줌으로 챗봇의 교정 학습을 시킬 수 있습니다. 사람이 진행하는 온라인 상담의 경우에도 담당하는 직원이 초보라면 상담 실수를 하기 마련인데, 이럴경우 우리가 가르쳐서 해결하듯이 인공지능챗봇도 이렇게 추가 학습을 통한 교정을 통해서 해결이 가능합니다. 게다가 시간이 갈수록 더 똑똑해지면서 고객들이 만족스런 대답을 해줄수 있으며, 실수에 대해 한번 교정해주면 다음부터는 절대로 같은 실수는 하지 않는다는 점이 해당 담자가가 그만두어버리거나 바뀌어버리면 동일한 실수가 반족해서 일어나게 되는 사람상담사 운용대비 뛰어난 점이 인공지능 챗봇을 도입의 특장점이라고 볼수 있습니다. 

㈜다솜엑스에서는 위에서 언급한 내용외에도 다양한 최신 환각 방지 기술을 연구하고 오케이챗AI 서비스에 적용하고 있습니다.

오케이챗은 OpenAI사의 챗GPT를 주요 언어모델로 사용하여 업계 최고의 기술과 품질로 서비스하고 있습니다. 아울러 서비스는 마이크로 아키텍쳐를 사용하여 개발되었습니다. 특정 기능 중에 하나가 다운되더라도 복구 할 때까지 다른 기능들은 사용할 수 있도록 서비스하고 있으며, 개발운영(DevOps)를 통합하여 기민한 대응을 하고 있습니다. Docker Swarm*기술을 이용해서 서비스 자산을 클라우드 및 온프라미스 환경에서 가상화하여 운영 안정성을 강화하고 있습니다.

*Docker Swarm : 도커스웜은 여러 Docker 호스트를 하나의 가상 호스트처럼 관리하여, 컨테이너의 배포와 스케일링을 간소화하는 Docker의 네이티브 클러스터링 도구입니다

저희 다솜엑스에서 고객의 개인정보보호는 어떤 것보다 중요합니다. 따라서, 개인정보에 해당되는 내용이 유출 되지 않도록 개인정보보호 담당자를 세워서 운영하고 있습니다. 아울러 인공지능이 예기치 않게 개인정보를 제 3자에게 답하지 않도록 3단계 보호기술을 적용하고 있습니다.


첫번째 단계로 사전 학습 단계에서의 개인정보 보호 활동입니다. 학습에 사용되는 데이터에 개인정보가 있는지 검수하고 있습니다. 즉 유저가 입력한 프롬프트에서 개인정보가 포함되어 있지 않는지 일일이 검수하게 됩니다. 

두번째 단계로 데이터베이스 검색 결과에서 개인정보 유출이 없는 지 확인하여 RAG를 적용합니다. 

세번째 단계로, LLM에서 응답 받은 값에 대해서 다시 한번 개인정보가 포함되어 있지 않은지 필터링하는 알고리즘을 적용하여 개인정보 유출을 방지하고 있습니다. 

이렇게 3중 검수, 필터링 과정을 통해서 개인정보가 유출되는 것을 방지하는 프로세스를 확립하고 있습니다.

네 물론입니다. 프롬프트를 작성해서 입력할때는 고객님의 비즈니스를 제3자에게 소개한다는 생각으로 A4용지 2장 정도 분량으로 이미지없이 텍스트로만 작성해서 넣어주시면 됩니다.  이때 제공하는 서비스의 개요, 종류, 비용, 절차, 선택사항 등을 이해하기 쉽게 넣어주시면 됩니다.