2022년 ChatGPT가 세상에 등장한 이래, LLM(초거대언어모델)을 필두로 한 AI 기술과 서비스는 놀라운 속도로 진화하고 있습니다. 급격한 발전 속에서 최근 주목할 만한 트렌드는, ‘사용자들이 대화형으로 정보를 검색하는 것에 익숙해졌다’는 것입니다. 이는 ChatGPT의 영향이 크다고 봐도 무방합니다.
반면, 최근 ChatGPT만큼 시장에서 주목받는 AI 서비스가 있습니다. AI 서비스 시장의 새로운 강자로 등장한 Perplexity AI (퍼플렉시티, 이하 Perplexity)입니다. 대화형 인터페이스와 자연어 질의 및 답변 생성 등, 얼핏 봤을 땐 ChatGPT와 유사한 서비스처럼 보입니다.
과연 ChatGPT와 Perplexity는 유사한 서비스일까요? 아니면 사실은 다른 서비스일까요? Perplexity가 현재 시장에서 큰 관심을 받는 이유는 무엇일까요?
둘의 차이점은 ‘AI 검색’ 기술로 설명할 수 있습니다. ‘검색’이라는 단어는 구글, 네이버 등의 검색엔진을 통해 일반화됐으며, 이제는 전 세계 모든 웹 사용자에게 익숙한 개념이 됐습니다. 다만 AI를 접목한 검색은 기존의 검색과는 완전히 다른 양상과 사용성을 보입니다. 방대한 데이터베이스와 LLM 기반 생성, RAG(검색증강생성) 등의 기술이 접목된 AI 검색은 이제 더 이상 사용자가 검색엔진에서 제공하는 수많은 자료 속에서 ‘내가 찾는’ 자료를 찾아 헤매도록 두지 않습니다. AI 검색은 궁금한 점을 자연어로 질문하면 AI가 내 질문의 의도를 이해하고, 정확한 답을 생성하기 위해 스스로 추가 질문(쿼리)을 생성하거나, 데이터베이스 외에도 웹상의 관련 문서나 링크도 같이 검색해 주는 등, ‘사용자와 쌍방 소통을 하는’ 신개념의 검색 서비스를 제공합니다.
이렇게 다양한 AI 기술이 접목돼 사용자의 니즈를 파악하고 답을 찾아주는 덕분에, 사용자는 기존에 리서치 과정에서 소요하던 시간을 크게 단축할 수 있습니다. AI가 단순 검색을 넘어서, 이제 나만의 보조자이자 비서의 역할을 하는 셈이죠. 이를 시장에서는 ‘에이전트(agent)’ 서비스라고 부르기도 합니다. ‘구글의 대항마’라는 수식어로도 불리는 Perplexity는 강력한 AI 검색을 기반으로 하는 AI 서비스의 일례이자 대표주자로서, ChatGPT와는 비슷하지만 조금 다른 답을 사용자에게 제시합니다.
이처럼 ‘AI 검색’을 사용자에게 서비스로 제공하고자 하는 움직임은 빅테크에서도 활발히 진행되고 있습니다. 명실상부 AI 업계의 선두 주자인 OpenAI 역시 SearchGPT의 베타 버전을 선보이고, 최근엔 엔터프라이즈 검색 스타트업 록셋을 인수하는 등 AI 검색을 서비스화하는 노력이 계속되고 있는데요.
왜 시장에서 AI 검색 및 에이전트 서비스가 주목받고 있을까요? 생성형, 검색형 AI 서비스의 대표 격인 ChatGPT와 Perplexity를 비교하면서, 그 이유를 살펴보겠습니다.
ChatGPT는 OpenAI가 개발해 2022년에 론칭한 생성형 AI 서비스입니다. GPT(Generative Pre-trained Transformer)를 기반으로 하는 이 서비스는, 방대한 양의 텍스트 데이터(GPT3 기준 약 1750억 파라미터, GPT4는 공개되지 않음)1로 사전 학습돼, 다양한 주제에 대해 자연스러운 대화가 가능한 것이 가장 큰 특징입니다.
1) 출처: Language Models are Few-Shot Learners(https://arxiv.org/abs/2005.14165)
1. 뛰어난 대화 능력: ChatGPT가 등장했을 때, 세간의 주목을 받은 이유는 ChatGPT의 자연스러운 대화 능력 때문이었습니다. ChatGPT는 마치 실제 사람과 대화하는 것처럼 문맥을 이해하고, 연속적으로 대화를 이어갈 수 있습니다.
2. 광범위한 지식: ChatGPT는 다양한 주제에 대해 폭넓은 정보를 제공할 수 있습니다. 뿐만 아니라 다양한 언어로 대화가 가능하기 때문에 전 세계의 사용자들이 편하게 접근할 수 있습니다.
3. 다양한 활용 분야: 일상적인 대화뿐 아니라, 창의적인 글쓰기의 아이디어를 얻거나, 기초적인 코딩을 대신 하도록 할 수도 있으며 최근에는 언어 학습 도구로도 많이 쓰이고 있습니다. 그만큼 ChatGPT의 활용 분야는 상당히 넓은 편입니다.
1. 트랜스포머 아키텍처: ChatGPT는 트랜스포머 네트워크를 기반으로 합니다. 트랜스포머 아키텍처는 self-attention 메커니즘을 사용해 입력 시퀀스의 다양한 부분 간의 관계를 효과적으로 모델링합니다.
2. 거대 언어 모델(LLM, Large Language Model)): ChatGPT는 수천억 개의 매개변수를 가진 거대 언어 모델입니다. 이처럼 방대한 양의 텍스트 데이터로 학습되었기 때문에 ChatGPT는 다양한 맥락과 주제를 이해하고 생성할 수 있습니다.
3. 자기 회귀 모델: ChatGPT는 이전에 생성된 토큰을 기반으로 다음 토큰을 예측하는 자기 회귀적 방식(Autoregressive)으로 텍스트를 생성합니다. 이러한 방식은 일관성 있고 맥락에 맞는 응답을 생성하는 데 도움이 됩니다.
4. 파인 튜닝과 RLHF(Reinforcement Learning from Human Feedback): ChatGPT는 기본 GPT 모델에서 대화에 특화되도록 파인 튜닝되었으며, 인간의 피드백을 통한 강화학습(RLHF, Reinforcement Learning from Human Feedback)을 거쳐 더욱 자연스럽고 유용한 응답을 생성할 수 있게 되었습니다.
그러나, ChatGPT가 폭풍과도 같은 주목을 받고 전 세계적인 사용자가 생기면서 다양한 보완점들이 대두되기도 했습니다.
1. 최신 정보 제공의 어려움: ChatGPT는 학습 데이터의 cut-off 날짜 이후의 정보는 제공하지 못하기 때문에, 실시간으로 변화하는 정보에 대해서는 부정확할 수 있습니다.
2. 환각 증상(Hallucination): ChatGPT의 가장 대표적인 문제점으로 알려진 현상입니다. ChatGPT는 모르는 질문에 대해 모른다고 답하는 대신, 그럴듯한 거짓 정보를 생성해 내는 경우가 있습니다.
“세종대왕의 맥북 던짐 사건에 대해 알려줘"라고 했을 때, 역사적으로 존재하지 않는 해당 사건에 대해 그럴싸하게 거짓말을 늘어놓는 GPT3.5의 내용이 인터넷상에서 유명했던 적이 있습니다. GPT4 등 다음 세대의 ChatGPT 서비스에서는 이러한 환각 현상이 많이 개선됐으나, 아래 이미지와 같이 여전히 어떤 질문에 대해서는 할루시네이션 증상을 보입니다.
이런 이유로 ChatGPT가 하는 답변의 신뢰도를 보장할 수 없다는 문제점이 있습니다.
Perplexity는 AI 검색 기술에 풍부한 데이터베이스, 웹 검색 등이 결합된 AI 에이전트 서비스입니다. 신뢰할 수 있는 다양한 출처를 활용해 정보의 정확성을 높였다는 평가를 받습니다. 따라서 정보 검색 분야 만큼에서는 ChatGPT보다 더 우수한 성능을 보여준다는 사용자 평가를 받기도 합니다.
1. 실시간 웹 검색 기반: Perplexity는 실시간 웹 검색을 기반으로 사용자에게 필요한 정보를 제공해, 사용자에게 상시 최신 정보를 제공합니다.
2. 다양한 출처: Perplexity는 검색엔진 결과 뿐 아니라 학술 논문, 뉴스 기사, 유튜브 영상 등의 다양한 출처를 활용해 사용자가 필요로 하는 정보를 보여줍니다. 또한 제공된 정보의 출처를 명확히 표시하여 사용자가 정보의 신뢰성을 직접 판단할 수 있게 합니다.
3. 쿼리 생성 검색: Perplexity는 사용자의 질문을 분석하여 최적의 검색 쿼리를 생성합니다. 이를 통해 더 정확하고 관련성 높은 검색 결과를 도출할 수 있습니다.
4. 검색 필터 기능: Search Focus Filters를 통해 사용자는 원하는 출처의 정보만을 선택적으로 검색할 수 있습니다. 예를 들어, Wolfram Alpha의 계산 결과만 검색하거나, YouTube 동영상, 학술 논문, 심지어 Reddit 게시물 등 특정 플랫폼에서만 정보를 찾을 수도 있습니다.
1. 검색 증강 생성(RAG): Perplexity는 RAG(Retrieval-Augmented Generation) 기술을 활용합니다. 이 기술은 대규모 언어 모델과 정보 검색 시스템을 결합하여, 실시간으로 관련 정보를 검색하고 이를 바탕으로 응답을 생성합니다.
2. 실시간 인터넷 탐색: Perplexity는 인터넷상의 검색 결과와 학술 논문 및 기타 정보를 탐색해 최신의 정보를 제공합니다.
3. 다중 소스 통합: 여러 출처의 정보를 통합하고 비교해 그 안에서 랭킹을 매기는 알고리즘을 사용하여 정보의 신뢰성을 높이고 사용자가 중요한 정보에 보다 쉽게 접근하게끔 합니다.
4. 자연어 이해(NLU, Natural Language Understanding): 사용자의 질문을 정확히 이해하기 위해 고급 자연어 이해 기술을 사용합니다. 이를 통해 더 정확한 검색 결과를 제공할 수 있습니다.
그러나 검색에 특화된 Perplexity 또한 보완점이 존재합니다.
1. 대화의 연속성: ChatGPT에 비해 대화의 연속성이 떨어지는 편입니다.
2. 창의적 답변 생성: 검색 기반 서비스이기 때문에 창의적이고 독창적인 답변을 생성하는 데는 한계가 있습니다.
이처럼 생성형 AI가 메인인 ChatGPT와 검색 및 정보 제공이 메인인 Perplexity는 비슷한 서비스 같지만, 사실은 사용성과 활용 방법에서 차이를 보입니다.
ChatGPT는 사전 학습된 방대한 데이터를 바탕으로 답변을 생성하는 반면 Perplexity는 실시간 웹 검색을 통해 최신 정보를 제공하는 이유로, 두 서비스가 제공하는 정보의 정확성과 시의성에는 차이가 존재합니다. 특히 ChatGPT 대비 Perplexity는 실시간 검색 결과를 바탕으로 최신 정보를 제공하고, 정보의 출처를 명시하기 때문에 사용자가 조금 더 신뢰할 수 있는 것이죠.
사용자들은 이제 점점 AI 서비스에 넓은 범위의 지식을 커버하는 정보의 양뿐 아니라 정보의 시의성과 정확성 같은 정보의 질도 요구하고 있습니다. 최근 AI 서비스들이 검색 기능을 강화하고자 하는 움직임을 보이는 것은 시장의 이런 요구에 반응하고 있다는 반증이기도 합니다.
상술한 바와 같이, OpenAI는 최근 SearchGPT라는 이름의 AI 검색 기반 서비스를 준비하고 있습니다. 구글은 자사 AI인 제미나이(Gemini)를 검색엔진과 결합한 서비스를 제공하고 있으며, 마이크로소프트 역시 자사 AI 솔루션인 Copilot을 자사 검색엔진 Bing과 결합해 사용자에게 제공하고 있습니다.
AI 시장이 점점 확대되고 급증하는 수요와 함께 다양한 AI 서비스들이 시장에 등장하면서, 이제 사용자는 목적에 따라 다양한 AI 서비스를 선택해 이용할 수 있게 됐습니다. 특히, AI 검색 기반의 에이전트 서비스는 B2B(기업 간 거래) 시장에서의 가능성을 보여주었습니다. 제공되는 근거 데이터의 업데이트 주기가 거의 실시간에 가깝고 정확한 출처를 표기해 주는 덕에 '업무에 도움이 되는' AI 검색 서비스가 기업 시장의 시선을 끈 것이죠.
만약 기업에서 중요한 비즈니스 의사결정을 앞두고 수행하는 방대한 자료 리서치를 B2B에 특화된 에이전트 모델이 도와줄 수 있다면? 혹은 계약서를 검토하거나 법률 자문을 수행하는 데 있어 전문가 판단의 근거가 되는 법령이나 판례, 정부의 정책, 행정규칙 등 리걸 데이터를 리걸 특화 에이전트가 빠르고 정확하게 제시해 줄 수 있다면 어떨까요? 그렇다면 현재 기업에서 수행되는 업무 프로세스가 획기적으로 단축되고 생산성은 엄청나게 증대될 것이라 예상해 볼 수 있습니다. 이런 기대효과를 전제로, B2B 시장에서는 빠른 속도로 ‘업무에 도움이 되는’ AI 검색 에이전트 모델이 속속들이 등장하고 있는 것이죠.
이런 시장의 기대에 부응하기 위해, 올인원 AI 비즈니스 솔루션 앨리비를 서비스하고 있는 BHSN에서도 ‘업무에 도움이 되는' AI 검색 에이전트를 서비스하기 위해 준비하고 있는데요, 다음 편에서는 앨리비의 AI 검색 에이전트는 어떤 모습이고, 비즈니스에 어떤 도움을 줄 수 있을지 소개해 드리도록 하겠습니다.
.svg)
.png)
.png)
.png)
