2008년 8월 19일 화요일

차세대 검색 서비스 전쟁 격화, 한국은?

차세대 검색 서비스 전쟁 격화, 한국은?  


‘구글 킬러’ 주장 쿨 서비스 시작… 한국 ‘강 건너 불’로 봐선 안 돼

검색서비스 Cuil(쿨)의 초기화면. 구글과 같이 화면 가운데 검색창만 노출, 검색전문기업임을 강조하고 있다. 검색창 밑에는 122만여 개의 웹페이지를 검색할 수 있다고 되어 있다(왼쪽). 그러나 업계 전문가나 블로거들은 쿨의 주장과 달리 쿨의 검색능력은 ‘쿨한 결과’를 내지는 못한다고 주장한다. 사진은 쿨 검색엔진에서 google을 검색했을 때 나오는 검색결과 (오른쪽).  

"웹은 빠른 속도로 성장했다. 이제 검색도 그래야 할 때다.”
검색엔진 쿨(Cuil)의 최고경영책임자인 톰 코스텔로(38)의 자신만만한 일성(一聲)이다. 검색엔진 쿨이 공개된 것은 지난 7월 28일. 채 2주도 지나지 않았다. Cuil은 고대 아일랜드어로, ‘지식’을 뜻한다고 ‘쿨’ 측은 밝혔다. 이 회사는 “‘쿨’은 약 1200억 개의 페이지를 인덱싱(갈무리)했으며, 이것은 다른 어떤 검색엔진보다 적어도 3배는 많다”라고 주장했다. ‘쿨’이 겨냥한 ‘다른 검색엔진’의 정점에는 전 세계 검색시장을 제패한 구글(Google)이 있다.

“‘쿨’의 론칭 소식은 인터넷 업계에서 곧바로 핫이슈가 됐다. 이들의 주장은 단순히 허풍이나 과장만으로 들리지 않았다. 쿨을 만든 사람들이 구글이나 IBM, 알타비스타 등 인터넷 기업의 과거 핵심 멤버이기 때문이다. CEO 톰 코스텔로는 아일랜드의 항구도시 드로이다(Drogheda) 출신이다. 아일랜드의 최고(最 古) 대학인 트리니티 대학과 미국 스탠퍼드 대학에서 수학·강의했으며 ‘비단조 추론(nonmonotonic reasoning)’과 ‘휴리스틱’을 주제로 저서도 출간했다. 주로 AI(인공지능)와 정보과학 분야에서 경력을 쌓았으며 컴퓨터과학 박사학위를 취득했다. 그가 인터넷 업계에 자신의 이름을 처음 알린 것은 1999년. 당시로서는 혁명적인 개념의 검색엔진 시프트(Xift)를 선보이면서다. 그후 그는 IBM에 들어가 웹파운데이션 프로젝트에 관여하고, IBM이 전 세계적으로 스토리지 시스템을 구축하기 위해 만든 전략팀 소속으로 일했다.

구글 등 인터넷 대기업 출신 다수 참여
좀 더 주목을 끄는 이는 코스텔로의 부인이자 공동대표를 맡고 있는 안나 패터슨이다. 패터슨은 1973년생으로 시카고에서 태어났다. 코스텔로보다 3살 아래인 그녀는 어바나 샴페인의 일리노이대학에서 역시 컴퓨터과학 분야 박사학위를 취득했다. 스탠퍼드대학에서 데이터마이닝과 관련된 연구조사를 했으며, 구글에선 2004년부터 2006년까지 일했다. 2006년 초부터 구글이 선보인 테라구글의 아키텍트(구조설계)를 주도했으며, 구글 페이지랭크 팀의 팀장을 지냈다.



검색 서비스 쿨의 공동설립자인 톰 코스텔로 최고경영책임자, 안나 패터슨 그리고 러셀 파워(왼쪽부터). 안나 패터슨과 러셀 파워는 검색기업 구글의 검색 개발을 담당하던 핵심 인력이었다.  
안나 패터슨의 경력 중 눈에 띄는 것은 구글 이전 그녀가 ‘인터넷 아카이브’(Archive. org)를 주도적으로 만들었다는 점이다. 국내에도 “2000년 네이버의 모습은 어땠을까” 등의 질문과 함께 거론되는 이 사이트는 1996년 설립, 웹상에 존재하는 모든 디지털 포맷의 ‘정보’를 저장하는 것을 목표로 한 비영리 인터넷 도서관이다. 스탠퍼드 대학 시절 만난 톰 코스텔로와 사이에 네 명의 자녀를 두고 있다. 쿨에는 이밖에도 역시 구글 출신인 러셀 파워가 공동창립자로 참여하고 있다. 안나 패터슨과 테라구글 프로젝트를 공동으로 진행했으며, 구글에서는 웹 랭크와 스팸자동방지 시스템 구축을 담당했다. 워싱턴대학 컴퓨터과학대학에서 박사 과정을 밟았다. 현재 엔지니어링 분야의 부사장을 맡고 있다. 이밖에도 쿨은 알타비스타·이베이 등 유명 인터넷기업 출신의 인재들이 모여 있다. 쿨은 “구글보다 싸고 빠르게 웹페이지를 수집하며, 새로운 검색 아키텍처에 기반했기 때문에 구글의 10분의 1 비용으로 인덱싱이 가능하다”고 주장하며 터그보트 벤처·그레이록 파트너스, 그리고 매드론 캐피탈 파트너스 등 투자업체에서 3300만 달러의 펀딩을 받은 것으로 알려졌다. 전병국 검색엔진 마스터 대표는 “쿨이 언론의 관심을 받는 이유는 그 멤버가 워낙 화려하기 때문”이라면서 “구글에는 전 세계에서 모인 뛰어난 인재들이 모여 있는데, 그 안에서도 탁월한 역량을 발휘하던 사람들이 나와 만든 서비스기 때문에 관심이 집중될 수밖에 없었을 것”이라고 평가했다.

한국 관련 콘텐츠 등서 취약점 노출
그러나 자신만만한 쿨의 주장과 달리 ‘구글 킬러’로서 쿨의 가능성에 의구심도 제기되고 있다. 동영상 사이트 유튜브에는 쿨과 구글의 검색 결과를 비교하는 실험이 여럿 올라와 있다. 저스틴이라는 사용자는 두 개의 검색엔진에 Free Porn(공짜 포르노)라는 검색어를 넣은 결과를 비교하는 영상을 녹화해 올려놓았다. 구글의 검색결과는 목적한 사이트를 비교적 정확(?)하게 보여주는 반면, 쿨은 사용자들이 원하는 결과와 다소 거리가 먼 결과를 내놓고 있는 것이다. 기자가 실제 확인해본 결과, 저스틴이 엉뚱한 결과라고 제시한 ‘베트남전 참전 미국용사들의 예술박물관’ 사이트가 여전히 같은 검색어의 두 번째로 오르고 있었다.

비슷한 의구심은 인터넷 전문가 혹은 관련 업계에서도 나오고 있다. 인터넷 산업 리뷰 블로그인 테크크런치는 쿨이 런칭한 하루 뒤인 29일, “쿨은 심지어 자신에 관한 기사조차 제대로 갈무리하지 못하고 있다”며 평가절하했다. PCworld 매거진은 7월 30일 온라인판 기사에서 “쿨이 ‘지식’을 뜻한다는 ‘쿨’ 측의 주장과 달리 고대 아일랜드어 전공자들은 ‘구석’ 또는 ‘개암나무 열매’란 뜻이 일반적”이라고 비아냥거렸다.

주목되는 것은 구글의 반응이다. 구글 서치기반팀 엔지니어들은 “우리는 웹이 크다는 것을 훨씬 전부터 알고 있었다”고 구글 공식 블로그에 올렸다. 쿨의 주장을 겨냥한 말이다. 구글 측은 “1998년 구글이 처음으로 인덱싱을 통계냈을 때는 2600만 개의 페이지였지만 2000년에 10억을 돌파했고, 지금은 1조 개의 독자적인 URL로부터 페이지를 수집하고 있다”고 밝혔다. 구글보다 세 배 더 많이 축적했다는 쿨의 주장을 반박한 것이다. 업계에서는 “1200만 개의 페이지를 인덱싱했다는 쿨의 주장도 과장되었지만, 1조 개를 주장하는 구글 측 주장도 과장되었을 것”이라고 관측한다. 검색엔진 위스폰(Wispon)의 최고기술책임자를 맡고 있는 김성렬 건국대 정보통신대학 인터넷미디어학부 교수는 “아마 쿨의 주장은 펀딩을 위한 것일 테고, 구글 측 주장도 링크를 실제로 가져오지 않더라도 그 속에 포함된 URL 개수가 1조 개라는 주장일 것”이라고 말했다. 정김경숙 구글 홍보이사는 “지금도 구글 출신의 유능한 인재들이 독자적인 비전을 갖고 회사를 나가 새로운 인터넷 기업을 만드는 일은 계속되고 있다”면서 “구글 입장에서는 사용자 편에 서서 새로운 검색 서비스의 등장을 환영하며 긍정적인 경쟁관계가 되길 기대한다”고 밝혔다.

쿨은 국내에서도 인터넷 업계나 IT 관련 블로그를 중심으로 비상한 관심을 모았다. 하지만 역시 긍정적인 평가를 받지는 못했다. 블로거를 중심으로 쿨은 특히 한국어 검색 결과나 한국 관련 콘텐츠 등에서 취약하며, 영어 콘텐츠를 수집하고 검색하는 능력에서도 “과연 ‘구글 킬러’로 자리 잡을 수 있을지 미심쩍다”는 평가가 나오고 있다.

업계 전문가들은 ‘문제는 크기다(Size does matter)’라는 화두를 두고 벌어지는 날카로운 신경전을 한국 인터넷 업계가 ‘강 건너 불’ 식으로 바라봐선 안 된다고 말한다.

콘텐츠 수집 능력은 왜 중요하게 평가되는 걸까. 검색엔진의 질은 사용자가 원하는 정보를 얼마나 정확히 찾아내느냐로 결정된다. A라는 웹페이지가 아무리 중요한 콘텐츠를 담고 있다고 하더라도 검색 대상 자체에서 빠진다면, A라는 웹페이지를 올린 당사자와 주변을 제외하고 실제 사용자는 A라는 콘텐츠 자체를 도달할 방법이 없기 때문이다. 양이 질을 결정하는 기본이다. 구글이 애드워즈나 애드센스라는 수익모델을 내놓으면서, 검색 기술은 인터넷 기술의 근본이자 ‘황금알 낳는 거위’처럼 인식되어왔다.

“국내 포털 지위 2~3년 내 지각변동”
구글이 전 세계 인터넷 업계의 패권을 장악한 것은 불과 3~4년 전. 검색 시장에서 1위 기업이었던 야후를 역전시킨 것은 2003년에서 2005년 사이다. 그후 글로벌 인터넷 업계에서 야후는 지속적으로 내리막길을 걸어왔다. 구글은 현재 북미뿐 아니라 프랑스나 영국·독일 등 유럽에서도 부동의 1위를 지키고 있다.


웹의 진화에 따른 검색 기술 변화 예상도. 업계에서는 웹1.0시대의 대표적인 검색 기술이 디렉토리 검색이라면, 키워드 검색은 웹1.0과 웹2.0 사이의 검색 기술로 평가한다. 향후 2~3년 내에 도래할 시대를 웹3.0으로 규정한다면 자연어 검색이나 시맨틱 검색(의미 검색)이 검색 기술을 주도할 것으로 보인다. <20bits.com>  
예외가 네이버·바이두·야후재팬이 각각 검색시장 1위를 장악하고 있는 한·중·일 동북아시아 3국이다. 그러나 일본에서는 이미 의미 있는 시장 변화가 일어나고 있다. 글로벌 인터넷 조사업체 컴스코어 네트웍스에 따르면 2006년 7월 65.9%에 이르던 야후재팬의 검색 점유율이 1년 후 47.4%까지 떨어졌고, 구글은 27.8%에서 35%까지 점유율을 높였다. 업계 전문가들은 한국도 짧게는 1~2년, 길게는 3~4년 내에 약 70 대 20으로 검색 시장을 점유하고 있는 네이버·다음의 지배 구도에 유의미한 변화가 일어날 것으로 예측하고 있다. ‘구글의 지배’가 실제적인 변화를 주도할 것이라는 예상이다.

업계 전문가들은 국내 검색엔진들이 현재 인덱싱하고 있는 웹페이지 수는 6억에서 7억 정도로 추정하고 있다. 영문 콘텐츠에 비해 한글 콘텐츠가 워낙 작아서이기도 하지만, 검색에 대한 업계의 무관심도 큰 원인이라고 지적하고 있다. 네이버가 지식 검색이나 뉴스 검색·블로그 검색 등의 결과를 통합 검색에서 보여주지만, 문제는 가장 중요한 웹 검색과 관련 퀄리티를 높이는 작업을 등한시한다는 주장이다. 웹 검색에서 소위 말하는 ‘스패밍’(검색 순위를 조작하려는 시도)을 막지 못하다 보니 뉴스나 블로그 결과를 앞세워 웹 검색을 밀어내는 전략을 구사한다는 것이다. 조광현 시맨틱스 대표는 “웹1.0시대의 검색 기술이 디렉토리 검색이라면 소셜웹으로 불리는 웹2.0으로 넘어가는 사이에 키워드 검색이 있고, 다시 시맨틱웹으로 예상되는 웹3.0시대엔 태킹을 거쳐 시맨틱 검색이 핵심 기술이 될 것”(그래프 참조)이라면서 “글로벌에서 야후가 디렉토리 검색에 안주하고 있을 때 검색 기술을 앞세운 구글에 한방에 넘어갔듯, 키워드 검색에 안주하는 국내 검색 포털의 지위는 2~3년 내에 큰 지각 변동이 일어날 것으로 본다”고 전망했다. 김성렬 교수의 전망도 대동소이하다. 그는 “네이버가 현재 사업적인 면은 잘하고 있기 때문에 일정한 시점까지는 지배적 사업자 지위를 유지할 것”이라면서도 “하지만 검색사이즈나 퀄리티는 한계가 뚜렷하기 때문에 변화가 빠른 인터넷 시장의 특성상 향후 1~2년 내 몇 개월 사이에 구글로 주도권이 넘어갈 수도 있다”고 말했다.

전병국 대표는 “영어권에서 유럽의 경우 구글에 대항하여 나올 수 있는 영리적인 기업 프로젝트가 나올 가능성은 거의 없고, 대신 구글의 정보 독점을 우려해 국가가 비용을 대서 만드는 비영리 프로젝트가 시도되고 있다”면서 “인터넷 검색 기술은 과학으로 비유하면 일종의 기초과학과 같은 것인데 한국의 경우 정부나 시장지배적 기업들이 그 ‘싹’을 키우는 데 과연 얼마나 관심을 기울이고 있는지 되묻고 싶다”고 말했다. 그는 “네이버와 같은 한국의 검색 포털이 자신의 테두리 안에 콘텐츠를 쌓아놓고 가는 것도 비즈니스적으로나 사회적 영향력 면에서 나름의 파워가 있겠지만, 결국 지금처럼 정치적으로 시달리는 결과를 초래하지 않았느냐”라면서 “검색 포털 스스로 자기 중심적 구조를 해체하고 웹 민주화, 즉 인터넷 생태계를 위해 벤처나 중소인터넷기업과 상생의 길을 모색할 필요가 있다”라고 덧붙였다.

<정용인 기자
inqbus@kyunghyang.com>

댓글 없음:

댓글 쓰기