검색엔진마스터

홈페이지 운영자들은 피곤하다.

블로그든 뭐든 열심히 글을 쓰고 올리는 것도 힘든데 엉뚱한 일에 힘이 빠지기 때문이다. 교과서대로 하면 웹은 열린 공간이고 검색엔진은 웹에서 길을 찾게 해주는 서비스다. 그런데 어찌된 일인지 아무리 문을 활짝 열어놔도 소위 ‘검색’ 포탈이라는 데서 별다른 관심을 보이지 않기 때문이다. 어쩌다 로그라도 분석해보면 의혹은 확신으로 변한다.

‘포탈들은 오픈 웹에 큰 관심이 없다!’ 포탈에 가서 검색을 해보면 누구나 금방 알 수 있다. 온통 광고와 내부 DB뿐이고 외부에서 수집해오는 웹문서(또는 웹페이지) 검색은 끄트러미에 간신히 걸려있다. 어떤 키워드에서는 아예 나오지도 않는다. 게다가 포탈 디렉토리에 (돈내고) 홈페이지 등록을 하지 않으면 웹문서 검색에 참여할 수 있는 정식 통로조차 없다. 아무리 양질의 정보를 오픈 웹에 올려도 다른 사람이 포탈 내부에다 펌질을 해줘야만 나타날 때가 많다. (출처를 밝혀주면 그나마 다행이다) 뭔가 이상하다.

결국 홈페이지 운영자들은 선택해야 한다. 인터넷 비즈니스를 하는 경우라면 무조건 검색 광고를 한다. 아니라면 포탈 내에 또 하나의 집(블로그 등)을 지어서 두 집 살림을 하는 수 밖에 없다. 욕심이 많아서 포탈 몇 개를 동시에 신경 쓰려면 각각 블로그를 만들어서 세 집 살림, 네 집 살림을 해야 한다. 창작은 커녕 퍼다 나르기도 바쁠 지경이다. 극심한 리소스 낭비가 아닐 수 없다. 운영자들은 복사하느라 바쁘고 인터넷은 똑같은 정보들로 넘쳐난다.

사용자들도 피곤하기는 마찬가지다. 네이버, 다음 같은 포탈은 물론이고 블로그 전문 검색엔진들까지 따로 뒤적거려야 한다. DB 자체가 다르기 때문에 하나로 안심할 수가 없다. 여러 검색엔진을 쓰는 패턴이야 어느 나라나 마찬가지지만 DB 자체가 달라서 떠돌아야 다녀야 한다면 이야기가 다르다.

(불행인지 다행인지, DB가 달라도 ‘펌질’에 의한 중복 자료들이 많아서 꼭 열린 공간에 있는 것처럼 보이기는 한다. 구글에 페이지랭크가 있다면 우리나라에는 펌질랭크가 있다는 말이 있다. (PageRank vs. PermzilRank!) 하지만 펌질랭크 방식의 장점과 한계는 첫눈을 통해서 여실히 증명되었다. 중복성+최신성을 종합하면 뉴스성 키워드에서는 나름의 능력을 발휘하지만 딱 거기까지가 한계다.)

국내에서 웹 2.0 논의가 활발해지면서 우리 포탈의 폐쇄성에 대한 비판이 높아졌다. 이에 대한 포탈의 반박 논리는 크게 2가지로 볼 수 있다. 첫째는 원래 웹 정보가 부실했기 때문에 내부 DB를 키웠다는 것이고, 둘째는 결국 웹이든 내부 DB든 사용자를 만족시키는 것이 최종 승리라는 답변이다. 둘 다 어느 정도 일리 있는 말이다.

물론 반대 의견도 만만치 않다. 초창기에는 웹 정보가 부실했을 수 있으나 이제는 포탈의 내부 DB 우선 방식이 오히려 웹 정보의 발전을 가로막고 있다는 것이다. 또한 현재 포탈 방식의 성공은 대안 서비스가 없는 상태에서 사용자가 일시적으로 길들여진 것 뿐이라는 반박도 있다.

하지만 진짜 문제는 현재 상황에 대한 진단이 아니다. 오픈 웹을 소홀히 하는 것이 장기적으로 오히려 위험하다는 것이다. 시장 전체는 물론이고 포탈 자신에게도 좋을 것이 없다. 여러 이유 중에서 몇 가지를 살펴보자.

첫째 검색 기술이 크게 발전하지 못하기 때문이다.

내부 DB 검색에서 랭킹 알고리즘 발전은 한계가 있다. 예를 들면 링크와 같은 사용자 간 평가 방식의 활용이 어렵다. 또한 지식 검색처럼 정보 제공자들이 지난 정보를 ‘갱신’하는 데 소홀해지는 구조가 만들어지기도 한다. 이런 상황에서 정보가 쏟아지게 되면 관리자나 정보 제공자 모두 어쩔 수 없이 ‘최신’ 정보에 우선으로 민감해진다. 펌질 형태가 계속 늘어날 수 밖에 없는 이유 중 하나다.

포탈 내부에서도 검색 기술에 대한 투자는 뒤로 밀린다. 검색 결과 경쟁이 DB 경쟁에 달려있기 때문이다. DB 확보와 편집 인력 운영이 우선이 된다. 랭킹 알고리즘뿐 아니라 대용량 정보 관리 능력도 발전이 더디다. 조직과 비용은 눈덩이처럼 늘어나지만 기반 기술과 시스템 노하우는 크게 쌓이지 않는다. 성공했지만 어딘가 불완전한 성공이다.

또한 홈페이지 운영자나 사용자들이 겪는 피곤도 문제가 된다.

글 머리에서 말한 바와 같다. 홈페이지를 만들고 나서도 이중 삼중의 수고를 더 해야 한다면 결국 좋은 정보를 만들 시간과 의욕이 꺾일게 분명하다. 방문자 유입이 컨텐츠에 기반한 자연스런 검색엔진 결합에서 오는 게 아니라면, 펌질이나 낚시질 같은 편법들이 상황을 혼탁하게 만들 것이다. 이 과정에서 양질의 정보(또는 원작자의 정보)는 많이 소외되고 컨텐츠 창작의욕은 떨어질 수 밖에 없다. 사용자 입장에서도 마찬가지다. 더 좋은 정보를 찾아서 떠나는 게 아니라 여러 정보원들을 떠도느라 피곤하다.

검색은 포탈 혼자의 것이 아니다. 홈페이지 운영자(정보 제공자와 광고주)와 사용자들이 지친다면 포탈도 점점 힘을 잃게 된다. 시장은 대안을 모색하기 시작할 것이다. 이처럼 기술과 시스템 발전이 더디고 양질의 웹 정보가 소외되는 현상이 지속된다면 …… 현재의 호황에도 불구하고 …… 미래는 밝지 않다.

이것은 결국 다른 사업자에게 기회가 올 수 있다는 말이기도 하다. 현재 이런 상황을 염두에 두고 가장 눈여겨봐야 할 것은 아무래도 구글이다. 대한민국 검색전쟁 1라운드에서 구글이 패한 것은 분명하다. 또한 구글 '자체'가 우리나라에서 성공할지는 여전히 미지수다. 하지만 구글 '방식과 전략'은 생각해봐야 할 부분이 많다. 구글은 우리 포탈과 접근 방식이 전혀 다르기 때문이다.