한국경제

크롤링

crawaling

웹페이지의 정보를 자동으로 수집, 준류 저장하는 것을 말한다. 크롤러(crawler)라는 프로그램으로 주어진 웹페이지에 접속해 데이터를 끌어와 분류하고 저장한다. 데이터를 다수 확보하는 것이 플랫폼 기업들에 중요해지면서 주목받고 있는 기술이다.

크롤링은 플랫폼 업계 후발주자가 선발주자를 쫓기 위한 핵심 수단이다. 검색엔진, 쇼핑몰, 콘텐츠 등 다양한 플랫폼업계에서 다수 업체가 크롤링을 사용하고 있다.