Linespider는 LINE 서비스 내에서 다양한 검색 결과를 제공하기 위해 LINE이 운영하는 웹크롤러입니다. Linespider는 로봇 배제 프로토콜을 준수합니다.
LINE의 웹문서 수집 정책과 robots.txt
(1) Linespider는 LINE이 운영하고 있는 크롤러입니다. User Agent는 이하와 같습니다.
⋅Mozilla/5.0 (compatible; Linespider/1.1; +https://lin.ee/4dwXkTH)
⋅Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Linespider/1.1; +https://lin.ee/4dwXkTH) Chrome/W.X.Y.Z Safari/537.36
User Agent의 W.X.Y.Z 문자열에는 해당 User Agent가 사용하는 브라우저 버전 번호가 들어갑니다.
(2) Linespider는 robots.txt에 명시된 로봇 배제 프로토콜을 준수합니다.
robots.txt의 자세한 내용은
여기를 참조해 주세요.
"User-agent:Linespider"를 추가하여 Linespider에 robots.txt의 문서 수집 제한 규칙을 적용할 수 있습니다.
(3) robots.txt는 웹사이트나 문서를 검색에서 제외하는 표준 규약으로, Linespider는 이 파일이 설치되어 있는 웹사이트에서는 robots.txt에 명시된 문서 수집 제한 규칙에 따라 크롤링합니다.
(4) 저작권자나 사이트 운영자가 인터넷에서 열람할 수 있도록 공개한 문서라 할지라도, 이를 웹크롤러를 포함한 모든 검색 수단이 공개나 복제, 이용할 수 있도록 허가한 것은 아닙니다.
robots.txt를 설치한 경우, 이는 웹크롤러에 의한 문서 수집을 제한한다는 명백한 의사 표시입니다.
(5) LINE은 robots.txt를 준수하여 이 파일이 설치되어 있는 경우 해당 파일의 문서 수집 제한 규칙에 따라 크롤링하고, 정보 보호 및 사용자 여러분의 권리 침해 방지를 위해 노력하고 있습니다.