Linespiderは、LINEサービス内で多様な検索結果を提供するためにLINEが運営するクローラーです。Linespiderは、Robots Exclusion Protocolに準拠しています。
LINEのウェブデータ収集ポリシーとrobots.txtについて
(1) Linespiderは、LINEが運営しているクローラーで、User Agentは以下のものになります。
⋅Mozilla/5.0 (compatible; Linespider/1.1; +https://lin.ee/4dwXkTH)
⋅Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Linespider/1.1; +https://lin.ee/4dwXkTH) Chrome/W.X.Y.Z Safari/537.36
ユーザーエージェントの W.X.Y.Z という文字列には、そのユーザーエージェントが使用するブラウザのバージョン番号が入ります。
(2) Linespiderは、robots.txtで定められたRobots Exclusion Protocolを遵守しています。
robots.txtの詳しい内容につきましては、
こちらをご覧ください。
"User-agent:Linespider"を追加することにより、Linespiderに対してrobots.txtで定められた情報収集制限を適用することができます。
(3) robots.txtは、ウェブサイトやデータの検索に制限を設ける標準ルールであり、Linespiderはこのファイルが設置されているウェブサイトでは、robots.txtで定められた情報収集制限に従いクロールを行います。
(4) インターネットで公開されている情報であっても、クローラーを含んだすべての検索手段に対して、著作権保有者やサイト運営者が公開や複製、利用の許可を与えているという意味ではありません。
robots.txtを設置することで、クローラーによる情報収集制限を設けるという明白な意思表示となります。
(5) LINEは、robots.txtに則り、このファイルが設置されている場合はその情報収集制限に従ってクロールを行い、情報の保護と皆さまの権利を侵害しないように努めています。