用語説明

Robot

WWWのリンクを自動的にたどることで,ページの情報を収集するソフトウェア。サイト運営者がRobotのアクセスを拒みたい場合,制御ファイルをサイトに置くことでRobotにアクセス条件を伝えるフレームワークになっている。