ごーやーどっとネット Webロボットについて

Webロボットについて

ごーやーどっとネットは定期的に*Webロボット(GoyahRobo)にインターネットを巡回
させています。
現在はHTMLファイル、PDFファイルのデータを取得しています。

ごーやーどっとネットロボットにデータを取得させないようにするには
HTMLに"META"タグを追加します。

<html>
<head>
<meta name="robots" content="noindex">
<meta name="description" content="This page ....">
<title>...</title>
</head>
<body>