google sitemap

なんか、たくさんの人が勘違いしてるみたいだけど、google sitemap は、「リンクで辿れないようなコンテンツもインデクシングしたい」向きのためのものなので、movabletype なりの静的なコンテンツで全記事に辿れるようなサイトでサイトマップファイルを用意しても、新着がほんの少し早くクロールされる程度の意義しかないと思うんだが。
新着を早く見てもらうという観点なら(sitemap として) RSS 登録すればいいしね。
普通のサイトについては、サーバの document root 配下を辿って robot.txt を見て無視するものは無視して、html の URL をかき集めるスクリプトを書けばいい(CGI 経由などで取り入れたい URL は別途リスティングして append)のかな、と最初思ったけど、やっぱりそんなことしなくてもクロールされるよなぁ…。