scのクローラと思わしきホストを弾こうがdat直読みを廃止しようがscのクロールが止まらない
↓ここからは俺の想像
scがGoogle Proxyの類を利用して(Googleクローラを装って)クロール(htmlからdatに変換して取得)しているんじゃね？
と思ってGoogleクローラを弾くが効果無しで弾くのを止めた
(検索エンジンのクローラを弾くだけならIPアドレスでBANしなくてもrobots.txtでお引き取り願える)
robots.txtは内容を見るとdatしかブロックしていないので上記の件とは殆ど無関係に思える
dat直読み廃止したし検索エンジンのクローラに対して無駄なことするなよってことで置いただけっぽい