スレの趣旨とはあんまり関係ないけど補足させて
今回みたいに何度もwebサイトの内容拾ってくるときはサイトにあまり負荷をかけないことが大切だよ
短い時間に何回もアクセスするとサーバー側から拒否されることもあるよ
https://su-gi-rx.com/archives/1919
ここに書いてあるtime.sleepを使って適切に負荷を調節してね
でもスレが1000個あると1秒スリープすると1000秒かかっちゃう
0.3秒でも5分かかるね
0.1秒でやっと1分半くらいだけどそれでも入れないよりは負荷が軽いよ