网页抓取中避免多次登录

网页抓取中要尽量避免多次登录,理由是:

1.多次登录浪费资源

2.登录次数过多会导致账号禁用或被封

所以我们要把cookie信息存起来,下次使用只有登录才能使用的功能时,直接装入cookie信息就行了。

但是有可能带来一个问题,那就是有的网站一次登录操作的次数有限制,那么你写个脚本隔特定时间清除cookie重新登录就可以了,详细例子见上一篇文章,贴吧发帖机、盖楼机

Leave a Reply

Time limit is exhausted. Please reload CAPTCHA.

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据