Tag: 会话cookie cookies

Scrapy – 如何pipe理Cookie /会话

对于Scrapy如何使用Cookie以及如何pipe理这些Cookie，我有点困惑。 这基本上是我想要做的简化版本： 网站的工作方式： 当你访问网站时，你会得到一个会话cookie。 当你进行search时，网站会记住你search的内容，所以当你进入下一页的search结果时，它会知道search结果。 我的脚本： 我的蜘蛛有一个searchpage_url的开始url search页面被parse()请求，search表单响应被传递给search_generator() search_generator()然后使用FormRequest和search表单响应yield大量的search请求。 每个FormRequests和后续的子请求都需要拥有它自己的会话，所以需要拥有它自己的cookiejar和它自己的会话cookie。 我已经看到文档的部分，谈论一个元选项，停止被合并的Cookie。 这实际上是什么意思？ 这是否意味着使请求的蜘蛛在其余生命中将拥有自己的cookiejar？ 如果每个蜘蛛级别的cookie都是这样的，那么当多个蜘蛛产生时它是如何工作的？ 是否有可能只让第一个请求生成器产生新的蜘蛛，并确保从那时起只有蜘蛛处理未来的请求？ 我假设我必须禁用多个并发请求。否则，一个蜘蛛会在相同的会话cookie下进行多次search，而将来的请求只会涉及到最近的search？ 我很困惑，任何澄清将大受欢迎！ 编辑： 我刚刚想到的另一个选项是完全手动pipe理会话cookie，并将其从一个请求传递给另一个。 我想这将意味着禁用cookies ..然后从search响应抓取会话cookie，并将其传递给每个后续请求。 这是你在这种情况下应该做的吗？