Взаимодействие двух пауков в фреймфорке scrapy - Python

Узнай цену своей работы

Формулировка задачи:

Здравствуйте, как сделать в scrapy так, чтобы один паук вернул данные, которые пропарсил, а второй паук принял эти возвращенные первым пауком данные и, используя их, начал свою работу? На официальном сайте такой пример:
Листинг программы
  1. import scrapy
  2. from scrapy.crawler import CrawlerProcess
  3. class MySpider1(scrapy.Spider):
  4. # Your first spider definition
  5. ...
  6. class MySpider2(scrapy.Spider):
  7. # Your second spider definition
  8. ...
  9. process = CrawlerProcess()
  10. process.crawl(MySpider1)
  11. process.crawl(MySpider2)
  12. process.start() # the script will block here until all crawling jobs are finished
Но он мне не подходит, потому что в crawl передается класс(в данном случае MySpider1), а не объект и я не могу получить возвращаемые данные, чтобы передать их второму пауку...

Решение задачи: «Взаимодействие двух пауков в фреймфорке scrapy»

textual
Листинг программы
  1. import subprocess
  2.  
  3. subprocess.call("spider crawl MySpider2", shell=True)
  4. subprocess.call("spider crawl MySpider2", shell=True)

ИИ поможет Вам:


  • решить любую задачу по программированию
  • объяснить код
  • расставить комментарии в коде
  • и т.д
Попробуйте бесплатно

Оцени полезность:

12   голосов , оценка 3.917 из 5

Нужна аналогичная работа?

Оформи быстрый заказ и узнай стоимость

Бесплатно
Оформите заказ и авторы начнут откликаться уже через 10 минут