Взаимодействие двух пауков в фреймфорке scrapy - Python

Формулировка задачи:

Здравствуйте, как сделать в scrapy так, чтобы один паук вернул данные, которые пропарсил, а второй паук принял эти возвращенные первым пауком данные и, используя их, начал свою работу? На официальном сайте такой пример:
import scrapy
from scrapy.crawler import CrawlerProcess
 
class MySpider1(scrapy.Spider):
    # Your first spider definition
    ...
 
class MySpider2(scrapy.Spider):
    # Your second spider definition
    ...
 
process = CrawlerProcess()
 
process.crawl(MySpider1)
process.crawl(MySpider2)
process.start() # the script will block here until all crawling jobs are finished
Но он мне не подходит, потому что в crawl передается класс(в данном случае MySpider1), а не объект и я не могу получить возвращаемые данные, чтобы передать их второму пауку...

Код к задаче: «Взаимодействие двух пауков в фреймфорке scrapy - Python»

textual
import subprocess
 
subprocess.call("spider crawl MySpider2", shell=True)
subprocess.call("spider crawl MySpider2", shell=True)

12   голосов, оценка 3.917 из 5


СОХРАНИТЬ ССЫЛКУ