Взаимодействие двух пауков в фреймфорке scrapy - Python
Формулировка задачи:
Здравствуйте, как сделать в scrapy так, чтобы один паук вернул данные, которые пропарсил, а второй паук принял эти возвращенные первым пауком данные и, используя их, начал свою работу?
На официальном сайте такой пример:
Но он мне не подходит, потому что в crawl передается класс(в данном случае MySpider1), а не объект и я не могу получить возвращаемые данные, чтобы передать их второму пауку...
Листинг программы
- import scrapy
- from scrapy.crawler import CrawlerProcess
- class MySpider1(scrapy.Spider):
- # Your first spider definition
- ...
- class MySpider2(scrapy.Spider):
- # Your second spider definition
- ...
- process = CrawlerProcess()
- process.crawl(MySpider1)
- process.crawl(MySpider2)
- process.start() # the script will block here until all crawling jobs are finished
Решение задачи: «Взаимодействие двух пауков в фреймфорке scrapy»
textual
Листинг программы
- import subprocess
- subprocess.call("spider crawl MySpider2", shell=True)
- subprocess.call("spider crawl MySpider2", shell=True)
ИИ поможет Вам:
- решить любую задачу по программированию
- объяснить код
- расставить комментарии в коде
- и т.д