Парсинг описания товаров с Aliexpress - Python

Узнай цену своей работы

Формулировка задачи:

Всем привет! По url через request requests.get(url) получаю отдачу по товару например, https://ru.aliexpress.com/wholesale?...hText=delonghi и вытаскиваю нужную информацию через xpath. Но через несколько запросов парсер перестает работать, запросы без авторизации на али не проходят, кто сталкивался с подобным как можно решить проблему? Спасибо!

Решение задачи: «Парсинг описания товаров с Aliexpress»

textual
Листинг программы
  1. def getContent(url, regex):
  2.     current_proxy = proxy.get_proxy()
  3.     print(current_proxy)
  4.     headers = {'User-Agent': ua.random}
  5.     proxy.get_proxy_list()
  6.     r = requests.get(url, headers=headers, proxies={'http': 'https://' + current_proxy})
  7.     obj = html.fromstring(r.content)
  8.     list = obj.xpath(regex)
  9.     if len(list) == 0:
  10.         proxy.delete_proxy(current_proxy)
  11.         getContent(url, regex)
  12.     else:
  13.         return list

ИИ поможет Вам:


  • решить любую задачу по программированию
  • объяснить код
  • расставить комментарии в коде
  • и т.д
Попробуйте бесплатно

Оцени полезность:

13   голосов , оценка 3.538 из 5

Нужна аналогичная работа?

Оформи быстрый заказ и узнай стоимость

Бесплатно
Оформите заказ и авторы начнут откликаться уже через 10 минут