Парсинг описания товаров с Aliexpress - Python

Узнай цену своей работы

Формулировка задачи:

Всем привет! По url через request requests.get(url) получаю отдачу по товару например, https://ru.aliexpress.com/wholesale?...hText=delonghi и вытаскиваю нужную информацию через xpath. Но через несколько запросов парсер перестает работать, запросы без авторизации на али не проходят, кто сталкивался с подобным как можно решить проблему? Спасибо!

Решение задачи: «Парсинг описания товаров с Aliexpress»

textual
Листинг программы
def getContent(url, regex):
    current_proxy = proxy.get_proxy()
    print(current_proxy)
    headers = {'User-Agent': ua.random}
    proxy.get_proxy_list()
    r = requests.get(url, headers=headers, proxies={'http': 'https://' + current_proxy})
    obj = html.fromstring(r.content)
    list = obj.xpath(regex)
    if len(list) == 0:
        proxy.delete_proxy(current_proxy)
        getContent(url, regex)
    else:
        return list

ИИ поможет Вам:


  • решить любую задачу по программированию
  • объяснить код
  • расставить комментарии в коде
  • и т.д
Попробуйте бесплатно

Оцени полезность:

13   голосов , оценка 3.538 из 5