Парсинг описания товаров с Aliexpress - Python
Формулировка задачи:
Всем привет!
По url через request requests.get(url) получаю отдачу по товару например, https://ru.aliexpress.com/wholesale?...hText=delonghi и вытаскиваю нужную информацию через xpath. Но через несколько запросов парсер перестает работать, запросы без авторизации на али не проходят, кто сталкивался с подобным как можно решить проблему? Спасибо!
Решение задачи: «Парсинг описания товаров с Aliexpress»
textual
Листинг программы
- def getContent(url, regex):
- current_proxy = proxy.get_proxy()
- print(current_proxy)
- headers = {'User-Agent': ua.random}
- proxy.get_proxy_list()
- r = requests.get(url, headers=headers, proxies={'http': 'https://' + current_proxy})
- obj = html.fromstring(r.content)
- list = obj.xpath(regex)
- if len(list) == 0:
- proxy.delete_proxy(current_proxy)
- getContent(url, regex)
- else:
- return list
ИИ поможет Вам:
- решить любую задачу по программированию
- объяснить код
- расставить комментарии в коде
- и т.д