Парсинг описания товаров с Aliexpress - Python
Формулировка задачи:
Всем привет!
По url через request requests.get(url) получаю отдачу по товару например, https://ru.aliexpress.com/wholesale?...hText=delonghi и вытаскиваю нужную информацию через xpath. Но через несколько запросов парсер перестает работать, запросы без авторизации на али не проходят, кто сталкивался с подобным как можно решить проблему? Спасибо!
Решение задачи: «Парсинг описания товаров с Aliexpress»
textual
Листинг программы
def getContent(url, regex):
current_proxy = proxy.get_proxy()
print(current_proxy)
headers = {'User-Agent': ua.random}
proxy.get_proxy_list()
r = requests.get(url, headers=headers, proxies={'http': 'https://' + current_proxy})
obj = html.fromstring(r.content)
list = obj.xpath(regex)
if len(list) == 0:
proxy.delete_proxy(current_proxy)
getContent(url, regex)
else:
return list