Парсинг описания товаров с Aliexpress - Python
Формулировка задачи:
Всем привет!
По url через request requests.get(url) получаю отдачу по товару например, https://ru.aliexpress.com/wholesale?...hText=delonghi и вытаскиваю нужную информацию через xpath. Но через несколько запросов парсер перестает работать, запросы без авторизации на али не проходят, кто сталкивался с подобным как можно решить проблему? Спасибо!
Решение задачи: «Парсинг описания товаров с Aliexpress»
textual
Листинг программы
def getContent(url, regex): current_proxy = proxy.get_proxy() print(current_proxy) headers = {'User-Agent': ua.random} proxy.get_proxy_list() r = requests.get(url, headers=headers, proxies={'http': 'https://' + current_proxy}) obj = html.fromstring(r.content) list = obj.xpath(regex) if len(list) == 0: proxy.delete_proxy(current_proxy) getContent(url, regex) else: return list
ИИ поможет Вам:
- решить любую задачу по программированию
- объяснить код
- расставить комментарии в коде
- и т.д