Модуль request не соединяется через HTTPS прокси - Python
Формулировка задачи:
Стоит задача, разработать парсер некого сайта. При частых обращениях к сайту возможен бан.
Для исключения бана, обращение к сайту осуществляется через HTTPS прокси, с предварительным чеком на валид.
Проблема, не могу сообразить почему не работает:
Решение задачи: «Модуль request не соединяется через HTTPS прокси»
textual
Листинг программы
import requests
import time
from bs4 import BeautifulSoup
def proxy_check(proxy):
try:
target = 'https://xtool.ru/ip/'
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:45.0) Gecko/20100101 Firefox/45.0'}
proxy = {"https": proxy}
r = requests.get(target, proxies=proxy, headers=headers, timeout=10)
if r.status_code == 200:
soup = BeautifulSoup(r.content, "html.parser")
_data = soup.find_all("p", class_="vi")
return _data
else:
return "BAD"
except requests.exceptions.Timeout:
time.sleep(.5)
return 0
print(proxy_check('94.177.254.191:1461'))