Работа с proxy по скорости близкая с Chrome - Python
Формулировка задачи:
Суть проекта в постоянном парсинге сайта, (выдаче PHP скрипта). Сам скрипт блочит частые запросы, поэтому используется 40 штук проксей. Есть расширение для Google Chrome, которое показывает отличные тайминги, 500 МС, и на ру проксях и на американских. При попытке реализации того же функционала на Node.JS, Python, PHP(CURL) столкнулся с проблемой что ру прокси быстрее 800 МС ни в какую не идут, а американских и вовсе 1200+. Какие вообще могут быть причины для этого? VPS не самый дешевый, да и проблем вообще не бывало с ним никогда.
P.S. Библиотека "requests".
Решение задачи: «Работа с proxy по скорости близкая с Chrome»
textual
Листинг программы
import time
from _md5 import md5
import requests
def get_google_header():
"""
Генерирует заголовок для авторизации на Chrome Data Compression Proxy
"""
result = ('ps={timestamp}-0-0-0, sid={checksum}, b={build}, p={patch}, '
'c={platform}')
auth_value = 'ac4500dd3b7579186c1b0620614fdb1f7d61f944'
timestamp = str(int(time.time()))
checksum = md5(
(timestamp + auth_value + timestamp).encode('utf-8')
).hexdigest()
return result.format(
timestamp=timestamp, checksum=checksum, build=2403, patch=61,
platform='win'
)
proxies = {
'http': 'proxy.googlezip.net:80',
}
headers = {
'Chrome-Proxy': get_google_header()
}
r = requests.get(
'http://filmix.net/dramy/112491-pravila-poboku-2016.html', headers=headers,
proxies=proxies
)
print(r.text)