Работа с proxy по скорости близкая с Chrome - Python

Формулировка задачи:

Суть проекта в постоянном парсинге сайта, (выдаче PHP скрипта). Сам скрипт блочит частые запросы, поэтому используется 40 штук проксей. Есть расширение для Google Chrome, которое показывает отличные тайминги, 500 МС, и на ру проксях и на американских. При попытке реализации того же функционала на Node.JS, Python, PHP(CURL) столкнулся с проблемой что ру прокси быстрее 800 МС ни в какую не идут, а американских и вовсе 1200+. Какие вообще могут быть причины для этого? VPS не самый дешевый, да и проблем вообще не бывало с ним никогда. P.S. Библиотека "requests".

Код к задаче: «Работа с proxy по скорости близкая с Chrome - Python»

textual
import time
 
from _md5 import md5
 
import requests
 
 
def get_google_header():
    """    Генерирует заголовок для авторизации на Chrome Data Compression Proxy    """
    result = ('ps={timestamp}-0-0-0, sid={checksum}, b={build}, p={patch}, '
              'c={platform}')
 
    auth_value = 'ac4500dd3b7579186c1b0620614fdb1f7d61f944'
    timestamp = str(int(time.time()))
    checksum = md5(
        (timestamp + auth_value + timestamp).encode('utf-8')
    ).hexdigest()
 
    return result.format(
        timestamp=timestamp, checksum=checksum, build=2403, patch=61,
        platform='win'
    )
 
 
proxies = {
    'http': 'proxy.googlezip.net:80',
}
 
headers = {
    'Chrome-Proxy': get_google_header()
}
 
r = requests.get(
    'http://filmix.net/dramy/112491-pravila-poboku-2016.html', headers=headers,
    proxies=proxies
)
print(r.text)

13   голосов, оценка 3.846 из 5


СОХРАНИТЬ ССЫЛКУ