Работа с proxy по скорости близкая с Chrome - Python

Узнай цену своей работы

Формулировка задачи:

Суть проекта в постоянном парсинге сайта, (выдаче PHP скрипта). Сам скрипт блочит частые запросы, поэтому используется 40 штук проксей. Есть расширение для Google Chrome, которое показывает отличные тайминги, 500 МС, и на ру проксях и на американских. При попытке реализации того же функционала на Node.JS, Python, PHP(CURL) столкнулся с проблемой что ру прокси быстрее 800 МС ни в какую не идут, а американских и вовсе 1200+. Какие вообще могут быть причины для этого? VPS не самый дешевый, да и проблем вообще не бывало с ним никогда. P.S. Библиотека "requests".

Решение задачи: «Работа с proxy по скорости близкая с Chrome»

textual
Листинг программы
import time
 
from _md5 import md5
 
import requests
 
 
def get_google_header():
    """
    Генерирует заголовок для авторизации на Chrome Data Compression Proxy
    """
    result = ('ps={timestamp}-0-0-0, sid={checksum}, b={build}, p={patch}, '
              'c={platform}')
 
    auth_value = 'ac4500dd3b7579186c1b0620614fdb1f7d61f944'
    timestamp = str(int(time.time()))
    checksum = md5(
        (timestamp + auth_value + timestamp).encode('utf-8')
    ).hexdigest()
 
    return result.format(
        timestamp=timestamp, checksum=checksum, build=2403, patch=61,
        platform='win'
    )
 
 
proxies = {
    'http': 'proxy.googlezip.net:80',
}
 
headers = {
    'Chrome-Proxy': get_google_header()
}
 
r = requests.get(
    'http://filmix.net/dramy/112491-pravila-poboku-2016.html', headers=headers,
    proxies=proxies
)
print(r.text)

ИИ поможет Вам:


  • решить любую задачу по программированию
  • объяснить код
  • расставить комментарии в коде
  • и т.д
Попробуйте бесплатно

Оцени полезность:

13   голосов , оценка 3.846 из 5