Работа с proxy по скорости близкая с Chrome - Python

Узнай цену своей работы

Формулировка задачи:

Суть проекта в постоянном парсинге сайта, (выдаче PHP скрипта). Сам скрипт блочит частые запросы, поэтому используется 40 штук проксей. Есть расширение для Google Chrome, которое показывает отличные тайминги, 500 МС, и на ру проксях и на американских. При попытке реализации того же функционала на Node.JS, Python, PHP(CURL) столкнулся с проблемой что ру прокси быстрее 800 МС ни в какую не идут, а американских и вовсе 1200+. Какие вообще могут быть причины для этого? VPS не самый дешевый, да и проблем вообще не бывало с ним никогда. P.S. Библиотека "requests".

Решение задачи: «Работа с proxy по скорости близкая с Chrome»

textual
Листинг программы
  1. import time
  2.  
  3. from _md5 import md5
  4.  
  5. import requests
  6.  
  7.  
  8. def get_google_header():
  9.     """
  10.    Генерирует заголовок для авторизации на Chrome Data Compression Proxy
  11.    """
  12.     result = ('ps={timestamp}-0-0-0, sid={checksum}, b={build}, p={patch}, '
  13.               'c={platform}')
  14.  
  15.     auth_value = 'ac4500dd3b7579186c1b0620614fdb1f7d61f944'
  16.     timestamp = str(int(time.time()))
  17.     checksum = md5(
  18.         (timestamp + auth_value + timestamp).encode('utf-8')
  19.     ).hexdigest()
  20.  
  21.     return result.format(
  22.         timestamp=timestamp, checksum=checksum, build=2403, patch=61,
  23.         platform='win'
  24.     )
  25.  
  26.  
  27. proxies = {
  28.     'http': 'proxy.googlezip.net:80',
  29. }
  30.  
  31. headers = {
  32.     'Chrome-Proxy': get_google_header()
  33. }
  34.  
  35. r = requests.get(
  36.     'http://filmix.net/dramy/112491-pravila-poboku-2016.html', headers=headers,
  37.     proxies=proxies
  38. )
  39. print(r.text)

ИИ поможет Вам:


  • решить любую задачу по программированию
  • объяснить код
  • расставить комментарии в коде
  • и т.д
Попробуйте бесплатно

Оцени полезность:

13   голосов , оценка 3.846 из 5

Нужна аналогичная работа?

Оформи быстрый заказ и узнай стоимость

Бесплатно
Оформите заказ и авторы начнут откликаться уже через 10 минут