Работа с proxy по скорости близкая с Chrome - Python
Формулировка задачи:
Суть проекта в постоянном парсинге сайта, (выдаче PHP скрипта). Сам скрипт блочит частые запросы, поэтому используется 40 штук проксей. Есть расширение для Google Chrome, которое показывает отличные тайминги, 500 МС, и на ру проксях и на американских. При попытке реализации того же функционала на Node.JS, Python, PHP(CURL) столкнулся с проблемой что ру прокси быстрее 800 МС ни в какую не идут, а американских и вовсе 1200+. Какие вообще могут быть причины для этого? VPS не самый дешевый, да и проблем вообще не бывало с ним никогда.
P.S. Библиотека "requests".
Решение задачи: «Работа с proxy по скорости близкая с Chrome»
textual
Листинг программы
import time from _md5 import md5 import requests def get_google_header(): """ Генерирует заголовок для авторизации на Chrome Data Compression Proxy """ result = ('ps={timestamp}-0-0-0, sid={checksum}, b={build}, p={patch}, ' 'c={platform}') auth_value = 'ac4500dd3b7579186c1b0620614fdb1f7d61f944' timestamp = str(int(time.time())) checksum = md5( (timestamp + auth_value + timestamp).encode('utf-8') ).hexdigest() return result.format( timestamp=timestamp, checksum=checksum, build=2403, patch=61, platform='win' ) proxies = { 'http': 'proxy.googlezip.net:80', } headers = { 'Chrome-Proxy': get_google_header() } r = requests.get( 'http://filmix.net/dramy/112491-pravila-poboku-2016.html', headers=headers, proxies=proxies ) print(r.text)
ИИ поможет Вам:
- решить любую задачу по программированию
- объяснить код
- расставить комментарии в коде
- и т.д