Работа с proxy по скорости близкая с Chrome - Python
Формулировка задачи:
Суть проекта в постоянном парсинге сайта, (выдаче PHP скрипта). Сам скрипт блочит частые запросы, поэтому используется 40 штук проксей. Есть расширение для Google Chrome, которое показывает отличные тайминги, 500 МС, и на ру проксях и на американских. При попытке реализации того же функционала на Node.JS, Python, PHP(CURL) столкнулся с проблемой что ру прокси быстрее 800 МС ни в какую не идут, а американских и вовсе 1200+. Какие вообще могут быть причины для этого? VPS не самый дешевый, да и проблем вообще не бывало с ним никогда.
P.S. Библиотека "requests".
Решение задачи: «Работа с proxy по скорости близкая с Chrome»
textual
Листинг программы
- import time
- from _md5 import md5
- import requests
- def get_google_header():
- """
- Генерирует заголовок для авторизации на Chrome Data Compression Proxy
- """
- result = ('ps={timestamp}-0-0-0, sid={checksum}, b={build}, p={patch}, '
- 'c={platform}')
- auth_value = 'ac4500dd3b7579186c1b0620614fdb1f7d61f944'
- timestamp = str(int(time.time()))
- checksum = md5(
- (timestamp + auth_value + timestamp).encode('utf-8')
- ).hexdigest()
- return result.format(
- timestamp=timestamp, checksum=checksum, build=2403, patch=61,
- platform='win'
- )
- proxies = {
- 'http': 'proxy.googlezip.net:80',
- }
- headers = {
- 'Chrome-Proxy': get_google_header()
- }
- r = requests.get(
- 'http://filmix.net/dramy/112491-pravila-poboku-2016.html', headers=headers,
- proxies=proxies
- )
- print(r.text)
ИИ поможет Вам:
- решить любую задачу по программированию
- объяснить код
- расставить комментарии в коде
- и т.д