Webclient, gzip - приходит только два запроса - C#
Формулировка задачи:
Добрый день. Я не могу понять где я запутался и когда. Суть в чем. Разбираю сайт, странички возвращаются в gzip. Gzip разбираю, в отладчике видел хороший html. Но вот беда, когда разбираю, я получаю только 2 ответа от сервера. Если же не работаю с gzip, то я получаю ответов столько, сколько мне нужно. Собсно код:
Когда пытаюсь разобрать:
Когда не трогаю и все хорошо
Что не дает MyWebClient'у по нормальному получать странички в первом случае? Был бы рад понять
string AuctionsCount = foo.Children[2].InnerText;
AuctionsCount = AuctionsCount.Remove(AuctionsCount.Length - 2);
for(int j = 1; j < Convert.ToInt32(AuctionsCount); j++)
{
Thread.Sleep(600);
using (WebClient MyWebClient = new WebClient())
{
MyWebClient.Headers.Add("Host", "www.testserver.ru");
MyWebClient.Headers.Add("User-Agent", "Mozilla/5.0 (Windows NT 6.2; WOW64; rv:35.0) Gecko/20100101 Firefox/35.0");
MyWebClient.Headers.Add("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");
MyWebClient.Headers.Add("Accept-Language", "ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3");
MyWebClient.Headers.Add("Accept-Encoding", "gzip, deflate");
HtmlAgilityPack.HtmlDocument TablePage = new HtmlAgilityPack.HtmlDocument();
Console.WriteLine("Все зашибись");
GZipStream DecompressedStream = new GZipStream(MyWebClient.OpenRead("%запрос%"), CompressionMode.Decompress);
TablePage.Load(DecompressedStream);
}
} string AuctionsCount = foo.Children[2].InnerText;
AuctionsCount = AuctionsCount.Remove(AuctionsCount.Length - 2);
for(int j = 1; j < Convert.ToInt32(AuctionsCount); j++)
{
Thread.Sleep(600);
using (WebClient MyWebClient = new WebClient())
{
MyWebClient.Headers.Add("Host", "www.testserver.ru");
MyWebClient.Headers.Add("User-Agent", "Mozilla/5.0 (Windows NT 6.2; WOW64; rv:35.0) Gecko/20100101 Firefox/35.0");
MyWebClient.Headers.Add("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");
MyWebClient.Headers.Add("Accept-Language", "ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3");
MyWebClient.Headers.Add("Accept-Encoding", "gzip, deflate");
HtmlAgilityPack.HtmlDocument TablePage = new HtmlAgilityPack.HtmlDocument();
Console.WriteLine("Все зашибись");
var CompressedStream = MyWebClient.OpenRead("%запрос%");
TablePage.OptionAddDebuggingAttributes = true;
TablePage.OptionExtractErrorSourceText = true;
TablePage.Load(CompressedStream);
}
}Решение задачи: «Webclient, gzip - приходит только два запроса»
textual
Листинг программы
using(GZipStream DecompressedStream = new GZipStream(MyWebClient.OpenRead("%запрос%"), CompressionMode.Decompress))
{
DoWork();
}