Не парсится сайт - C#
Формулировка задачи:
Пытаюсь спарсить https://steamdb.info, но возвращает пустую страницу.
Вот код:
Ставлю брейкпоинт, и просматриваю содержимое переменной doc. С другими сайтами работает если что.
Код класса getRequest(), его стащил с одного сайта.
HtmlAgilityPack.HtmlDocument doc = new HtmlAgilityPack.HtmlDocument();
doc.LoadHtml(getRequest("https://steamdb.info"));
HtmlNodeCollection bodyNode = doc.DocumentNode.SelectNodes
("xpath запрос"); try
{
var httpWebRequest = (HttpWebRequest)WebRequest.Create(url);
httpWebRequest.AllowAutoRedirect = false;
httpWebRequest.Method = "GET";
httpWebRequest.Referer = url; // URL
using (var httpWebResponse = (HttpWebResponse)httpWebRequest.GetResponse())
{
using (var stream = httpWebResponse.GetResponseStream())
{
using (var reader = new StreamReader(stream, Encoding.GetEncoding(httpWebResponse.CharacterSet)))
{
return reader.ReadToEnd();
}
}
}
}
catch
{
return String.Empty;
}Решение задачи: «Не парсится сайт»
textual
Листинг программы
httpWebRequest.UserAgent = "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36";