Не парсится сайт - C#
Формулировка задачи:
Пытаюсь спарсить https://steamdb.info, но возвращает пустую страницу.
Вот код:
Ставлю брейкпоинт, и просматриваю содержимое переменной doc. С другими сайтами работает если что.
Код класса getRequest(), его стащил с одного сайта.
HtmlAgilityPack.HtmlDocument doc = new HtmlAgilityPack.HtmlDocument(); doc.LoadHtml(getRequest("https://steamdb.info")); HtmlNodeCollection bodyNode = doc.DocumentNode.SelectNodes ("xpath запрос");
try { var httpWebRequest = (HttpWebRequest)WebRequest.Create(url); httpWebRequest.AllowAutoRedirect = false; httpWebRequest.Method = "GET"; httpWebRequest.Referer = url; // URL using (var httpWebResponse = (HttpWebResponse)httpWebRequest.GetResponse()) { using (var stream = httpWebResponse.GetResponseStream()) { using (var reader = new StreamReader(stream, Encoding.GetEncoding(httpWebResponse.CharacterSet))) { return reader.ReadToEnd(); } } } } catch { return String.Empty; }
Решение задачи: «Не парсится сайт»
textual
Листинг программы
httpWebRequest.UserAgent = "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36";
ИИ поможет Вам:
- решить любую задачу по программированию
- объяснить код
- расставить комментарии в коде
- и т.д