Не парсится сайт - C#

Узнай цену своей работы

Формулировка задачи:

Пытаюсь спарсить https://steamdb.info, но возвращает пустую страницу. Вот код:
HtmlAgilityPack.HtmlDocument doc = new HtmlAgilityPack.HtmlDocument();
            doc.LoadHtml(getRequest("https://steamdb.info"));
            HtmlNodeCollection bodyNode = doc.DocumentNode.SelectNodes
                            ("xpath запрос");
Ставлю брейкпоинт, и просматриваю содержимое переменной doc. С другими сайтами работает если что. Код класса getRequest(), его стащил с одного сайта.
 try
            {
                var httpWebRequest = (HttpWebRequest)WebRequest.Create(url);
                httpWebRequest.AllowAutoRedirect = false; 
                httpWebRequest.Method = "GET";
                httpWebRequest.Referer = url; //  URL
                
                using (var httpWebResponse = (HttpWebResponse)httpWebRequest.GetResponse())
                {
                    using (var stream = httpWebResponse.GetResponseStream())
                    {
                        using (var reader = new StreamReader(stream, Encoding.GetEncoding(httpWebResponse.CharacterSet)))
                        {
                            return reader.ReadToEnd();
                        }
                    }
                }
            }
            catch
            {
                return String.Empty;
            }

Решение задачи: «Не парсится сайт»

textual
Листинг программы
httpWebRequest.UserAgent = "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36";

ИИ поможет Вам:


  • решить любую задачу по программированию
  • объяснить код
  • расставить комментарии в коде
  • и т.д
Попробуйте бесплатно

Оцени полезность:

13   голосов , оценка 4.231 из 5
Похожие ответы