Парсинг html сайта у которого frontend на javascript - C#

Узнай цену своей работы

Формулировка задачи:

Здравствуйте. Пытаюсь запарсить вот этот сайт: http://allsocial.ru Для начала пытаюсь получить html код, но он приходит не полностью. Я так понял там фронтенд на ajax построен. Подскажите пожалуйста как можно получить тот html, который я хочу?) Т.е. тот, который я вижу при открытии инспектора в браузере и который потом можно будет парсить.
    using System;
    using System.Collections.Generic;
    using System.Linq;
    using System.Text;
    using System.Threading.Tasks;
    using System.Net;
    using System.IO;
     
    namespace ConsoleApplication2
    {
        class Program
        {
     
            static string getResponse(string uri)
            {
                StringBuilder sb = new StringBuilder();
                byte[] buf = new byte[8192];
                HttpWebRequest request = (HttpWebRequest)WebRequest.Create(uri);
                HttpWebResponse response = (HttpWebResponse)request.GetResponse();
                Stream resStream = response.GetResponseStream();
                int count = 0;
                do
                {
                    count = resStream.Read(buf, 0, buf.Length);
                    if (count != 0)
                    {
                        sb.Append(Encoding.Default.GetString(buf, 0, count));
                    }
                }
                while (count > 0);
                return sb.ToString();
            }
            static void Main(string[] args)
            {
                string html = getResponse("http://allsocial.ru/communities/");
                System.IO.File.WriteAllText(@"C:\WriteText.txt", html, Encoding.Default);
                Console.Write("Complite");
                Console.Read();
            }
        }
    }
Вот такой приходит ответ(ссылка, что бы не постить сюда простыню html): http://pastebin.com/UzL6EH4j

Решение задачи: «Парсинг html сайта у которого frontend на javascript»

textual
Листинг программы
    <script src="/stat/js/templates.1416413282.js" type="text/javascript"></script>

ИИ поможет Вам:


  • решить любую задачу по программированию
  • объяснить код
  • расставить комментарии в коде
  • и т.д
Попробуйте бесплатно

Оцени полезность:

5   голосов , оценка 4.4 из 5