Парсинг html сайта у которого frontend на javascript - C#

Узнай цену своей работы

Формулировка задачи:

Здравствуйте. Пытаюсь запарсить вот этот сайт: http://allsocial.ru Для начала пытаюсь получить html код, но он приходит не полностью. Я так понял там фронтенд на ajax построен. Подскажите пожалуйста как можно получить тот html, который я хочу?) Т.е. тот, который я вижу при открытии инспектора в браузере и который потом можно будет парсить.
Листинг программы
  1. using System;
  2. using System.Collections.Generic;
  3. using System.Linq;
  4. using System.Text;
  5. using System.Threading.Tasks;
  6. using System.Net;
  7. using System.IO;
  8. namespace ConsoleApplication2
  9. {
  10. class Program
  11. {
  12. static string getResponse(string uri)
  13. {
  14. StringBuilder sb = new StringBuilder();
  15. byte[] buf = new byte[8192];
  16. HttpWebRequest request = (HttpWebRequest)WebRequest.Create(uri);
  17. HttpWebResponse response = (HttpWebResponse)request.GetResponse();
  18. Stream resStream = response.GetResponseStream();
  19. int count = 0;
  20. do
  21. {
  22. count = resStream.Read(buf, 0, buf.Length);
  23. if (count != 0)
  24. {
  25. sb.Append(Encoding.Default.GetString(buf, 0, count));
  26. }
  27. }
  28. while (count > 0);
  29. return sb.ToString();
  30. }
  31. static void Main(string[] args)
  32. {
  33. string html = getResponse("http://allsocial.ru/communities/");
  34. System.IO.File.WriteAllText(@"C:\WriteText.txt", html, Encoding.Default);
  35. Console.Write("Complite");
  36. Console.Read();
  37. }
  38. }
  39. }
Вот такой приходит ответ(ссылка, что бы не постить сюда простыню html): http://pastebin.com/UzL6EH4j

Решение задачи: «Парсинг html сайта у которого frontend на javascript»

textual
Листинг программы
  1.     <script src="/stat/js/templates.1416413282.js" type="text/javascript"></script>

ИИ поможет Вам:


  • решить любую задачу по программированию
  • объяснить код
  • расставить комментарии в коде
  • и т.д
Попробуйте бесплатно

Оцени полезность:

5   голосов , оценка 4.4 из 5

Нужна аналогичная работа?

Оформи быстрый заказ и узнай стоимость

Бесплатно
Оформите заказ и авторы начнут откликаться уже через 10 минут