Парсинг html сайта у которого frontend на javascript - C#
Формулировка задачи:
Здравствуйте.
Пытаюсь запарсить вот этот сайт: http://allsocial.ru
Для начала пытаюсь получить html код, но он приходит не полностью.
Я так понял там фронтенд на ajax построен.
Подскажите пожалуйста как можно получить тот html, который я хочу?) Т.е. тот, который я вижу при открытии инспектора в браузере и который потом можно будет парсить.
Вот такой приходит ответ(ссылка, что бы не постить сюда простыню html): http://pastebin.com/UzL6EH4j
using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using System.Net;
using System.IO;
namespace ConsoleApplication2
{
class Program
{
static string getResponse(string uri)
{
StringBuilder sb = new StringBuilder();
byte[] buf = new byte[8192];
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(uri);
HttpWebResponse response = (HttpWebResponse)request.GetResponse();
Stream resStream = response.GetResponseStream();
int count = 0;
do
{
count = resStream.Read(buf, 0, buf.Length);
if (count != 0)
{
sb.Append(Encoding.Default.GetString(buf, 0, count));
}
}
while (count > 0);
return sb.ToString();
}
static void Main(string[] args)
{
string html = getResponse("http://allsocial.ru/communities/");
System.IO.File.WriteAllText(@"C:\WriteText.txt", html, Encoding.Default);
Console.Write("Complite");
Console.Read();
}
}
}Решение задачи: «Парсинг html сайта у которого frontend на javascript»
textual
Листинг программы
<script src="/stat/js/templates.1416413282.js" type="text/javascript"></script>