Парсинг html сайта у которого frontend на javascript - C#
Формулировка задачи:
Здравствуйте.
Пытаюсь запарсить вот этот сайт: http://allsocial.ru
Для начала пытаюсь получить html код, но он приходит не полностью.
Я так понял там фронтенд на ajax построен.
Подскажите пожалуйста как можно получить тот html, который я хочу?) Т.е. тот, который я вижу при открытии инспектора в браузере и который потом можно будет парсить.
Вот такой приходит ответ(ссылка, что бы не постить сюда простыню html): http://pastebin.com/UzL6EH4j
using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Threading.Tasks; using System.Net; using System.IO; namespace ConsoleApplication2 { class Program { static string getResponse(string uri) { StringBuilder sb = new StringBuilder(); byte[] buf = new byte[8192]; HttpWebRequest request = (HttpWebRequest)WebRequest.Create(uri); HttpWebResponse response = (HttpWebResponse)request.GetResponse(); Stream resStream = response.GetResponseStream(); int count = 0; do { count = resStream.Read(buf, 0, buf.Length); if (count != 0) { sb.Append(Encoding.Default.GetString(buf, 0, count)); } } while (count > 0); return sb.ToString(); } static void Main(string[] args) { string html = getResponse("http://allsocial.ru/communities/"); System.IO.File.WriteAllText(@"C:\WriteText.txt", html, Encoding.Default); Console.Write("Complite"); Console.Read(); } } }
Решение задачи: «Парсинг html сайта у которого frontend на javascript»
textual
Листинг программы
<script src="/stat/js/templates.1416413282.js" type="text/javascript"></script>
ИИ поможет Вам:
- решить любую задачу по программированию
- объяснить код
- расставить комментарии в коде
- и т.д