Парсинг html сайта у которого frontend на javascript - C#
Формулировка задачи:
Здравствуйте.
Пытаюсь запарсить вот этот сайт: http://allsocial.ru
Для начала пытаюсь получить html код, но он приходит не полностью.
Я так понял там фронтенд на ajax построен.
Подскажите пожалуйста как можно получить тот html, который я хочу?) Т.е. тот, который я вижу при открытии инспектора в браузере и который потом можно будет парсить.
Вот такой приходит ответ(ссылка, что бы не постить сюда простыню html): http://pastebin.com/UzL6EH4j
Листинг программы
- using System;
- using System.Collections.Generic;
- using System.Linq;
- using System.Text;
- using System.Threading.Tasks;
- using System.Net;
- using System.IO;
- namespace ConsoleApplication2
- {
- class Program
- {
- static string getResponse(string uri)
- {
- StringBuilder sb = new StringBuilder();
- byte[] buf = new byte[8192];
- HttpWebRequest request = (HttpWebRequest)WebRequest.Create(uri);
- HttpWebResponse response = (HttpWebResponse)request.GetResponse();
- Stream resStream = response.GetResponseStream();
- int count = 0;
- do
- {
- count = resStream.Read(buf, 0, buf.Length);
- if (count != 0)
- {
- sb.Append(Encoding.Default.GetString(buf, 0, count));
- }
- }
- while (count > 0);
- return sb.ToString();
- }
- static void Main(string[] args)
- {
- string html = getResponse("http://allsocial.ru/communities/");
- System.IO.File.WriteAllText(@"C:\WriteText.txt", html, Encoding.Default);
- Console.Write("Complite");
- Console.Read();
- }
- }
- }
Решение задачи: «Парсинг html сайта у которого frontend на javascript»
textual
Листинг программы
- <script src="/stat/js/templates.1416413282.js" type="text/javascript"></script>
ИИ поможет Вам:
- решить любую задачу по программированию
- объяснить код
- расставить комментарии в коде
- и т.д