Как вытащить полный код страницы сайта? - C#
Формулировка задачи:
Здравствуйте. Первая моя тема по этому могу не правильно объяснить)
Пишу парсер сайта страниц вакансий и резюме. Недавно изучаю данное направление.
Работаю с помощью HtmlAgilityPack. Уже написал код для hh.ru, job.ru. Приступил к сайту https://trudvsem.ru
На странице https://trudvsem.ru/vacancy/search нужно получить ссылки на все вакансии.
Для других сайтов делал это следующим путем
Потом строку с хранящимся html кодом, разбивал и вытаскивал нужные данные.
Так вот для https://trudvsem.ru/vacancy/search это не подходит. Если делать тем же способом, что и раньше, то В коде нет самого контента, с хранящимися ссылками (видимо для него нужен какой-то отдельный запрос).
Вот как бы достать полный код сайта, чтобы собрать href с каждого объявления
Наведите пожалуйста на правильный путь
string s = string.Empty;
HttpWebRequest myRequest = (HttpWebRequest)HttpWebRequest.Create(url);
HttpWebResponse myResponse = (HttpWebResponse)myRequest.GetResponse();
StreamReader sr = new StreamReader(myResponse.GetResponseStream());
s = sr.ReadToEnd();Решение задачи: «Как вытащить полный код страницы сайта?»
textual
Листинг программы
webBrowser1.Navigate(url);
webBrowser1.ScriptErrorsSuppressed = true;
webBrowser1.DocumentCompleted += new WebBrowserDocumentCompletedEventHandler(webBrowser1_DocumentCompleted);
while (webBrowser1.ReadyState != WebBrowserReadyState.Complete)
{
Application.DoEvents();
}
content = webBrowser1.Document.Body.OuterHtml;