Как вытащить полный код страницы сайта? - C#
Формулировка задачи:
Здравствуйте. Первая моя тема по этому могу не правильно объяснить)
Пишу парсер сайта страниц вакансий и резюме. Недавно изучаю данное направление.
Работаю с помощью HtmlAgilityPack. Уже написал код для hh.ru, job.ru. Приступил к сайту https://trudvsem.ru
На странице https://trudvsem.ru/vacancy/search нужно получить ссылки на все вакансии.
Для других сайтов делал это следующим путем
Потом строку с хранящимся html кодом, разбивал и вытаскивал нужные данные.
Так вот для https://trudvsem.ru/vacancy/search это не подходит. Если делать тем же способом, что и раньше, то В коде нет самого контента, с хранящимися ссылками (видимо для него нужен какой-то отдельный запрос).
Вот как бы достать полный код сайта, чтобы собрать href с каждого объявления
Наведите пожалуйста на правильный путь
string s = string.Empty; HttpWebRequest myRequest = (HttpWebRequest)HttpWebRequest.Create(url); HttpWebResponse myResponse = (HttpWebResponse)myRequest.GetResponse(); StreamReader sr = new StreamReader(myResponse.GetResponseStream()); s = sr.ReadToEnd();
Решение задачи: «Как вытащить полный код страницы сайта?»
textual
Листинг программы
webBrowser1.Navigate(url); webBrowser1.ScriptErrorsSuppressed = true; webBrowser1.DocumentCompleted += new WebBrowserDocumentCompletedEventHandler(webBrowser1_DocumentCompleted); while (webBrowser1.ReadyState != WebBrowserReadyState.Complete) { Application.DoEvents(); } content = webBrowser1.Document.Body.OuterHtml;
ИИ поможет Вам:
- решить любую задачу по программированию
- объяснить код
- расставить комментарии в коде
- и т.д