Парсинг страницы python и получение запроса (beautifulSoup, requests)

Узнай цену своей работы

Формулировка задачи:

Здравствуйте. Суть проблемы заключается в том, что для парсинга я получаю страницу, где должна быть таблица с данными, но в print(r.text) выводится только html код без таблицы. Сама она (таблица) появляется если только нажать на "Просмотр сделок и объектов" а затем с выбранными параметрами сделать запрос. Я не силен в таких делах, это дали практику в универе на новом для меня языке. Помогите сделать так, чтобы я мог получить код с таблицей. Использую для парсинга beautifulSoup. Запросы пробовал отправлять через request.
Листинг программы
  1. import urllib.request
  2. import urllib.parse
  3. import urllib
  4. import requests
  5. from selenium import webdriver
  6. from bs4 import BeautifulSoup
  7. def get_html(url):
  8. response = urllib.request.urlopen(url)
  9. return response.read()
  10. def main():
  11. myUrl = 'https://portal.rosreestr.ru/wps/portal/p/is/cc_informSections/ais_mrn/!ut/p/c4/04_SB8K8xLLM9MSSzPy8xBz9CP0os3gTZwNPL8tgY5MwIwM3A88AIwvv4FAPI3cjY_2CbEdFAO5-2_s!/'
  12. value = {'region': '0100000000000',
  13. 'raion': '0100300000000',
  14. 'city': '',
  15. 'startEncumbranceDate': '',
  16. 'endEncumbranceDate': '',
  17. 'dealType': '',
  18. 'encumbranceType': '',
  19. 'objectKind': '',
  20. 'objectPurpose': ''}
  21. headers = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ' \
  22. 'Chrome/58.0.3029.110 YaBrowser/17.6.1.749 Yowser/2.5 Safari/537.36'
  23. html = get_html('https://portal.rosreestr.ru/wps/portal/p/is/cc_informSections/ais_mrn/!ut/p/c4/04_SB8K8xLLM9MSSzPy8xBz9CP0os3gTZwNPL8tgY5MwIwM3A88AIwvv4FAPI3cjY_2CbEdFAO5-2_s!/')
  24. #soup = BeautifulSoup(html,'html.parser')
  25. r = requests.get(myUrl,params=value)
  26. print(r.text)
  27. if __name__ == '__main__':
  28. main()
Ссылка на сайт: https://portal.rosreestr.ru/wps/port...CbEdFAO5-2_s!/ В изображениях показана сама таблица, форма с параметрами, а также ОкноРазработчика, откуда мне нужно брать данные. Я находил,что можно делать запросы напрямую через URL, но тут он статичный и ,как я понял, подгружает все за счет скриптов. Спасибо большое за внимание!

Решение задачи: «Парсинг страницы python и получение запроса (beautifulSoup, requests)»

textual
Листинг программы
  1. def main(url):
  2.    
  3.    
  4.     data = {'region': '0100000000000',
  5.              'start':'0',
  6.              'limit':'10000'
  7.              }
  8.     headers = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ' \
  9.               'Chrome/58.0.3029.110 YaBrowser/17.6.1.749 Yowser/2.5 Safari/537.36'
  10.  
  11.     session = requests.Session()
  12.     r = session.post(url,data=data) # запрос таблицы с параметрами формы
  13.  
  14.     print(r.json())
  15.  
  16. if __name__ == '__main__':
  17.     main('https://portal.rosreestr.ru/wps/PA_AIS_MRN/rest/deal/01/table/data')

ИИ поможет Вам:


  • решить любую задачу по программированию
  • объяснить код
  • расставить комментарии в коде
  • и т.д
Попробуйте бесплатно

Оцени полезность:

6   голосов , оценка 3.667 из 5

Нужна аналогичная работа?

Оформи быстрый заказ и узнай стоимость

Бесплатно
Оформите заказ и авторы начнут откликаться уже через 10 минут