Парсинг страницы python и получение запроса (beautifulSoup, requests)
Формулировка задачи:
Здравствуйте. Суть проблемы заключается в том, что для парсинга я получаю страницу, где должна быть таблица с данными, но в print(r.text) выводится только html код без таблицы. Сама она (таблица) появляется если только нажать на "Просмотр сделок и объектов" а затем с выбранными параметрами сделать запрос. Я не силен в таких делах, это дали практику в универе на новом для меня языке. Помогите сделать так, чтобы я мог получить код с таблицей.
Использую для парсинга beautifulSoup. Запросы пробовал отправлять через request.
Ссылка на сайт: https://portal.rosreestr.ru/wps/port...CbEdFAO5-2_s!/
В изображениях показана сама таблица, форма с параметрами, а также ОкноРазработчика, откуда мне нужно брать данные.
Я находил,что можно делать запросы напрямую через URL, но тут он статичный и ,как я понял, подгружает все за счет скриптов. Спасибо большое за внимание!
Листинг программы
- import urllib.request
- import urllib.parse
- import urllib
- import requests
- from selenium import webdriver
- from bs4 import BeautifulSoup
- def get_html(url):
- response = urllib.request.urlopen(url)
- return response.read()
- def main():
- myUrl = 'https://portal.rosreestr.ru/wps/portal/p/is/cc_informSections/ais_mrn/!ut/p/c4/04_SB8K8xLLM9MSSzPy8xBz9CP0os3gTZwNPL8tgY5MwIwM3A88AIwvv4FAPI3cjY_2CbEdFAO5-2_s!/'
- value = {'region': '0100000000000',
- 'raion': '0100300000000',
- 'city': '',
- 'startEncumbranceDate': '',
- 'endEncumbranceDate': '',
- 'dealType': '',
- 'encumbranceType': '',
- 'objectKind': '',
- 'objectPurpose': ''}
- headers = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ' \
- 'Chrome/58.0.3029.110 YaBrowser/17.6.1.749 Yowser/2.5 Safari/537.36'
- html = get_html('https://portal.rosreestr.ru/wps/portal/p/is/cc_informSections/ais_mrn/!ut/p/c4/04_SB8K8xLLM9MSSzPy8xBz9CP0os3gTZwNPL8tgY5MwIwM3A88AIwvv4FAPI3cjY_2CbEdFAO5-2_s!/')
- #soup = BeautifulSoup(html,'html.parser')
- r = requests.get(myUrl,params=value)
- print(r.text)
- if __name__ == '__main__':
- main()
Решение задачи: «Парсинг страницы python и получение запроса (beautifulSoup, requests)»
textual
Листинг программы
- def main(url):
- data = {'region': '0100000000000',
- 'start':'0',
- 'limit':'10000'
- }
- headers = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ' \
- 'Chrome/58.0.3029.110 YaBrowser/17.6.1.749 Yowser/2.5 Safari/537.36'
- session = requests.Session()
- r = session.post(url,data=data) # запрос таблицы с параметрами формы
- print(r.json())
- if __name__ == '__main__':
- main('https://portal.rosreestr.ru/wps/PA_AIS_MRN/rest/deal/01/table/data')
ИИ поможет Вам:
- решить любую задачу по программированию
- объяснить код
- расставить комментарии в коде
- и т.д