Trying to scrape text from pages where data are loaded from external URL - json

Question

I am using this code to collect the links to all past minutes issued by the central bank of Brazil
import requests
import textwrap
from bs4 import BeautifulSoup
url = "https://www.bcb.gov.br/api/servico/sitebcb/atascopom-conteudo/ultimas?quantidade=1000&filtro="
data = requests.get(url).json()
links = []
for i in range(178):
temp_link = "https://www.bcb.gov.br/"+data['conteudo'][i]['LinkPagina']
links.append(temp_link)
print(links)
The code does generate all the links as needed. Unfortunately, when I loop over the links and try to copy the main text in the body of the respective pages, I get empty results. Based on a previous related question, I believe the issue is that the data in the respective pages are loaded from external URLs. Unfortunately I do not know how to overcome this problem in the context of my loop.
Any help is appreciated.

Answer 1

import requests
from bs4 import BeautifulSoup
def main(url):
with requests.Session() as req:
params = {
"quantidade": 1000,
"filtro": ""
}
r = req.get(url, params=params)
items = [x['LinkPagina'].rsplit('/', 1)[-1]
for x in r.json()['conteudo']]
for x in items:
npr = {
"filtro": "IdentificadorUrl eq '{}'".format(x)
}
r = req.get(
'https://www.bcb.gov.br/api/servico/sitebcb/atascopom/principal', params=npr)
soup = BeautifulSoup(
r.json()['conteudo'][0]['OutrasInformacoes'], 'lxml')
print(soup.select_one('.lista1').text)
exit() # <-- Remove it.
main('https://www.bcb.gov.br/api/servico/sitebcb/atascopom-conteudo/ultimas')
Output:
1.
A
inflação medida pela variação do Índice Nacional de Preços ao Consumidor Amplo
(IPCA) atingiu 0,78% em maio, 0,17 ponto percentual (p.p.) acima da registrada
no mês anterior. Dessa forma, a inflação acumulada em doze meses registrou 9,32%
em maio (8,47% em maio de 2015), com os preços livres aumentando 8,82% (6,82%
em maio de 2015), e os administrados, 10,90% (14,09% em maio de 2015).
Especificamente sobre preços livres, os de itens comercializáveis aumentaram 9,55%
em doze meses até maio (5,71% em maio de 2015), e os de não comercializáveis,
8,19% (7,79% em maio de 2015). Note-se, ainda, que os preços no segmento de
alimentação e bebidas variaram 12,72% em doze meses até maio (8,80% em maio de
2015), e os dos serviços, 7,51% (8,23% em maio de 2015). Em síntese, as
informações disponíveis refletem, em parte, a dinâmica de maior persistência
dos preços no segmento de serviços – mas que já mostram alguma desaceleração –,os processos de realinhamento de preços relativos e choques temporários de
oferta no segmento de alimentação e bebidas.