Informe AUTO Refresh Power BI que contiene la función Web Scraping

Un usuario Pregunto ✅

capturas de datos

Hola.

Estoy haciendo un informe de Power BI sobre la economía brasileña y su mercado de valores, IBOVESPA.

1 PNG

Logré obtener todos los datos que estoy usando de las consultas de Excel y las hojas de Google (Google Finance e Importhtml), y era necesario mostrar un boletín informativo sobre cada empresa en IBOVESPA en el informe.

5 PNG

Después de hacer todo lo demás, obtuve esta tarea y creé una función que busca las noticias en Google News para una empresa y la transforma en una tabla (con Revista, Título de la noticia, Información de la noticia, Fecha y URL)

2 PNG

Luego, creé una tabla con todas las empresas y generé un solo enlace para cada una usando M (como «http código de búsqueda de Google» & [Company Name] & «elseelseelse punto com») y apliqué la función, generando los datos estructurados que necesitaba. Ahora, cada vez que actualizo mi informe, el BI va y vuelve a hacer la función, trayendo solo las últimas 10 noticias sobre cada empresa (casi 4600 resultados)

3 PNG4 PNG

Entonces, la tarea se completó, pero luego necesito poner este informe en línea y el servicio Power BI no me permite crear una actualización automática (programada), porque dice que tiene funciones dinámicas (o, cuando abro la configuración de fuente de datos en BI Desktop, dice que he creado consultas escritas a mano).

Intenté buscar la raíz del problema y descubrí que esta función que elimina las noticias de la web es la que causa el problema (cuando la elimino y, en consecuencia, toda la tabla del boletín, el Servicio me permite programar la actualización).

¿Hay alguna forma de solucionar esto, permitiendo que el Newsletter se actualice automáticamente al igual que el resto de los datos? Como, tal vez, usar la función para guardar la información en una nueva tabla que no depende de ella o raspar en la web los datos de Noticias a través de Hojas de cálculo de Google o algo así. No sé, estoy realmente perdido en esta pregunta específica.

Hola @datacauts,

Una fuente de datos dinámica es una fuente de datos en la que parte o toda la información necesaria para conectarse no se puede determinar hasta que Power Query ejecuta su consulta, porque los datos se generan en código o se devuelven desde otra fuente de datos. Los ejemplos incluyen: el nombre de la instancia y la base de datos de una base de datos de SQL Server; la ruta de un archivo CSV; o la URL de un servicio web.

En la mayoría de los casos, los conjuntos de datos de Power BI que usan orígenes de datos dinámicos no se pueden actualizar en el servicio Power BI. Hay algunas excepciones en las que los orígenes de datos dinámicos se pueden actualizar en el servicio Power BI, como cuando se usan las opciones RelativePath y Query con la función Web.Contents M. Las consultas que hacen referencia a los parámetros de Power Query también se pueden actualizar.

Para obtener información detallada sobre el contenido, puede consultar este enlace:

https://docs.microsoft.com/en-us/power-bi/connect-data/refresh-data#refresh-and-dynamic-data-sources

Atentamente,

liu yang

Si esta publicación ayuda, entonces por favor considere Acéptalo como la solución. para ayudar a los otros miembros a encontrarlo más rápidamente.

Anónimo

@datacauts ¿Encontraste tu solución? Estoy enfrentando un problema similar.

capturas de datos

En respuesta a Anónimo

No lo probé porque abandoné el proyecto… pero vi que para los casos de API usas RelativePath en la función de llamada inicial y luego permite la actualización automática. Buscar al respecto.

https://medium.datadriveninvestor.com/setting-a-scheduled-refresh-on-a-dynamic-data-source-in-power-…

Hola @datacauts,

Una fuente de datos dinámica es una fuente de datos en la que parte o toda la información necesaria para conectarse no se puede determinar hasta que Power Query ejecuta su consulta, porque los datos se generan en código o se devuelven desde otra fuente de datos. Los ejemplos incluyen: el nombre de la instancia y la base de datos de una base de datos de SQL Server; la ruta de un archivo CSV; o la URL de un servicio web.

En la mayoría de los casos, los conjuntos de datos de Power BI que usan orígenes de datos dinámicos no se pueden actualizar en el servicio Power BI. Hay algunas excepciones en las que los orígenes de datos dinámicos se pueden actualizar en el servicio Power BI, como cuando se usan las opciones RelativePath y Query con la función Web.Contents M. Las consultas que hacen referencia a los parámetros de Power Query también se pueden actualizar.

Para obtener información detallada sobre el contenido, puede consultar este enlace:

https://docs.microsoft.com/en-us/power-bi/connect-data/refresh-data#refresh-and-dynamic-data-sources

Atentamente,

liu yang

Si esta publicación ayuda, entonces por favor considere Acéptalo como la solución. para ayudar a los otros miembros a encontrarlo más rápidamente.

capturas de datos

🤔

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *