Datos de análisis de registros en tiempo real en PowerBI

Un usuario Pregunto ✅

fvl

Hola,

Estoy tratando de construir una conexión en tiempo real entre el análisis de registros y powerBI. Un par de minutos de retraso como mucho.

Sé que hay una opción para exportar su consulta de análisis de registros e importarla en PowerBI. Sin embargo, la actualización programada es un máximo de 8 veces al día.

¿Alguien podría guiarme en la dirección correcta sobre cómo lograr esto? He leído que PowerBI tiene conjuntos de datos de transmisión, ¿es tal vez una opción para recuperar los datos del análisis de registros programáticamente y enviarlos a powerBI como un conjunto de datos de transmisión?

Gracias

Mitali

Hola,

Me enfrento a un problema similar con el análisis de registros. Si ha encontrado una solución para lo mismo, ¿puede guiarme?

Gracias

michal_cwiok

Es factible, pero dependerá en gran medida de su infraestructura.

Nunca he trabajado con log analitycs, pero mi apuesta sería ir con Azure Functions para programar la recuperación de datos y luego insertar estos datos en Power BI usando Streaming Analytics. Sin embargo, puede ser un simple script de python ejecutándose en su servidor.

He jugado con conjuntos de datos de transmisión la semana pasada: es muy sencillo, pero también bastante limitado. Tal vez si proporciona más detalles, seré de ayuda.

Gracias

fvl

En respuesta a michal_cwiok

Hola michal,

¡Gracias por tomarse el tiempo para responder!

He pensado en lo mismo, pero no sé si consultar el análisis de registros cada 5 minutos y enviar todos esos datos a la transmisión de powerBI es una buena opción.

¿Qué quiere decir cuando dice que los conjuntos de datos de transmisión son limitados? No he trabajado lo suficiente con powerBI, lo siento si esta es una pregunta estúpida. Sé que los conjuntos de datos de transmisión solo contienen los datos en un caché temporal, pero aparentemente un conjunto de datos de inserción también se puede usar para conjuntos de datos en tiempo real.

Tenemos varios recursos que se ejecutan en Azure, como un clúster de Service Fabric, un clúster de Kubernetes, un clúster de Hive, Spark Streaming… Queremos recopilar datos de estos recursos en PowerBI para mostrar su actividad y también para solucionar problemas. Las personas que usarían esto no tienen acceso al portal, por lo que no podemos usar las soluciones de monitoreo integradas de Azure.

michal_cwiok

En respuesta a fvl

No hay problema, siempre feliz de ayudar.

Ha mencionado las limitaciones en las que estaba pensando. No hay una base de datos subyacente, por lo tanto, no hay posibilidades de filtrado. Como mencionó Microsoft: «Con un conjunto de datos de transmisión, no hay una base de datos subyacente, por lo que no puede crear imágenes de informes utilizando los datos que fluyen desde la transmisión. Como tal, no puede utilizar la funcionalidad de informes como filtrado, imágenes personalizadas, y otras funciones de informes». La transmisión en tiempo real será una exageración aquí.

En tu caso lo más sencillo Consulta directa hará el trabajo. Intente configurar una pequeña base de datos Azure SQL. Luego programe un trabajo para extraer datos de registro y enviarlos a la base de datos. No sé cómo hacerlo en este momento, pero probablemente haya varias formas. Más tarde, conéctese a la base de datos usando Directo Consulta en PowerBI. De esta manera, los datos siempre estarán actualizados, ya que PowerBI consulta constantemente la base de datos para obtener los datos. La única limitación aquí es el volumen de los datos: es posible que un informe no responda tan bien como nos gustaría. En su caso con miles de filas, esto no debería ser un problema.

Déjame saber, lo que piensas de esto. En 2-3 publicaciones, podríamos tener una arquitectura completa lista 😄

ross_lambert

En respuesta a michal_cwiok

Puede usar un «conjunto de datos de inserción» y el back-end de Power BI mantendrá hasta 5 millones de filas, y sí, también puede filtrarlo y crear imágenes.

Recientemente escribí un artículo con el código fuente de una función de Azure de muestra y lo envié a Blog Keepers de mi empresa. Cuando se publique te lo haré saber.

Es posible que pueda enviarle una copia del documento de Word si está interesado. Me pm.

Gracias,

== Ross ==

Mitali

En respuesta a ross_lambert

¿Está disponible el artículo ahora?

vadinug

En respuesta a ross_lambert

Hola Ross,

Estoy interesado en la función de muestra de Azure.

Realmente no entiendo cómo extraer los datos de análisis de registro usando Funciones, ya que es algo bastante nuevo para mí.

Encontré este hilo cuando buscaba enviar datos en tiempo real de análisis de registros a PowerBI y me interesó probarlo con Functions y Stream Analytics.

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *