La actualización de datos lleva mucho tiempo

Un usuario Pregunto ✅

GuySev

Hola a todos,

Mis disculpas si este tema ya ha estado en este foro, busqué una solución por un tiempo y no pude encontrar la respuesta correcta.

He construido un modelo bastante complejo que combina varias fuentes de datos: servidor SQL, MySQL, Google Big-query y un archivo de Excel. Para crear una relación entre las tablas, he creado varias combinaciones y anexos. desafortunadamente, estos no pudieron evitarse.

En general, mi modelo contiene una cantidad razonable de filas, aprox. 15 millones. Revisé este artículo y apliqué todos los pasos que pude dentro de los límites de mi modelo para aumentar el rendimiento.

Durante la actualización, el recuento de filas en la ventana de actualización alcanza el número máximo de filas en cada tabla bastante rápido, pero luego se atasca en esa pantalla durante mucho tiempo, aproximadamente una o dos horas.

También pasé por todos los pasos aplicados en la vista de consulta para tratar de averiguar qué causa esto, sin suerte.

¿Alguien tiene idea de qué puede causar esto y cómo puedo aumentar el rendimiento?

Cualquier ayuda será muy apreciada.

Chico.

Anónimo

En respuesta a GuySev

Cuando se une / anexa en Power Query, tiene que cargar toda la tabla en la memoria virtual. Esto provoca mucha paginación y es muy lento.

¿Su conjunto de datos debe actualizarse aproximadamente cada hora o está bien una cadencia diaria?

Ya que esto afectará en gran medida las opciones disponibles para aumentar el rendimiento.

hola @GuySev

Dado que su conjunto de datos es tan grande, el rendimiento involucrará muchos aspectos, puede consultar los siguientes documentos y blogs que pueden ayudarlo:

https://docs.microsoft.com/en-us/power-bi/power-bi-reports-performance

http://blog.pragmaticworks.com/power-bi-performance-tips-and-techniques

https://www.sqlbi.com/topics/optimization/

Atentamente,

Lin

GuySev

En respuesta a v-lili6-msft

Hola @ v-lili6-msft,

¡Gracias por su respuesta!

Como dije, ya revisé estos artículos de rendimiento e implementé algunas técnicas para dejar de fumar.

Francamente, este modelo no es tan grande en absoluto. Tengo modelos de suma que son dos e incluso tres veces más grandes, pero se preforman mucho mejor.

Estoy tratando de entender si un paso que hice en la vista de consulta está causando esto, o más bien una medida calculada tal vez.

¿Hay alguna forma de medir las causas de esta ralentización?

Anónimo

En respuesta a GuySev

Cuando se une / anexa en Power Query, tiene que cargar toda la tabla en la memoria virtual. Esto provoca mucha paginación y es muy lento.

¿Su conjunto de datos debe actualizarse aproximadamente cada hora o está bien una cadencia diaria?

Ya que esto afectará en gran medida las opciones disponibles para aumentar el rendimiento.

GuySev

En respuesta a Anónimo

Hola @Anónimo,

Gracias por esta aclaración, eventualmente me di cuenta de que este también es el caso.

Cambié mi modelo de datos para evitar algunos de los anexos y, de hecho, el rendimiento aumentó sustancialmente.

¡Gracias de nuevo!

WynandPblm

En respuesta a GuySev

@GuySevHi

Me encontré con un problema similar, mis consultas de energía se ejecutaron hasta 4 horas. Estoy usando Access para hacer mis uniones, las mismas uniones me llevan 3 segundos ahora. Encontré que Access es una excelente herramienta para extraer de múltiples fuentes, hacer su modelado de datos y vistas específicas, y luego impulsarlo para potenciar Bi. Access también refuerza la precisión de sus datos y no es difícil de aprender. Sigue las mismas reglas de modelado de datos que el modelado de datos en Power BI. Simplemente más estricto, ya que exige que los padres respeten al niño, también conocido como integridad de referencia de datos.

También actúa como un punto de centralización para que sus datos mantengan y construyan dimensiones, etc.

Saludos

Wynand

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *