La actualización de la programación de flujos de datos no funciona de manera constante: se necesita ayuda urgente

Un usuario Pregunto ✅

vgarlap

Hola comunidad,

Quiero presentar esto como una nueva discusión y buscar ayuda para administrar la actualización del cronograma de flujos de datos. Hay un flujo de datos que he creado y sabía que contiene solo 30 registros. Sin embargo, lleva más de 30 minutos actualizar el flujo de datos. ¿Estoy haciendo algo mal en los siguientes procesos?

En algún lugar leí que si tengo una capacidad superior, sugirieron ejecutar conjuntos de datos/flujos de datos en diferentes momentos. Pero revisé los cronogramas y actualmente no se están ejecutando más de 5 conjuntos de datos. De esta manera, no hago un buen uso de los flujos de datos y no puedo transmitir las ventajas de usar flujos de datos con los clientes.

Tengo capacidad Premium y estoy seguro de que ese entorno tampoco tiene problemas de memoria. ¿Alguien podría decir cómo deshacerse de esta situación?

Gracias,

G VEnkatesh

hola @vgarlap

Puede intentar reiniciar la capacidad si mejora.

https://docs.microsoft.com/en-us/power-bi/service-admin-premium-reinicio

Saludos,

Lin

vgarlap

En respuesta a v-lili6-msft

Hola lin,

Claro. Gracias por las sugerencias. Sin duda, reiniciaríamos la capacidad premium como una medida para liberar la memoria.

Gracias,

G venkatesh

gilbertq

Hola

¿Puede echar un vistazo a la aplicación de capacidad de métricas premium y ver qué sucede en el momento de la actualización?

También revise este documento técnico para ayudarlo a solucionar problemas de rendimiento.

https://docs.microsoft.com/en-us/power-bi/service-premium-capacity-scenarios

vgarlap

En respuesta a gilbertq

Hola Gilberto,

Muchas gracias por compartir esos libros blancos. Esta información es muy útil. Me comuniqué con el administrador de Power BI en mi organización. Revisé algunas de esas estadísticas (Uso de CPU y uso de memoria) que debemos revisar. Veo que solo se agregaron 10 GB de memoria para flujos de datos. Si bien mi administrador aún no se ha comunicado conmigo sobre los detalles de uso, me gustaría saber si hay alguna manera de aumentar estos límites para que los flujos de datos se ejecuten más rápido.

En este momento, solo estoy buscando una cosa. Quiero que mis flujos de datos se EJECUTEN RÁPIDAMENTE para asegurarme de que los datos no sean antiguos en mis informes. No nos preocupa comprar nuevo hardware o limpiar/vaciar la memoria para que los flujos de datos se ejecuten rápidamente.

Por favor asiste !!!

Gracias,

G Venkatesh

Gracias,

G Venkatesh

vgarlap

En respuesta a vgarlap

Hola Gilbert/Comunidad,

Adjuntando también las estadísticas de salud (métricas) actualmente tenemos nuestra capacidad Premium. Si bien también hay métricas para conjuntos de datos e informes paginados, en particular, estoy mirando solo los flujos de datos.

métricas.PNG

En base a esto, ¿qué nos sugiere para que los flujos de datos se actualicen rápidamente? Además, para evitar ver datos obsoletos en los informes, ¿cuál es la frecuencia de actualización que puedo hacer en cada flujo de datos?

Gracias,

G Venkatesh

gilbertq

En respuesta a vgarlap

hola gracias por la informacion

Según su imagen de arriba, parece que solo se han asignado 2 GB de memoria a los flujos de datos. Sin duda, esta podría ser la razón por la que tarda mucho en ejecutarse o no se actualiza.

Pregúntele al administrador si se puede aumentar a 10 GB y continúe desde allí. Los flujos de datos requieren memoria para el cálculo.

También pregúntele al administrador si se ha habilitado Compute Engine mejorado en flujos de datos para permitir que ingrese a sus archivos PBIX más rápido.

vgarlap

En respuesta a gilbertq

Hola Gilberto,

Gracias por tus sugerencias. He discutido esto con el equipo de administración y planean aumentar el tamaño de los flujos de datos a 10 GB.

¿Podría mostrarnos cómo habilitar Enhance Compute Engine en flujos de datos? Intentamos buscar esta opción, pero no la encontramos en el portal de administración.

Ayudar amablemente !!

Gracias,

G venkatesh

gilbertq

En respuesta a vgarlap

Hola @vgarlap

Puede encontrarlo en Configuración de capacidad y luego en Cargas de trabajo

imagen.png

vgarlap

En respuesta a gilbertq

Gracias compañero (campeón). Esto me ayuda mucho. Tomaré estas sugerencias adelante con Admin.

G Venkatesh

vgarlap

En respuesta a vgarlap

Hola Gilberto,

Espero que te encuentres bien. Después de todas las discusiones que tuvimos la semana pasada, le pedí a mi administrador que aumentara la capacidad de los flujos de datos y habilitara el motor de memoria de cómputo Mejorar.

Hicieron todo lo posible y aumentaron el tamaño a 5 GB y también habilitaron la opción del motor de memoria Compute.

Sin embargo, sigo viendo que mis flujos de datos se ejecutan durante horas para completar la actualización. Creé un pequeño informe basado en SQL como fuente de datos en el escritorio de Power BI y el flujo de datos como fuente de datos en el escritorio de Power BI para comparar datos.

Captura.PNG

Las actualizaciones no son adecuadas para el registro de flujo de datos.

Por favor sugiera lo que tenemos que hacer en estos casos.

gilbertq

En respuesta a vgarlap

Hola

Lo que estoy pensando es que el cuello de botella potencial es su puerta de enlace.

Si puede confirmar que es tan rápido como puede ser?

En su comparación, los «WO*» son diferentes.

vgarlap

En respuesta a gilbertq

Hola Gilbert y R1k91,

Parece que tengo buenas noticias después de aumentar el límite de memoria a 10 GB para los flujos de datos y el tamaño del contenedor a 1000 MB.

– Los flujos de datos se ejecutan más rápido que antes (toman 5 minutos hoy frente a 1 hora ayer). Sin embargo, los ejecuto fuera del horario comercial y es posible que haya recursos disponibles. Me gustaría activarlos después de un par de horas y ver cómo se ven.

Mientras tanto, estoy pensando en la puerta de enlace Enterprise y las dudas que me has planteado al respecto.

¿Dónde debo verificar si mi puerta de enlace funciona bien o no? Además, ¿cuándo podemos decir que la puerta de enlace es un posible cuello de botella? Me gustaría saber los casos de uso para responder a sus preguntas.

Por favor asiste

Anónimo

En respuesta a gilbertq

Sí @GilbertQ, me preguntaba lo mismo.

vgarlap

En respuesta a vgarlap

Hola Gilberto,

También he adjuntado algunas capturas de pantalla más de las métricas que tenemos en nuestra capacidad a partir de ahora. Por favor, mira si todos están bien.

flujos de datos de carga de trabajo.PNGEl flujo de datos toma más tiempo.PNGConsumo de CPU y memoria.PNG

Anónimo

En respuesta a vgarlap

No estoy seguro de que Enhanced Compute Engine pueda resolver su problema de esta manera.

Si lee la sección de preguntas frecuentes de la documentación, encontrará que, en algunos casos, la actualización será más lenta porque se necesita mucha memoria con ECE habilitado durante la carga.

https://docs.microsoft.com/it-it/power-bi/service-dataflows-enhanced-compute-engine

También debe tener en cuenta que, al cargar datos con ECE habilitado, en segundo plano se cargan datos tanto en Azure Data Lake Storage como en instancias ocultas de Azure SQL Database para impulsar una transformación futura que será más rápida mediante el plegado de consultas.

vgarlap

En respuesta a Anónimo

Hola R1K91,

Gracias por responder . De hecho, he seguido una sugerencia de uno de los miembros de la comunidad. Pero mirando tu publicación ahora, creo que los datos fluyen no me ayudan a obtener datos más rápido ya que las actualizaciones no funcionan como se esperaba. Antes de que se complete la actualización, mis datos en el informe están envejeciendo.

¿Mis afirmaciones anteriores son verdaderas con respecto a los flujos de datos o estoy haciendo algo mal con esa configuración de capacidad?

Por favor recomiende !!!

Gracias

G VEnkatesh

Anónimo

En respuesta a vgarlap

Bueno, no es un tema fácil. Dijiste que tus flujos de datos deberían obtener solo 30 filas, pero tengo una pregunta:

  • ¿Cuál es la fuente? ¿Servidor SQL local? ¿Fuente en la nube?
  • ¿Está utilizando una puerta de enlace?
  • ¿Cuántas transformaciones estás haciendo en los datos?

¿Ha intentado mover la misma carga de trabajo en un pbix para ver cuál es el tiempo necesario para realizar la transformación?

vgarlap

En respuesta a Anónimo

Hola R1k91,

Gracias por responder . He respondido a sus preguntas a continuación. Encuéntralos y brinda tu apoyo.

  • ¿Cuál es la fuente? ¿Servidor SQL local? ¿Fuente en la nube?

Respuesta: la fuente es Power query (m-query), que de hecho son datos que provienen del servidor SQL.

  • ¿Está utilizando una puerta de enlace?

Respuesta: estoy usando una puerta de enlace empresarial

  • ¿Cuántas transformaciones estás haciendo en los datos?

Respuesta: no tengo ninguna transformación. Son datos simples que provienen de una sola tabla.

¿Ha intentado mover la misma carga de trabajo en un pbix para ver cuál es el tiempo necesario para realizar la transformación?

Respuesta: sí, lo intenté. sólo tomó 30 segundos obtener los datos.

Anónimo

En respuesta a vgarlap

Entonces … sin transformaciones en absoluto y 1 sola tabla con 30 registros.

¿Ya has probado a publicar el pbix con la misma carga de trabajo y configurarlo para que refresque el conjunto de datos a través de la misma puerta de enlace se están ejecutando flujos de datos?

Esto podría ayudarlo a comprender si la puerta de enlace es el cuello de botella.

vgarlap

En respuesta a Anónimo

Sí, amigo. Lo intenté y no encontré ningún problema. tenemos casi 150 informes que se ejecutan en esta puerta de enlace todos los días e incluso están programados para actualizarse cada hora (conjuntos de datos). no nos encontramos con ningún problema importante.

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *