Conector de encendido bichispa de bajo rendimiento.

Un usuario Pregunto ✅

shrikant23

El rendimiento del conector power bi spark es extremadamente lento. tarda de 4 a 5 horas en procesar 6 gigas de tablas delta de Azure Databricks en nodos power bi premium (p3). Tanto la capacidad premium de power bi como el espacio de trabajo de Azure Databricks se encuentran en el mismo centro de datos de Azure. Incluso después de ajustar maxresultset y el tamaño del lote, el rendimiento es deficiente. Exporté las tablas delta a archivos CSV en ADLS Gen2 y pude procesarlas 3 veces más rápido. Lo que está mal con el conector power bi spark, escuchamos del equipo de databricks que Microsoft está trabajando en la solución. ¿Alguna actualización/solución?

shrikant23

Querido equipo,

Probé la actualización de power bi con el nuevo conector Spark disponible en la versión de escritorio power reciente de septiembre de 2020 (versión 2.85.681.0). Veo una mejora significativa en uno de los modelos a pequeña escala (<1 giga). En el pasado, con el conector antiguo: el modelo se actualizaba en 14 minutos, mientras que la actualización actual se completaba en 4 minutos y 11 segundos. Usando synapse como fuente: el mismo modelo se actualiza en 3 minutos y 4 segundos. ¿Alguien puede explicar cuál fue el problema en el pasado y se resolvió en el nuevo conector?

De todos modos, gracias por el excelente trabajo para resolver el problema de rendimiento.

Hola, @shrikant23
¿Se debe a una incompatibilidad entre la versión 6.4 (y superior) de Databricks y el conector que usa el servicio Power BI?

Intente degradar Databricks a 5.5 LTS.

Atentamente,
Equipo de apoyo comunitario _ Eason

shrikant23

En respuesta a v-easonf-msft

Hola equipo,

Todavía no hay mejoras. ¿Tiene números de referencia para la actualización del conjunto de datos tpch de la tabla ADB Delta al nodo de capacidad Premium? ¿También cree que tendremos que vivir con la expectativa de que el conector Spark es lento hasta que se vuelva a diseñar en la próxima iteración/arreglo o abriremos un ticket de soporte para verificar si se trata de un problema ambiental?

Saludos cordiales

Shrikant Kulkarni

En respuesta a shrikant23

Hola, @shrikant23

Lo siento, no puedo arreglarlo en mi lado actualmente.

Se recomienda crear un ticket de soporte para investigar este problema. Una vez que cree un ticket de soporte y obtenga una solución alternativa, por favor compártalo aquí como referencia.
https://powerbi.microsoft.com/en-us/support/

Atentamente,
Equipo de apoyo comunitario _ Eason
Si esta publicación ayuda, entonces por favor considere Acéptalo como la solución. para ayudar a los otros miembros a encontrarlo más rápidamente.

shrikant23

En respuesta a v-easonf-msft

¡¡Gracias!! Se generó un ticket de soporte en ese momento y se involucró el soporte de microsoft power bi. De hecho, también contactamos a Adam saxson durante ese tiempo.

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *