¿Mejores prácticas para trabajar con el modelo estrella?

Un usuario Pregunto ✅

vitexo87

Estoy haciendo una migración de QlikView a Power BI y he encontrado varias dificultades

Me resulta muy difícil hacer una carga completa solo una vez mi DW, tengo 7 tablas de hechos y más de 10 dimensiones y, sin embargo, no tengo tiempo para realizar una carga completa a la vez, siempre hay algún error durante la carga y el único registro lo que se muestra es «ocurrió un error inesperado» cuando cargo Apparel Apparel por Puedo tener todos los datos que necesita pero hacer la carga de esta manera es inviable porque en el futuro usaré la función de carga automática.

Creo que mi mayor problema es concatenar todos los hechos que uso solo un hecho al final de la carga, pero encontré otra forma de hacerlo, estoy buscando documentación sobre las mejores prácticas sobre cómo cargar grandes volúmenes de datos en el power bi pero no encontré nada hasta ahora.

Si alguien me puede ayudar agradezco que esté considerando la idea de no usar más el Power BI.

Virgo

como las personas sugieren tener una actualización de consulta directa, solo quiero entender si tiene restricción de actualización solo dos tres fuentes de datos a partir de ahora tru gateway. Entonces, si la fuente es distinta de estas tres actualizaciones de consulta directa, ¿no se puede implementar?

Tipos de fuentes de datos:
SQL Server, SAP HANA y servicios de análisis

vitexo87

En respuesta a Virgo

Hola @virgo

Tengo la misma duda, pero creo que sera o mas bien imagino que la navegacion por la aplicacion cuando tengamos mas de una base de datos diferente con modo de lectura en tiempo real debe ser lenta y creo que no valdra la pena, hare mas lo informo aqui y pruebas.

En respuesta a vitexo87

@virgo: sí, esas son las fuentes de datos admitidas actualmente para consulta directa/conexión en vivo (Azure SQL Database y Azure SQL Data Warehouse incluidos)

@ vitexo87 Muchos otros ya han intervenido sobre el uso de la consulta directa o la conexión en vivo debido a la limitación de tamaño de 250 mb al importar sus datos al escritorio. Vería el nivel de esfuerzo que se necesitaría para obtener sus datos en una base de datos SQL y la conexión directa, u omitir eso e importar sus datos en un modelo tabular (o multidimensional) y administrar su capa comercial allí. He tenido un gran éxito y rendimiento en implementaciones a gran escala usando modelos tabulares con Power BI y, por lo general, es la ruta recomendada que sugiero si tiene la licencia de SQL.

Un par de cosas a tener en cuenta con estos enfoques: Consulta directa: sus medidas y columnas de cálculo existirán en los archivos de PBI Desktop. Con Live Connection to SSAS, su modelo puede construirse y administrarse completamente en una ubicación, y todo lo que necesita hacer con Power BI es conectarse a él.

achinm45

Hola @vitexo87,

Revisé su publicación y parece que está usando la opción «Importar» en Cadena de conexión. Esto significa que le está pidiendo a Power BI que haga lo siguiente:

1) Llevar datos a Power BI desde Sybase. Eso significa que los datos se copian.

En mi opinión, el problema puede ocurrir debido a los límites de datos en Power BI. Un solo archivo de Power BI no puede tener datos de más de 250 MB.

Por favor haz lo siguiente:

1) Verifique el tamaño total de sus tablas. ¿Son más de 250 MB? Prueba a ver si es posible minimizar los datos

2) Para la prueba, también puede intentar hacer una copia espejo de estas tablas y simplemente transferir algunas filas por mes desde las tablas originales.

Luego haga informes de estas tablas duplicadas. Esto verificará ambos: los límites de tamaño de Power BI y las relaciones también.

Sin embargo, no creo que las relaciones sean un problema.

BR,

Achin

vitexo87

En respuesta a achinm45

Hola @achinm45

Mi aplicación tiene 98 mb, pero ahora que habló sobre el límite de 250 mb estaba preocupado por el futuro cercano, tendré que desarrollar un BI donde la tabla de hechos tendrá 2 gb, tengo que pensar qué hacer cuando la carga de mi la aplicación podría mejorar el rendimiento después de actualizar el controlador VPN y Sybase, pero tengo una llamada abierta con el soporte de power bi sobre este tema, ya que descubro algo que publicaré aquí, dejaré este tema abierto por ahora

Harris Malik

@ vitexo87 ¿está intentando cargar su data mart en Power BI usando la función de importación? en caso afirmativo, el error podría deberse a que tiene recursos limitados en esa máquina, por ejemplo, memoria.

Intente cargarlo usando DirectQuery si lo está leyendo directamente desde RDBMS o use una conexión directa si está usando cubos OLAP.

En segundo lugar, como mejor práctica en el esquema en estrella, no debe combinar todos los hechos que están en diferentes niveles de grano en una tabla de hechos, esto es una violación de las reglas básicas del esquema en estrella. Si su diseño es correcto, star shema no debería ser un problema para cargar los datos.

Podemos ayudarte más si elaboras tu pregunta con ejemplos y capturas de pantalla de tu modelo.

Saludos

harris

vitexo87

En respuesta a Harris Malik

@HarrisMalik y @ankitpatira

Lo siento, olvidé mencionar, sigue una imagen de mis opciones cargas de power bi, dejé virtualmente deshabilitados todos los recursos de carga, por lo que no hay mucho procesamiento durante la carga para optimizar la carga está en portugués pero el orden de las opciones es el mismo que aquellos en cualquier otro idioma

opciones de load.png

¡¡¡¡¡¡¡¡gracias de nuevo!!!!!!!!

vitexo87

En respuesta a Harris Malik

@HarrisMalik y @ankitpatira gracias por su ayuda.

Mi maquina tiene 8gb de ram y procesador i7 3.6 GHz seguramente el motivo de la lentitud en el cargo no es por mi computadora, por lo que otros programas como QlikView y tableu pueden llevar el mismo DW sin problema y de manera rapida.

Aqui una foto de como esta mi esquema de estrella, perdon la resolucion de la imagen pero fue lo que pude hacer.

esquema estrella.png

Como también se puede notar, hay varias tablas sin relaciones, tuve que hacer esto porque, como me informaron, concatenei todas mis tablas de hechos para formar una sola tabla de hechos.

En resumen, tengo 11 tablas de Facts y más de 10 tablas de dimensiones.

Obtengo estos datos de un DW que está en una base de datos Sybase, y no es un cubo, y realizo la carga a través de SQL Query usando un controlador ODBC, siguiendo una imagen para ilustrar.

cargar datos.png

ankitpatira

En respuesta a vitexo87

@ vitexo87 Si tiene una gran cantidad de tablas para trabajar, cada una de las cuales tiene relaciones PK FK, entonces DirectQuery es la mejor opción. Cuando el escritorio de Powerbi importa tablas, no mira sus relaciones PK, FK, sino que intenta determinar las relaciones por sí mismo en función de algunas reglas, como el uso de nombres de campo para determinar las relaciones. Por ejemplo, P_ID en una tabla se vinculará con P_ID en otra tabla. Entonces intentaría determinar tantas relaciones como pudiera y dejaría otras en blanco o inactivas (inactivas por conflictos de cardinalidad).

Si necesita absolutamente usar Importar, le sugiero que cree relaciones entre cada tabla manualmente a través del editor de relaciones.

vitexo87

En respuesta a ankitpatira

@ankitpatira

Como pueden ver en la última imagen dejé deshabilitar la creación automática de relaciones entre las tablas al momento de cargar, las dimensiones de la relación a la tabla de hechos se hicieron manualmente después de cargar los datos

ankitpatira

En respuesta a vitexo87

@ vitexo87 también asegúrese de que la dirección del filtro cruzado esté configurada en Único para todas las relaciones y luego podrá agregar relaciones para las tablas que faltan actualmente. Si tiene una dirección de filtro cruzado a Ambos, lamentablemente no podrá establecer relaciones para todas las tablas.

ImkeF

En respuesta a ankitpatira

Si está pasando de un Qlickview en funcionamiento a PowerBI, no veo ninguna razón para modificar las estructuras de la tabla. Es un sistema de generación de informes (solo lectura), que cumple el mismo propósito que Power BI y si se ha diseñado de acuerdo con las buenas prácticas y funciona bien, no hay razón para ajustar el modelo.

Desde mi experiencia personal, puedo decir que si las personas realmente no entienden el modelado de datos (incluida la comprensión básica de los procesos comerciales involucrados), existe una gran posibilidad de que solo empeoren las cosas y comiencen a modificarlo.

Mi recomendación: construya una base adecuada de comprensión del modelado de datos antes de comenzar en este terreno. No argumentaría en contra de saltar de cabeza a muchas áreas de TI, ¡pero esta es una de las pocas en las que lo recomiendo encarecidamente!

ankitpatira

@ vitexo87, ¿está diciendo que tiene problemas con la carga de datos y el mantenimiento de las relaciones entre los hechos y la tabla de dimensiones? Me he enfrentado a un problema similar anteriormente y puedo ayudarte. Proporcione más detalles sobre cuál es exactamente el problema.

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *