Manejo de grandes conjuntos de datos

@TheOckieMofo una sugerencia … consulte su tabla (seleccione solo las columnas necesarias) y cree un flujo de datos. ponerlo en horario referesh.

Ahora, para el informe power bi (informe de usuario final), consulte ese flujo de datos. Al menos puede evitar el tiempo de evaluación de la consulta en la actualización del informe.

@smpa01 Tengo un problema similar con un gran conjunto de datos del que quiero intentar crear tablas de dimensiones, pero está en formato CSV. ¿Hay alguna manera de extraer columnas seleccionadas y valores distintos de esas columnas de un archivo CSV?

@lorenamschaferExperimenté con un archivo CSV.

La siguiente es la sintaxis

Csv.Document(File.Contents("C:UsersxDesktopcsv.csv"),[Delimiter=",", Columns=2, Encoding=65001, QuoteStyle=QuoteStyle.None])

¿Hay alguna manera de extraer columnas seleccionadas? Sí, puede hacerlo mencionando el número de columnas que desea sobrescribiendo en Columnas = 2. Pero supongo que la selección de columnas funciona de izquierda a derecha y no puede hacer un SQL como SELECCIONAR para elegir sus columnas.

y valores distintos de esas columnas de un archivo CSV? – dado que una declaración SQL no funcionará, dudo que sea posible ejecutar secuencias de comandos adicionales.

Lea para comprender los parámetros permitidos dentro de CSV.Document

https://docs.microsoft.com/en-us/powerquery-m/csv-document

Puede intentar conectarlo a través del conector ODBC y allí puede utilizar completamente las declaraciones SQL

¡Gracias por una respuesta tan rápida!

Vi los parámetros CSV y para las columnas dice que para las columnas puede usar «una lista de nombres de columnas», pero cuando enumero las columnas tal como están en mi primera fila (ejemplo a continuación), solo las nombra pero no las selecciona esas columnas. Traté de encontrar si había una forma de seleccionar ciertas columnas en CSV, pero no tuve suerte.

Datos de ejemplo:

«InsuredID»,»AccountName»,»PlanName»,»FirstName»,»MiddleInitial»,»LastName»,»IndivTripCostInsured»,»DepartDate»,»ReturnDate»,»CovgBeginDate»,»CovgEndDate»

Código de ejemplo (extrae las dos primeras columnas y nombra la columna respectiva InsuredID y PlanName:

= Csv.Documento(Archivo.Contenido(«Z:DataTravelLegacy DataPremiumAXA_PREM.csv»),[Delimiter=»,», Columns={«InsuredID», «PlanName»}, Encoding=1252, QuoteStyle=QuoteStyle.None])

Código de ejemplo (extrae las dos primeras columnas y nombra la columna respectiva Columna1 y Columna3:

= Csv.Documento(Archivo.Contenido(«Z:DataTravelLegacy DataPremiumAXA_PREM.csv»),[Delimiter=»,», Columns={«Column1», «Column3»}, Encoding=1252, QuoteStyle=QuoteStyle.None])

@lorenamschafer probó y sí, puedo confirmar el uso de la lista dentro del parámetro de columna

Csv.Document(File.Contents("C:UsersXDesktopcsv.csv"),[Delimiter=",", Columns={"Column1","Column3"}, Encoding=65001, QuoteStyle=QuoteStyle.None])

Cuando probé ese código, cambió el nombre de las columnas 1 y 2 como «Columna 1» y «Columna 3», respectivamente, en lugar de extraer las columnas 1 y 3. Como mencionó en su primera respuesta, parece tirar de izquierda a derecha en lugar de poder para seleccionar columnas definidas.

¿No es posible eliminar las dimensiones de la tabla de hechos y crear tablas de dimensiones con identificadores para el hecho?
Tengo un hecho de 80 m de fila y 9 columnas y tiene aproximadamente 0,6 gb

@TheOckieMofo,

En primer lugar, Power BI Premium admite cargas de archivos de Power BI Desktop (.pbix) de hasta 10 GB de tamaño. Para más detalles, por favor revise este artículo.

En segundo lugar, si elige el modo de importación, puede seguir la guía de este artículo para optimizar su modelo de datos.

En tercer lugar, si no tiene una licencia premium de Power BI, es mejor que use el modo DirectQuery o Connect Live para conectarse a la fuente de datos, ya que la limitación de 1 GB no se aplica a los conjuntos de datos de directquery. También en este caso, el rendimiento de su informe depende en gran medida del rendimiento de la fuente de datos subyacente.

Saludos,
lidia