AndyDDC
Hola,
Estoy cargando datos desde una carpeta de Azure Data Lake Gen2 (10 archivos CSV con un total de alrededor de 5 GB) usando Power Query (comencé en Desktop y ahora lo hago en Dataflows). tengo un Agrupar por transformación que está reduciendo los datos a alrededor de 10 MB después de la agregación. El rendimiento es de alrededor de 15 minutos para cargar los datos y realizar la transformación GroupBy. ¿Alguien puede decirme si Power BI está haciendo todo el trabajo aquí? En el sentido de que Power BI no puede plegar ninguna consulta de transformación al Data Lake (es solo almacenamiento, ¿no?) Y que los datos sin procesar se cargan en el motor de flujo de datos y luego se transforman.
Gracias
Jimmy801
Hola @AndyDDC
seguro que no hay forma de volver a un archivo CSV. Tal vez haya metodologías en las que sería posible plegar, porque otro motor podría cargar el csv en una base de datos y aceptar alguna consulta nativa.
Si esta publicación ayuda o resuelve su problema, márquelo como solución (para ayudar a otros usuarios a encontrar contenido útil y reconocer el trabajo de los usuarios que lo ayudaron)
Los kudoes también son agradables
Divertirse
Palanqueta
Jimmy801
Hola @AndyDDC
seguro que no hay forma de volver a un archivo CSV. Tal vez haya metodologías en las que sería posible plegar, porque otro motor podría cargar el csv en una base de datos y aceptar alguna consulta nativa.
Si esta publicación ayuda o resuelve su problema, márquelo como solución (para ayudar a otros usuarios a encontrar contenido útil y reconocer el trabajo de los usuarios que lo ayudaron)
Los kudoes también son agradables
Divertirse
Palanqueta
AndyDDC
En respuesta a Jimmy801
Gracias Jimmy, eso tiene sentido con los archivos CSV.
¿Qué hay de los archivos Parquet? Me pregunto si pueden plegar parte del procesamiento.
Jimmy801
En respuesta a AndyDDC
Hola @AndyDDC
lo siento, pero nunca escuché acerca de los archivos Parquet. Cuando está cargando desde archivos, siempre es mejor comenzar reduciendo los datos en los primeros pasos, porque esto tiene un impacto en el tiempo de carga. Así que filtrar pasos, eliminar columnas-pasos y luego agrupar los pasos primero
Si esta publicación ayuda o resuelve su problema, márquelo como solución (para ayudar a otros usuarios a encontrar contenido útil y reconocer el trabajo de los usuarios que lo ayudaron)
Los kudoes también son agradables
Divertirse
Palanqueta
