Tengo datos del año financiero 2019 (actualmente en 19 millones de filas de datos y creciendo). La idea es actualizar estos datos a través de una actualización incremental (y, por lo que sé, funciona) fuera de la base de datos de Oracle.
Tengo datos del año financiero 2018 (es decir, 55 000 filas de datos). Estos datos provienen de una fuente diferente y existen en una tabla separada fuera de la base de datos de Oracle. Estos datos nunca cambiarán.
Entonces, en PowerQuery, la tabla principal (con la actualización incremental), agregué los datos del año fiscal 2018.
El problema que tengo es que después de una sola actualización en la nube, los datos del año fiscal 2019 se ven muy bien. Los datos del año fiscal 2018 se han multiplicado unas 56 veces… el número de filas de datos ha crecido significativamente. Claramente no es lo que quiero.
¿Puedo fusionar una tabla de actualización incremental con una tabla estática?
Todas mis medidas y columnas adicionales deben operar sobre la única tabla combinada.
– David
Aquí está el código M (es más fácil de mostrar aquí que una serie de capturas de pantalla).
Esto toma la tabla FY19 – EVO_DMT_BUS_CUST_PROFIT_VW
Lo filtra con las definiciones de RangeStart y RangeEnd
Elimina columnas no deseadas
He comprobado en este punto que la consulta nativa todavía está bien (es decir, haga clic con el botón derecho en Columnas eliminadas: Ver consulta nativa).
Puede ver en el código M donde se adjuntan los datos del año fiscal 2018.
let
Source = Oracle.Database("revenp", [HierarchicalNavigation=true]),
REVENUE = Source{[Schema="REVENUE"]}[Data],
EVO_DMT_BUS_CUST_PROFIT_VW1 = REVENUE{[Name="EVO_DMT_BUS_CUST_PROFIT_VW"]}[Data],
#"Filtered Rows" = Table.SelectRows(EVO_DMT_BUS_CUST_PROFIT_VW1, each [RPT_MONTH] >= RangeStart and [RPT_MONTH] < RangeEnd),
#"Removed Columns" = Table.RemoveColumns(#"Filtered Rows",{"CUST_PROFIT_ID", "BUS_TRANS_ID", "DEEMED_COST_PERC", "CO_CODE", "SALES_CHANNEL", "PORTFOLIO", "DOC_TYPE", "REFDOC_NO", "REFDOC_DESC", "DOCUMENTNO", "SAP_RECORD_NO", "SALES_ORDER", "PURCHASE_DOC", "VENDOR_CODE", "NETWORK_ID", "AMOUNT_TC", "CURR_TC", "PC_LEVEL1", "PC_LEVEL2", "PC_LEVEL3", "PC_LEVEL4", "PC_LEVEL5", "PC_LEVEL6", "GL_LEVEL8", "GL_LEVEL9", "GL_LEVEL10", "GL_LEVEL11", "PR_LEVEL1", "PR_LEVEL2", "PR_LEVEL3", "PR_LEVEL4", "PR_LEVEL5", "PR_LEVEL6", "DATA_TYPE_SUMMARY", "DATA_TYPE_DETAIL", "ICMS_GL", "ICMS_SUBTYPE", "TRAN_TYPE", "TRAN_CODE", "CALL_TYPE", "CALL_TYPE_DESC", "CHARGE_CODE", "ICMS_ACCOUNT_NO", "ICMS_CUSTOMER_NO", "ICMS_CUSTOMER_NAME", "CHARGE_AMT", "DISCOUNT_AMT_CP", "DISCOUNT_AMT_ABCALL", "DISCOUNT_AMT_ABOTHER", "DISCOUNT_AMT_PLUG", "BILL_CYCLE", "ADJ_DESC", "ADJ_BATCH_ID", "ADJ_REF_NO", "ICMS_INPUT_HASH", "MANUAL_INSERT_ID", "PR_LEVEL1_T2PH", "PR_LEVEL2_T2PH", "HEAD_PARTY_NO_CURR", "HEAD_PARTY_NAME_CURR", "PC_LEVEL1_CURR", "PC_LEVEL2_CURR", "PC_LEVEL3_CURR", "PC_LEVEL4_CURR", "PC_LEVEL5_CURR", "PC_LEVEL6_CURR", "GL_LEVEL8_CURR", "GL_LEVEL9_CURR", "GL_LEVEL10_CURR", "GL_LEVEL11_CURR", "PR_LEVEL1_CURR", "PR_LEVEL2_CURR", "PR_LEVEL3_CURR", "PR_LEVEL4_CURR", "PR_LEVEL5_CURR", "PR_LEVEL6_CURR"}),
#"Changed Type" = Table.TransformColumnTypes(#"Removed Columns",{{"HEAD_PARTY_NO", type number}}),
#"Appended Query" = Table.Combine({#"Changed Type", EVO_DMT_BUS_CUST_PROFIT_FY18})
in
#"Appended Query"
A continuación se muestra la definición de RangeEnd: Range Start es el mismo (excepto que la fecha es un día anterior)
Y aquí está la definición de actualización incremental para la tabla.
Aquí están mis recuentos de filas ANTES de cargar y actualizar la nube.
El after lo haré en un post aparte mañana por la mañana.
– David
Y después de ejecutar la actualización incremental… esto es lo que obtengo…
He resaltado en rojo los datos del año fiscal 2018 que han cambiado, que no deberían haber cambiado.
Por cierto, el año fiscal es del 1 de julio al 30 de junio.
A continuación se muestra una imagen anotada para explicar mejor de lo que estoy hablando.
