ciencia66
Queremos extraer datos del servicio PowerBI que se conecta a la tabla de AWS Athena. Tenemos una puerta de enlace en ejecución AWS EC2. Hemos creado con éxito la conexión de la puerta de enlace y aparece en el servicio PowerBI. Podemos hacer extracción de datos de pequeña cantidad, sin embargo, es extremadamente lento. Tan pronto como llegamos a alrededor de 500k registros, sigue girando y no se carga nada.
¿Alguien ha encontrado algo similar? ¿Cómo podemos hacer que esto funcione para que podamos extraer una gran cantidad de datos? (en millones)
Hemos analizado EC2 y cuando ejecutamos grandes extracciones, no muestra ningún gran recurso, por lo tanto, esto no es un cuello de botella. Hablé con nuestra arquitectura de AWS y dicen que la puerta de enlace Ec2 y AWS Athena están en la misma zona.
No estoy seguro en este momento si esto se debe a que el servicio Powerbi (que se ejecuta en Azure) se está extrayendo a través de AWS y está causando esto.
Cualquier ayuda, cualquier idea apreciada. Gracias.
lbendlin
¿Su servidor EC2 está conectado a la red de su empresa a través de VPN? Eso causará cantidades excesivas de tráfico de red de ida y vuelta. Se supone que las máquinas virtuales de puerta de enlace están en las instalaciones, idealmente cerca de las fuentes de datos.
v-yingjl
Hola @sci66,
Si ha solucionado el problema por su cuenta, comparta amablemente su solución. Si las publicaciones anteriores ayudan, por favor márquelo como una solución para ayudar a otros a encontrarlo más rápidamente. ¡Gracias!
Atentamente,
Ying Jie Li
v-yingjl
Hola @sci66,
En el servicio Power BI, depende de varios factores:
- El tamaño del modelo de datos en el conjunto de datos.
- La complejidad del modelo de datos.
- La conexión de red entre la puerta de enlace y la fuente de datos.
- La conexión de red entre la puerta de enlace y el servicio Power BI.
- Recurso de CPU y memoria en la máquina que instala la puerta de enlace.
Puede consultar este blog y documento sobre la puerta de enlace optimizada:
- power-bi-gateway-infografía
- Supervise y optimice el rendimiento de la puerta de enlace de datos local
Atentamente,
Ying Jie Li
Si esta publicación le ayuda, considere aceptarla como la solución para ayudar a los otros miembros a encontrarla más rápidamente.
lbendlin
asegúrese de que su puerta de enlace tenga mucha RAM (preferiblemente 32 GB o más)
asegúrese de que su puerta de enlace tenga mucho espacio libre en disco
asegúrese de que su puerta de enlace tenga discos rápidos.
asegúrese de que el archivo de intercambio de su puerta de enlace no esté en el mismo disco que los archivos de la puerta de enlace.
Utilice clústeres de puerta de enlace si puede.
coleccionista de gatos
En respuesta a lbendlin
@lbendlin ¿Puedo preguntar dónde puedo verificar estos elementos que ha enumerado anteriormente? Estoy encontrando un problema similar al del OP.
Tenemos un servidor EC2 donde está instalado un On-Premises Gateway. También instalamos el controlador Athena y lo configuramos. Cuando nuestros socios comerciales crean un flujo de datos que se conecta a AWS Athena y luego lo actualizan para cargar los datos, tardaron 30 minutos en cargar 302k registros. Cuando consultamos la misma tabla en Athena, toma solo unos segundos. ¡TIA!
