Snowpipe y Snowpipe Streaming
Ingesta continua basada en archivos frente a ingesta directa de filas, latencia, costes y operacion.
Conceptos que debes poder reconocer y distinguir:
- Snowpipe auto-ingest
- Pipes y notificaciones de eventos
- Snowpipe REST API
- Snowpipe Streaming
- Latencia
- Coste y monitorizacion de ingesta
Usa los enlaces oficiales de Snowflake de esta unidad para ampliar cada concepto y contrastar su comportamiento.
Snowpipe carga archivos de forma continua mediante un pipe con COPY INTO y compute serverless. Snowpipe Streaming recibe filas desde un SDK o API sin crear archivos intermedios. Ambos reducen operacion manual, pero su patron de entrada no es intercambiable.
Dos patrones de ingesta
| Aspecto | Snowpipe | Snowpipe Streaming |
|---|---|---|
| Entrada | Archivos en un stage | Filas directas desde cliente o conector |
| Activacion | Auto-ingest con notificaciones cloud o REST | SDK/API y canales de ingesta |
| Latencia objetivo | Continua por micro-batches | Menor latencia para eventos o CDC |
| Idempotencia | Metadata e historial de archivos | Offsets y recuperacion por canal |
| Coste | Compute serverless de carga | Costes especificos de ingesta streaming |
Operacion de Snowpipe
- Un pipe contiene la definicion COPY INTO; no es el stage ni una tabla.
- Auto-ingest aprovecha eventos cloud y evita sondear todo el bucket de forma periodica.
- No garantiza orden de archivos: diseña los datos y la transformacion para no depender de esa suposicion.
- Investiga problemas con SYSTEM$PIPE_STATUS, Copy History y VALIDATE_PIPE_LOAD.
- El Kafka Connector puede usar Snowpipe Streaming, pero un connector y el mecanismo de ingesta no son sinonimos.