InstantáneasCompatible with Milvus 3.0.x

Una instantánea es una imagen puntual de una colección Milvus, ideal para retrocesos rápidos, versiones y pruebas. Captura el estado de la colección en un momento específico y almacena sólo los metadatos y los archivos de manifiesto, como el esquema, los índices y los archivos de datos vectoriales (binlogs), para un almacenamiento y restauración eficientes.

Anatomía de las instantáneas

Milvus implementa una arquitectura de instantáneas basada en manifiestos para una captura, almacenamiento y restauración eficientes de datos en un momento dado sin duplicar los datos vectoriales reales. La arquitectura separa la gestión de metadatos del almacenamiento de datos físicos, permitiendo instantáneas ligeras que hacen referencia a archivos de segmentos existentes en el almacenamiento de objetos.

Cuando crea una instantánea para una colección, Milvus recopila lo siguiente:

• Metadatos de la instantánea

  Proporciona información básica para crear la instantánea, incluido el nombre y la descripción de la instantánea, el ID de la colección de destino y el punto temporal en el que se crea la instantánea.

• Descripción de la colección

  Contiene la descripción de la colección de destino, incluida su definición de esquema, información de partición y propiedades.

• Información del índice

  Almacena los metadatos del índice y las rutas a los archivos de índice.

• Datos de segmento

  Captura los archivos de datos vectoriales (binlogs), los registros de borrado (deltalogs) y los archivos de índice.

Entre la información anterior, Milvus genera un archivo de manifiesto Apache Avro para cada segmento y almacena los metadatos de la instantánea, la descripción de la colección, la información del índice y las rutas a los archivos de manifiesto en un archivo JSON. El siguiente diagrama ilustra la estructura de carpetas de instantáneas.

snapshots/{collection_id}/
├── metadata/
│   └── {snapshot_id}.json         # Snapshot metadata (JSON format)
│
└── manifests/
    └── {snapshot_id}/             # Directory for each snapshot
        ├── {segment_id_1}.avro    # Individual segment manifest (Avro format)
        ├── {segment_id_2}.avro
        └── ...

La creación de una instantánea suele tardar milisegundos, y su restauración tarda entre segundos y minutos, dependiendo del volumen de datos.

Impactos y consideraciones sobre el almacenamiento

Una vez que Milvus hace referencia a un segmento o archivo de índice en una instantánea, no recoge esos archivos de la basura a menos que usted elimine la instantánea. Las instantáneas consumen almacenamiento proporcional al tamaño de las colecciones de destino, y los costes de almacenamiento de objetos se aplican a la retención de instantáneas. En casos extremos, una sola instantánea puede incluso duplicar sus costes de almacenamiento de objetos. Se recomienda

• Elimine regularmente las instantáneas antiguas para ahorrar almacenamiento.
• Utilice nombres y descripciones descriptivos para futuras referencias.
• Verifique siempre los resultados de la creación y restauración de instantáneas.
• Realice un seguimiento de las marcas de tiempo de creación de instantáneas, el uso de almacenamiento y los ID de trabajo de restauración para la supervisión y la solución de problemas.

Límites y restricciones

• Las instantáneas se vuelven inmutables tras su creación.
• Sólo puede restaurar una instantánea en una nueva colección dentro del mismo clúster que la original.
• Las colecciones restauradas conservan el mismo esquema, número de fragmentos y número de particiones.
• Los datos históricos restaurados pueden entrar en conflicto con las políticas TTL. Se recomienda desactivar TTL o ajustar la configuración de TTL antes de crear instantáneas.

Más información

• Gestión de Instantáneas - crear, listar, restaurar y eliminar instantáneas.
• Casos de uso de instantáneas - patrones y flujos de trabajo comunes.
• Milvus Backup - copia de seguridad y restauración a largo plazo entre clusters.