TodoBI - Business Intelligence, Big Data, ML y AI TodoBI - Business Intelligence, Big Data, ML y AI

Se anuncia Vertica 12

Vertica anuncia la versión 12 de la plataforma de análisis unificado. Desde la presentación de la versión 11 de Vertica, en junio del año pasado, se han lanzado varias versiones.

Estas son las mejoras en Vertica con las versiones 11.01, 11.02, 11.10 y 12.0.

Soporte de despliegue más amplio

El equipo de desarrollo sigue mejorando el despliegue, incluyendo avances en el modo Eon, los contenedores Docker y los despliegues en la nube pública.

  • Vertica también ha ampliado la compatibilidad con los almacenes de objetos locales. Recientemente se ha añadido la compatibilidad con Vast y H3C. En lugar de utilizar un cubo S3 para su repositorio principal, puede utilizar estos proveedores, junto con Dell, Pure, Scality y Minio.
  • Se ha realizado muchas mejoras en la seguridad, la flexibilidad de despliegue y la estabilidad de Vertica en Kubernetes. Anteriormente, Vertica en Kubernetes solo admitía el almacenamiento comunitario en S3 de Amazon Web Services (AWS) o en ubicaciones de almacenamiento compatibles con S3. Vertica amplió su soporte para incluir Google Cloud Storage (GCS), Azure Blob Storage y Hadoop Distributed Filesystem Storage (HDFS).
  • Ahora se puede utilizar el servicio Kubernetes gestionado por Amazon EKS para los contenedores de Vertica. También está disponible en Operatorhub.io. Esto amplía el tipo de entornos.
  • Ahora, en el modo Eon, cualquier clúster puede realizar operaciones de traslado de tuplas, no solo el clúster principal. Esto amplía enormemente los subclústeres que se pueden utilizar para la ELT y la ingestión de datos.
    En el caso de Vertica desplegado en modo Eon, se ha mejorado la estabilidad de la base de datos cuando se producen pequeñas interrupciones, como ocurre a veces en algunas plataformas de nube pública. La base de datos se mantiene en funcionamiento incluso si un nodo está operativo. No hay requisito de quórum como en las versiones anteriores.
  • A la hora de compartir los datos, Vertica permite ahora publicar un gran conjunto de datos de forma pública en los buckets de AWS S3 y transferir los costes a quienes los utilicen. El sistema puede configurarse para que el creador de los datos pague sólo por el almacenamiento y el "solicitante" pague por el uso.
  • Un subclúster de Vertica puede ahora convertirse en un clúster de SOLO LECTURA. Esta función se utiliza más a menudo cuando se reduce o aumenta el tamaño de los subclústeres. Los clústeres pueden convertirse en de SOLO LECTURA cuando un nuevo subclúster se pone en marcha y toma el relevo del original. Esto evita las escrituras durante la modificación del tamaño del clúster.


Análisis en cualquier lugar (acceso a los datos)

Vertica encaja en un ecosistema más amplio de datos y aplicaciones, y se trabaja para garantizar que no haya fricciones en su infraestructura.

  • Se ha mejorado las capacidades en cuanto a tipos de datos complejos en Vertica y ello repercute en la lectura de formatos Parquet y ORC complejos. Puede importar datos complejos de Parquet u ORC al formato Vertica ROS.
  • El equipo de desarrollo ha añadido la capacidad de leer archivos externos más complejos en JSON, AVRO y Parquet. Ahora puede utilizar Vertica para consultar y analizar datos complejos anidados (como matrices de matrices) en JSON, AVRO y Parquet.
  • Los controladores JDBC han sido mejorados con tiempos de espera configurables para la red, el nodo y los sockets, lo que permite una mayor flexibilidad al conectar Vertica a otras aplicaciones.
    Ahora puede equilibrar las cargas de trabajo de los controladores de cliente ADO.NET y ODBC resolviendo un único nombre de host en varias direcciones IP. En otras palabras, si sus controladores de cliente tienen un cuello de botella en una IP, existe una solución para utilizar varias IP y eliminar el cuello de botella.
  • Se sigue actualizando el conector bidireccional Vertica Spark de código abierto. Ahora soporta el intercambio de datos a través de Parquet u otros datos en HDFS y S3. Hemos facilitado la ejecución del Spark Connector y hemos incluido algunos ejemplos que lo demuestran con autenticación Kerberos.


Optimización y rendimiento

Siempre se busca formas de reducir los milisegundos de los tiempos de consulta, ya que a menudo suman minutos y horas cuando los datos son grandes.

  • Unir tablas grandes y no segmentadas es más rápido con la segmentación automatizada para repartir la carga de JOIN entre todos los nodos del clúster o subclúster.
  • La lectura y escritura de archivos Parquet es ahora potencialmente más rápida.
  • Se puede leer y escribir eficazmente archivos Parquet con menor tiempo de espera con un algoritmo de poda optimizado que soporta DataPageV2.
  • Las proyecciones de rangos de partición y las proyecciones de rangos de partición agregados en vivo permiten actualizaciones más rápidas a la vez que retienen menos datos para mejorar la optimización de las consultas.
    Profundidad analítica

Gobierno del Dato y Seguridad

La seguridad y las copias de seguridad son fundamentales para las aplicaciones empresariales, y también se ha trabajado en estas áreas.

  • Se ha añadido la capacidad de ajustar el tiempo de bloqueo del usuario después de intentos fallidos de inicio de sesión con un tiempo de espera de autenticación más configurable.
  • Se ha ampliado las capacidades de inicio de sesión único (SSO) con soporte de autenticación de token Oauth2 para clientes JDBC y ODBC.
    Para Vertica Accelerator, se ha completado la certificación ISO - 2000 1.
  • Se ha realizado muchas mejoras en nuestra utilidad VBR. Esta utilidad es uno de los métodos que puede utilizar para realizar copias de seguridad y restauraciones de Vertica.
    Vertica se ha probado en modo FIPS utilizando OpenSSL 1.1.1.g en SUSE Linux Enterprise Server 15 SP2. Vertica es compatible con el modo FIPS en versiones de sistemas operativos compatibles con FIPS que sean iguales o superiores a la versión probada.