Package: bitshuffle (0.3.5-4 and others)

[ Source: bitshuffle  ]

filtro per migliorare la compressione di dati binari con tipo

Bitshuffle è un algoritmo che riorganizza dati binari con tipo per migliorare la compressione, e un pacchetto Python/C che implementa tale algoritmo all'interno dell'infrastruttura Numpy.

La libreria può essere usata insieme a HDF5 per comprimere e decomprimere insiemi di dati ed è integrata tramite l'infrastruttura dei filtri caricati dinamicamente. Bitshuffle è il filtro HDF5 numero 32008.

Algoritmicamente, Bitshuffle è strettamente correlato al filtro Shuffle di HDF5, eccetto che opera a livello di bit invece che a livello di byte. Disponendo un array di dati con tipo in una matrice con gli elementi come le righe e i bit all'interno degli elementi come le colonne, Bitshuffle "traspone" la matrice, in modo che tutti i bit meno significativi siano in riga, ecc. Questa trasposizione è eseguita all'interno di blocchi di dati approssimativamente lunghi 8kB.

Ciò da solo non comprime i dati, semplicemente li ridispone per una compressione più efficiente. Per eseguire la compressione vera e propria è necessaria una libreria di compressione. Bitshuffle è stato progettato per essere ben abbinato a LZF di Marc Lehmann e anche a LZ4. Notare che siccome Bitshuffle modifica i dati a livello di bit, librerie sofisticate per la riduzione dell'entropia come GZIP e BZIP è improbabile che ottengano una compressione significativamente migliore degli algoritmi più semplici e veloci che eliminano le stringhe duplicate, come LZF e LZ4. Perciò Bitshuffle include procedure (e opzioni per filtri HDF5) per applicare la compressione LZ4 a ciascun blocco dopo lo spostamento.

L'algoritmo Bitshuffle si basa sul fatto che gli elementi adiacenti di un insieme di dati siano strettamente correlati per migliorare la compressione dei dati. Qualsiasi correlazione che si estenda per almeno 24 elementi nell'insieme dei dati può essere sfruttata per migliorare la compressione.

Tags: Role: Shared Library

Other Packages Related to bitshuffle

• dep: cython3

  estensioni C per Python 3

• dep: libc6 (>= 2.4)

  Libreria C GNU: librerie condivise
  also a virtual package provided by libc6-udeb

• dep: libgomp1 (>= 6)

  libreria di supporto GOMP (GCC OpenMP)

• dep: libhdf5-103-1

  file runtime C di HDF5 - versione seriale

• dep: libhdf5-openmpi-103-1 (>= 1.8.13)

  HDF5 - file C runtime - versione OpenMPI

• dep: liblz4-1 (>= 0.0~r114)

  libreria per l'algoritmo di compressione Fast LZ - runtime

• dep: liblzf1 (>= 1.5)

  Very small data compression library

• dep: python3

  interactive high-level object-oriented language (default python3 version)

  dep: python3 (<< 3.12)

  dep: python3 (>= 3.11~)

• dep: python3-numpy

  veloce struttura per array per il linguaggio Python 3

• dep: python3-pkg-resources

  rilevazione di pacchetti e accesso a risorse usando pkg_resources

Download bitshuffle

Download for all available architectures

Architecture	Version	Package Size	Installed Size	Files
s390x	0.3.5-4+b3	138.6 kB	592.0 kB	[list of files]