Package: bitshuffle (0.5.1-2)

[ Source: bitshuffle  ]

filtro per migliorare la compressione di dati binari con tipo

Bitshuffle è un algoritmo che riorganizza dati binari con tipo per migliorare la compressione, e un pacchetto Python/C che implementa tale algoritmo all'interno dell'infrastruttura Numpy.

La libreria può essere usata insieme a HDF5 per comprimere e decomprimere insiemi di dati ed è integrata tramite l'infrastruttura dei filtri caricati dinamicamente. Bitshuffle è il filtro HDF5 numero 32008.

Algoritmicamente, Bitshuffle è strettamente correlato al filtro Shuffle di HDF5, eccetto che opera a livello di bit invece che a livello di byte. Disponendo un array di dati con tipo in una matrice con gli elementi come le righe e i bit all'interno degli elementi come le colonne, Bitshuffle "traspone" la matrice, in modo che tutti i bit meno significativi siano in riga, ecc. Questa trasposizione è eseguita all'interno di blocchi di dati approssimativamente lunghi 8kB.

Ciò da solo non comprime i dati, semplicemente li ridispone per una compressione più efficiente. Per eseguire la compressione vera e propria è necessaria una libreria di compressione. Bitshuffle è stato progettato per essere ben abbinato a LZF di Marc Lehmann e anche a LZ4. Notare che siccome Bitshuffle modifica i dati a livello di bit, librerie sofisticate per la riduzione dell'entropia come GZIP e BZIP è improbabile che ottengano una compressione significativamente migliore degli algoritmi più semplici e veloci che eliminano le stringhe duplicate, come LZF e LZ4. Perciò Bitshuffle include procedure (e opzioni per filtri HDF5) per applicare la compressione LZ4 a ciascun blocco dopo lo spostamento.

L'algoritmo Bitshuffle si basa sul fatto che gli elementi adiacenti di un insieme di dati siano strettamente correlati per migliorare la compressione dei dati. Qualsiasi correlazione che si estenda per almeno 24 elementi nell'insieme dei dati può essere sfruttata per migliorare la compressione.

Tags: Role: Shared Library

Other Packages Related to bitshuffle

• dep: libc6 (>= 2.34)

  Libreria C GNU: librerie condivise
  also a virtual package provided by libc6-udeb

• dep: libgomp1 (>= 6)

  libreria di supporto GOMP (GCC OpenMP)

• dep: libhdf5-103-1t64

  file runtime C di HDF5 - versione seriale

• dep: libhdf5-openmpi-103-1t64 (>= 1.8.13)

  HDF5 - file C runtime - versione OpenMPI

• dep: liblz4-1 (>= 0.0~r130)

  libreria per l'algoritmo di compressione Fast LZ - runtime

• dep: liblzf1 (>= 1.5)

  Very small data compression library

• dep: libzstd1 (>= 1.5.5)

  veloce algoritmo di compressione senza perdita

• dep: python3

  linguaggio interattivo di alto livello orientato agli oggetti (versione python3 predefinita)

  dep: python3 (<< 3.13)

  dep: python3 (>= 3.12~)

• dep: python3-h5py (>= 2.4.0)

  interfaccia Python di uso generico per hdf5

• dep: python3-numpy (>= 1:1.25.0)

  veloce funzionalità per array per il linguaggio Python (Python 3)

• dep: python3-numpy-abi9

  virtual package provided by python3-numpy

Download bitshuffle

Download for all available architectures

Architecture	Package Size	Installed Size	Files
mips64el	106.5 kB	934.0 kB	[list of files]