パッケージ: bitshuffle (0.5.2-1 など)

[ ソース: bitshuffle  ]

filter for improving compression of typed binary data

Bitshuffle is an algorithm that rearranges typed, binary data for improving compression, as well as a python/C package that implements this algorithm within the Numpy framework.

The library can be used along side HDF5 to compress and decompress datasets and is integrated through the dynamically loaded filters framework. Bitshuffle is HDF5 filter number 32008.

Algorithmically, Bitshuffle is closely related to HDF5's Shuffle filter except it operates at the bit level instead of the byte level. Arranging a typed data array in to a matrix with the elements as the rows and the bits within the elements as the columns, Bitshuffle "transposes" the matrix, such that all the least-significant-bits are in a row, etc. This transpose is performed within blocks of data roughly 8kB long.

This does not in itself compress data, only rearranges it for more efficient compression. To perform the actual compression you will need a compression library. Bitshuffle has been designed to be well matched Marc Lehmann's LZF as well as LZ4. Note that because Bitshuffle modifies the data at the bit level, sophisticated entropy reducing compression libraries such as GZIP and BZIP are unlikely to achieve significantly better compression than simpler and faster duplicate-string-elimination algorithms such as LZF and LZ4. Bitshuffle thus includes routines (and HDF5 filter options) to apply LZ4 compression to each block after shuffling.

The Bitshuffle algorithm relies on neighbouring elements of a dataset being highly correlated to improve data compression. Any correlations that span at least 24 elements of the dataset may be exploited to improve compression.

タグ: 役割: 共有ライブラリ

その他の bitshuffle 関連パッケージ

• dep: cython3 [hppa, ia64]

  C-Extensions for Python 3

• dep: libc6 (>= 2.3.4) [hppa]

  GNU C ライブラリ: 共有ライブラリ
  以下のパッケージによって提供される仮想パッケージでもあります: libc6-udeb

  dep: libc6 (>= 2.34) [alpha, hppa, ia64, sh4 以外]

  dep: libc6 (>= 2.40) [sh4]

• dep: libc6.1 (>= 2.34) [alpha]

  GNU C ライブラリ: 共有ライブラリ
  以下のパッケージによって提供される仮想パッケージでもあります: libc6.1-udeb

  dep: libc6.1 (>= 2.36) [ia64]

• dep: libgomp1 (>= 6)

  GCC OpenMP (GOMP) サポートライブラリ

• dep: libhdf5-103-1 [hppa, ia64]

  HDF5 C runtime files - serial version

• dep: libhdf5-103-1t64 [alpha, m68k, sh4, x32]

  HDF5 C runtime files - serial version

• dep: libhdf5-310 (>= 1.14.3) [alpha, hppa, ia64, m68k, sh4, x32 以外]

  HDF5 C runtime files - serial version

• dep: libhdf5-mpich-103-1t64 (>= 1.8.13) [m68k, sh4, x32]

  HDF5 - C runtime files - MPICH2 version

• dep: libhdf5-mpich-310 (>= 1.8.13) [armel, armhf, i386]

  HDF5 - C runtime files - MPICH2 version

• dep: libhdf5-openmpi-103-1 (>= 1.8.13) [hppa, ia64]

  HDF5 - C runtime files - OpenMPI version

• dep: libhdf5-openmpi-103-1t64 (>= 1.8.13) [alpha]

  HDF5 - C runtime files - OpenMPI version

• dep: libhdf5-openmpi-310 (>= 1.8.13) [amd64, arm64, mips64el, ppc64, ppc64el, riscv64, s390x, sparc64]

  HDF5 - C runtime files - OpenMPI version

• dep: liblz4-1 (>= 0.0~r114) [hppa, ia64]

  高速な LZ 圧縮アルゴリズムライブラリ - ランタイム

  dep: liblz4-1 (>= 0.0~r130) [hppa, ia64 以外]

• dep: liblzf1 (>= 1.5)

  Very small data compression library

• dep: libzstd1 (>= 1.5.5) [hppa, ia64 以外]

  高速なロスレス圧縮アルゴリズム

• dep: python3

  interactive high-level object-oriented language (default python3 version)

  dep: python3 (<< 3.11) [hppa]

  dep: python3 (<< 3.12) [ia64]

  dep: python3 (<< 3.13) [alpha, x32]

  dep: python3 (<< 3.14) [alpha, hppa, ia64, x32 以外]

  dep: python3 (>= 3.11~) [ia64]

  dep: python3 (>= 3.12~) [hppa, ia64 以外]

  dep: python3 (>= 3.9~) [hppa]

• dep: python3-h5py (>= 2.4.0) [hppa 以外]

  general-purpose Python interface to hdf5

• dep: python3-h5py-serial [hppa]

  general-purpose Python interface to hdf5 (Python 3 serial)

• dep: python3-numpy [hppa, ia64]

  Fast array facility to the Python language (Python 3)

  dep: python3-numpy (>= 1:1.25.0) [hppa, ia64 以外]

• dep: python3-numpy-abi9 [hppa, ia64 以外]

  以下のパッケージによって提供される仮想パッケージです: python3-numpy

• dep: python3-pkg-resources [hppa, ia64]

  pkg_resources を用いたパッケージ検索およびリソースアクセス

bitshuffle のダウンロード

すべての利用可能アーキテクチャ向けのダウンロード

アーキテクチャ	バージョン	パッケージサイズ	インストールサイズ	ファイル
alpha (非公式の移植版)	0.5.1-1.2+b2	115.9 kB	913.0 kB	[ファイル一覧]
amd64	0.5.2-1+b1	178.0 kB	1,097.0 kB	[ファイル一覧]
arm64	0.5.2-1+b1	166.7 kB	1,505.0 kB	[ファイル一覧]
armel	0.5.2-1+b1	145.0 kB	915.0 kB	[ファイル一覧]
armhf	0.5.2-1+b1	150.4 kB	695.0 kB	[ファイル一覧]
hppa (非公式の移植版)	0.3.5-4	178.3 kB	1,003.0 kB	[ファイル一覧]
i386	0.5.2-1+b1	171.3 kB	1,099.0 kB	[ファイル一覧]
ia64 (非公式の移植版)	0.3.5-4+b3	162.5 kB	864.0 kB	[ファイル一覧]
m68k (非公式の移植版)	0.5.2-1	143.9 kB	843.0 kB	[ファイル一覧]
mips64el	0.5.2-1+b1	146.7 kB	1,551.0 kB	[ファイル一覧]
ppc64 (非公式の移植版)	0.5.2-1+b1	165.0 kB	1,761.0 kB	[ファイル一覧]
ppc64el	0.5.2-1+b1	180.0 kB	1,757.0 kB	[ファイル一覧]
riscv64	0.5.2-1+b1	175.9 kB	833.0 kB	[ファイル一覧]
s390x	0.5.2-1+b1	170.4 kB	1,053.0 kB	[ファイル一覧]
sh4 (非公式の移植版)	0.5.2-1	185.5 kB	1,358.0 kB	[ファイル一覧]
sparc64 (非公式の移植版)	0.5.2-1+b1	131.2 kB	12,403.0 kB	[ファイル一覧]
x32 (非公式の移植版)	0.5.1-2	130.6 kB	597.0 kB	[ファイル一覧]