Paket: r-cran-tokenizers (0.3.0-1)

[ Quellcode: r-cran-tokenizers  ]

GNU R fast, consistent tokenization of natural language text

Convert natural language text into tokens. Includes tokenizers for shingled n-grams, skip n-grams, words, word stems, sentences, paragraphs, characters, shingled characters, lines, tweets, Penn Treebank, regular expressions, as well as functions for counting characters, words, and sentences, and a function for splitting longer texts into separate documents, each with the same number of words. The tokenizers have a consistent interface, and the package is built on the 'stringi' and 'Rcpp' packages for fast yet correct tokenization in 'UTF-8'.

Andere Pakete mit Bezug zu r-cran-tokenizers

• dep: libc6 (>= 2.14) [amd64]

  GNU-C-Bibliothek: Laufzeitbibliotheken
  auch ein virtuelles Paket, bereitgestellt durch libc6-udeb

  dep: libc6 (>= 2.17) [arm64, ppc64el]

  dep: libc6 (>= 2.4) [nicht amd64, arm64, ppc64el]

• dep: libgcc-s1 (>= 3.0) [nicht armel, armhf]

  GCC Support-Bibliothek

  dep: libgcc-s1 (>= 3.5) [armel, armhf]

• dep: libstdc++6 (>= 11)

  GNU-Implementierung der Standard-C++-Bibliothek (Version 3)

• dep: r-api-4.0

  virtuelles Paket, bereitgestellt durch r-base-core

• dep: r-base-core (>= 4.2.2.20221110-1)

  GNU R - System für statistische Berechnungen und Grafik - Kern

• dep: r-cran-rcpp (>= 0.12.3)

  GNU-R-Paket für die nahtlose Verflechtung von R und C++

• dep: r-cran-snowballc (>= 0.5.1)

  Snowball stemmers based on the C libstemmer UTF-8 library

• dep: r-cran-stringi (>= 1.0.1)

  GNU-R-Verarbeitungsfunktionen für Strings

• rec: r-cran-testthat

  GNU R testsuite

• sug: r-cran-covr

  test coverage for GNU R packages

• sug: r-cran-knitr

  GNU R package for dynamic report generation using Literate Programming

• sug: r-cran-rmarkdown

  Konvertierung von R-Markdown-Dokumenten in verschiedene Formate

r-cran-tokenizers herunterladen

Download für alle verfügbaren Architekturen

Architektur	Paketgröße	Größe (installiert)	Dateien
amd64	641,6 kB	845,0 kB	[Liste der Dateien]
arm64	636,3 kB	861,0 kB	[Liste der Dateien]
armel	636,2 kB	860,0 kB	[Liste der Dateien]
armhf	637,6 kB	860,0 kB	[Liste der Dateien]
i386	642,9 kB	847,0 kB	[Liste der Dateien]
mips64el	635,5 kB	869,0 kB	[Liste der Dateien]
ppc64el	642,1 kB	925,0 kB	[Liste der Dateien]
s390x	637,7 kB	849,0 kB	[Liste der Dateien]