16.20 - NGramSplitterの目的 - Teradata Vantage NewSQL Engine

Teradata Vantage™ - NewSQL Engineの分析関数

prodname
Teradata Database
Teradata Vantage NewSQL Engine
vrm_release
16.20
category
プログラミング リファレンス
featnum
B035-1206-162K-JPN

NGramSplitter関数tokenizesは、テキストの入力ストリームを(分割)し、指定された区切り記号とリセット パラメータに基づいて n multigram (n-gramと呼ばれる)を出力します。NGramSplitterには、テキスト分析の実行において標準のトークン化よりも柔軟性があります。多くの2語の語句は、1つの単語のトークンがキャプチャしない重要な意味(「machine learning(機械学習)」など)を含んでいます。これは、別の分析手法と組み合わせて、センチメント分析、トピックの識別、文書の分類を実行するのに便利です。

NGramSplitterは、各入力行を1つの文書と見なし、各文書内の固有のn-gramごとに1つの行を返します。またNGramSplitterは、ドキュメントごとに各n-gramのカウントとn-gramの合計数を返します。

  • この関数には、UTF8クライアント文字セットが必要です。
  • この関数はパス スルー文字(PTC)をサポートしていません。

    PTCについての詳細は、<Teradata Vantage™ NewSQL Engine国際文字セット サポート、B035-1125>を参照してください。