tokenize
複数:
tokenizes
意味・定義
2つの辞書から2件の定義
JMdict
1件
名詞
1トークン化
AIによる解説
1件
1テキストや情報を個々のトークン(単位)に分割するプロセス。自然言語処理やセキュリティ(クレジットカード番号の保護など)で重要な技術。
The process of breaking text or data into individual tokens (units). An important technique in natural language processing and security (such as protecting credit card numbers).
ライセンス: KeyLang Original
例文
この単語を含む例文でタイピング練習ができます
The distinction between type and token reference separates abstract linguistic forms from concrete instantiations, fundamental for understanding language systematically.
タイプとトークンの指示の区別は、抽象的言語形式を具体的実例化から分離し、言語を体系的に理解するために根本的である。
C2
関連語
活用形・派生語などの関連単語