Home > Term: tokenizer
tokenizer
A text segmentation program that scans text and determines if and when a series of characters can be recognized as a token.
- ส่วนหนึ่งของคำพูด: noun
- อุตสาหกรรม/ขอบเขต: Software
- Category: Globalization software service
- Company: IBM
0
ผู้สร้าง
- Peteh
- 100% positive feedback