中文分词

分词就是将连续的字序列按照一定的规范重新组合成语义独立词序列的过程。在英文的行文中，单词之间是以空格作为自然分界符的，而中文只是字、句和段能通过明显的分界符来简单划界，唯独词没有一个形式上的分界符。