jieba分词原理
Jieba分词是一种中文分词工具，它基于字典匹配和规则匹配
的原理。

具体来说，它首先利用前缀词典和后缀词典对文本进行扫描，尝试匹配最长的词语；然后，对于未匹配到的词语，根据中文的特点，利用确定性有向无环图(DAG)进行再次扫描，通过动态规划算法计算得到最大概率路径，将文本进行分词。

在Jieba分词的过程中，采用了基于词频和互信息的词频统计
方法来构建字典。

对于未登录词（即字典中没有的词语），采用了基于HMM模型的隐马尔可夫分词方法对其进行切分。

除了基本的中文分词功能外，Jieba还提供了更细粒度的分词
功能，即将词语进行进一步细分，例如将"中国人"分为"中国"和"人"两个词语。

这一功能是通过采用了基于切分词典的前向
最大匹配算法实现的。

Jieba还提供了用户自定义词典的功能，用户可以根据自己的
需求增加、删除或修改词语，以达到更加准确的分词效果。

同时，Jieba对新词的识别也具有一定的能力，能够根据上下文
和词频进行分析，自动识别并合并新词到词典中。

总的来说，Jieba分词工具通过字典匹配和规则匹配的原理实
现了中文分词的功能，并提供了自定义词典和新词识别的功能，以适应不同的分词需求。