[转载] 中文分词PHP实现

一、理论基础：
　　中文分词在理论上可以分为基于词典的分词、基于语义理解的分词方法。在基于词典的分词方法
中有可以分为最大正向匹配算法和最大逆向匹配方法。
　　我个人认为虽然现在研究中文分词的组织有很多，但是技术上的更新是很慢的，特别是很成熟的
商业应用技术更新就更慢了。大多数的商业应用还是停留在很古老的技术上。现在最成熟的的商业
应用还是基于词典的最大正象匹配算法和最大逆向匹配。我想用这种方法的原因主要有两个：
　　第一、它的算法很简单，容易实现在计算上耗费的cpu比较小。
　　第二、它在分词的准确率上还是可以的，最关键的是它耗费的时间比较少。
二、最大正向匹配算法
　　下面就以最大逆向匹配算法为例来说明和实现一个简单的分词程序。考虑到我们的分词程序是用
java实现的一个正规的分词程序。所以为了保密（有朋友想探讨java的实现，请联系：rain200485@163.com）在这里选用php来实现一个简单版本的中文分词算法。
　　(1)最大逆向匹配算法简介
　　最大正逆向配算法就是从一个句子的最后一个汉字开始，取一定长度的字符串到词典中取匹配，如果
找到则继续向下找，如找不到就从取到的字符串中去掉最前面一个字在从里面找，知道剩下两个字时，
如果还找不到，则从这个句子的第倒数第二个字在找。就这样重复下去直到字符串的结尾。
　　例子：以下列句子为例：假定一次取四个汉字
　　例句：则从这个句子的第
　　1.$s = 句子的第--------->从词典中去查找，找不到，从首部去掉一个字“句”
　　2.$s = 子的第 --------->从词典中去查找，找不到，从首部去掉一个字“子”
　　3.$s = 的第 --------->从词典中去查找，找不到，由于汉语中词至少是两个字，所以只有从第二个字来找
　　4.$s = 个句子的--------->从词典中去查找，找不到，从首部去掉一个字“个”
　　5.$s = 句子的 --------->从词典中去查找，找不到，从首部去掉一个字“句”
　　6.$s = 子的 --------->从词典中去查找，找不到，跳到一个字去
　　7.$s = 这个句子--------->从词典中去查找，找不到，从首部去掉一个字“这“
　　8.$s = 个句子 --------->从词典中去查找，找不到，从首部去掉一个字“个”
　　9.$s = 句子 --------->从词典中去查找，找到，输出，直接跳到下一个字开始查找即”个“
　　10.$s = 则从这个-------->从词典中去查找，找不到，从首部去掉一个字“则”
　　11.$s = 从这个 -------->从词典中去查找，找不到，从首部去掉一个字“从”
　　12.$s = 这个 -------->从词典中去查找，找到，输出，直接跳到下一个字开始查找即”从“
　　13.$s = 则从 -------->从词典中去查找，找不到，到了句子开始。退出

(2)程序实现（php）
　　需要一个词典，可以到网上下一个词典文件

<?php
class WordSeg {
private $wordArr = array();//存储词典中的词
private $words = array();//存储词分出来的词
private $splitLen;//设置的词长，如上个例子中的4，即一次取出4个汉字
/**
* 构造函数主要是从词典中读出词，并且存入$this->wordArr数组中
* 存入后要排序，为了以后的二分查找
* @param $path变量就是字典存储的路径
*/
public function WordSeg($path){
$handle = fopen($path,r);
if($handle){
$i = 0;
while(!feof($handle)){
$buffer = fgets($handle, 12);
//echo trim($buffer)." ";
$this->wordArr[$i] = trim($buffer);
$i++;
}
//排序
sort ($this->wordArr);
//重新设置数组的下标
reset ($this->wordArr);
}else{
echo("the keywords file path is not right");
}
}
/**
* 主要设置词长，即一次取出几个汉字，默认为2。在php中一个汉字是占两个字节的，所以默认值为4
* $len : 词的长度
*/
public function setLen($len = 4){
$this->splitLen = $len;
}
/**
* 得到这个词长
*/
public function getLen(){
return $this->splitLen;
}
/**
* 为了提高查询的速度在词典中进行匹配的时候是采用二分查找的方法
* 这种查找方法在词典文件很大的时候可以提高效率
* 为了使用这种查找方法必须的在把词典文件读入数组中时必须要排序的
* 二分查找要求数组中的是按照顺序排列的
* @param $word : 要匹配的词
*/
public function findString($word){
$max = count($this->wordArr);
$min = 1;
while($min <= $max){
$mid = (int)(($max + $min)/2);
//echo 'id : '.$mid." : ".$this->wordArr[$mid - 1];
if($this->wordArr[$mid-1] > $word)
$max = $mid - 1;
else if($this->wordArr[$mid-1] == $word){
//echo "find word :".$word;
$this->words[] = $word;
return true;
}
else
$min = $mid + 1;
}
return false;
/**/
}
/**
* 这是最主要的方法，分词的最大逆向匹配方法
* 此程序的方法还是按照上面的例子来做的
* @param $wordString : 要分词的字符串
*/
public function wordSplit($wordString){
$len = strlen($wordString);
//echo $len;
//echo $this->splitLen;
for($i = $len; $i > 2; $i = $i - 2){
$subWord = $this->getWords($wordString,$i,$this->splitLen * 2);
//echo " fu :".$subWord." ";
if($this->findString($subWord)){
//find
//echo "find : ".$subWord;
//如果找到就从从下一个开始找
$i = $i - $this->splitLen * 2 + 2;
}else{
//not find
//如果找不到，则去掉取得字符串的最前面的一个字，直到找到或剩下两个汉字为止
$wordLen = ($i > $this->splitLen * 2) ? $this->splitLen*2 : $i;
//echo $wordLen." ";
for($j = $wordLen - 2; $j > 2; $j = $j -2){
$subWord = $this->getWords($wordString,$i,$j);
//echo " su :".$subWord." ";
if($this->findString($subWord)){
//find
//echo "find : ".$subWord;
$i = $i - $j + 2;
break;
}
}//end for
}
}//end for
}
/**
* 截取字符串的函数，分词的时候要不断的截取字符串
* @param $wordString : 要截取字符串的母串，所截取的字符串都是从$wordString中截取的
* @param $start : 截取的开始字符
* @param $len : 要截取的长度
*/
private function getWords($wordString,$end,$len){
if(($end - $len) <= 0){
//如果截取的长度大于$wordString的长度时，取从0，到要开始截取的字符就可以了
//由于时逆向截取，所以真正的开始字符是$end-$len
return substr($wordString,0,$end);
}
else{
//否则就从$start = $end-$len开始截取，截取$len个字符
return substr($wordString,($end - $len),$len);
}
}
　/**
* 取出得到的分词结果
*/
public function getSplitWords(){
return $this->words;
}
}
//我的词典位置是在d:word下，文件名是words.dict
$word = new WordSeg('d:wordwords.dict');
$word->setLen();
$word->wordSplit('则从这个句子的第');
$wordArr = $word->getSplitWords();
foreach($wordArr as $value){
echo 'word is : '.$value." ";
}
?>

复制代码

三、总结
　　对于中文分词程序来说，这个简单的程序就基本上可以模拟整个的结果和算法，但是这只是个简单的
分词程序，还不能应用。对于简单的文本来说基本上是可以了，但是对于复杂的文本处理，这个程序在效
率上是不能满足要求的。它的效率太低，这个程序的瓶颈是在词典中遍历查询中查询的次数。对于字典的
查询算法有很多，读者可以根据自己的需求来扩充此程序，我们用的是哈希表算法。基本上效率可以提高
一倍。
　　对于在搜索引擎中取应用中文分词还有其他的问题，就是如何区分中英文，和中英文混杂的情况，如
何识别新词，如何识别姓名、如何自动的调整(如出现－的时候就自动向前或向后去找月或年等)词的组合。
这些都是搜索引擎中需要考虑的问题。
　　据我个人分析百度应该是有两个词典来解决专有名词和普通名词的问题。还有它的自动识别也应该是
对用户输入的词进行统计，选出点击次数最多的来显示相关搜索等。读者不妨个人就研究一下。
　　随着笔者对这个问题认识的提高，也会继续深入的去探讨这些问题。

10/05/2007 - 12:16 — rain200485

天行健，君子以自强不息
地势坤，君子以厚德载物
黑色海岸线欢迎您
QQ群：7212260
致力于探索WEB技术精髓：http://www.bitechcn.com

点这里加我！

黑海舰队列兵

主题: 0
积分: 0
贝壳: 0 个
注册时间: 2007-10-30
最后登录: 2007-11-15

沙发

疯狂者发表于 2007-11-15 08:49 | 只看该作者

支持下~
然后再研究...

TOP

返回列表回复发帖

[转载] 中文分词PHP实现

[收藏此主题] [关注此主题的新回复]

[通过 QQ、MSN 分享给朋友]