Currently viewing the category: "MMSEG4N"

MMSEG4N 新版本的发布

By On 2011 年 09 月 28 日 · Leave a Comment

经过数个星期的改进，修复了 MMSEG4N 多个致命分词问题。目前测试人们日报的 19472 项句子分词与 MMSEG4J 的 Complex 对比是一致的。
找 BUG 是各种的郁闷啊。
目前发现最郁闷的是 NODEJS，没有同步读取大文件的解决方案，虽然有一个 fs.readSync(fd, buffer, offset, length, position)，但读取 UTF8 中文会乱码。目前的解决办法是用了一个 Stream 异步读取。感觉在读取词典上还是同步读取的比较好，不然会有很多多余的处理。以后发现新的解决办法再改成同步把。

现在的版本的 Complex 分词可以说是比较稳定了，但还没有 MMSEG4J 中的MaxWord等一些分词。以及目前的 WEB SERVER 也还不是很稳定，所以版本上暂时还是 Alpha 内部测试版。有兴趣的朋友可以下过来玩下。

https://github.com/nroe/mmseg4n

Continue Reading →

MMSEG4N 的词典内存优化

By On 2011 年 09 月 04 日 · 1 Comment

今天更新了 MMSEG4N，主要针对词典占用内存进行优化。
优化后，在相同词的情况下，MACOX 加载完词典后占用 147 MB 左右（之前为 240 MB 左右）、而 FREEBSD（系统版本是 7.2-RELEASE，虚拟机） 才 53 MB。相差很大啊。以后有空再继续研究下，词典占用内存还是太大了。

项目地址：https://github.com/nroe/mmseg4n

Continue Reading →

实现MMSEG4J的COMPLEX 算法

By On 2011 年 08 月 20 日 · 1 Comment

噢也，用 NODEJS 经过个把星期的研究已实现了 MSSEG4J 的 COMPLEX 算法。
该项目将命名为 MMSEG4N 意为 MMSEG 的 NODEJS，使用 NODEJS 提供基于 WEB SERVICE 的分词方案。整理算法实现基于 MMSEG4J，可以说是 JAVA 版的一个NODEJS 的实现。稍后实现 MAXWORD 算法再整理下代码就放出来。

Continue Reading →
Set your Twitter account name in your settings to use the TwitterBar Section.