直接上源码吧

tokenizer类：

#_*_encoding:utf-8_*_

from ctypes import *

class tokenizer:

   

        def __init__(self):

            self._stext=['、','“','”','，','。','《','》','：','；','!','‘','’','?','？','！','·',' ',''] #枚举标点符号包括空格

            self._stopword_list=[line for line in file('stopword.txt')]

            self._stopword_list=map(lambda x: x.strip(),self._stopword_list) # 去掉行尾的空格

        def parse(self,text):       

            atext_list=[]#存放要分词的文档

            rtext=[]#存放去标点符号和分词后的词

            participle = cdll.LoadLibrary('X:\\API\\ICTCLAS50.dll')

            participle.ICTCLAS_Init(c_char_p('X:\\API'))

            strlen = len(c_char_p(text).value)

            t = c_buffer(strlen*6)

            a =participle.ICTCLAS_ParagraphProcess(c_char_p(text),c_int(strlen),t,c_int(3),0)

            atext_list=t.value.split(' ')

            participle.ICTCLAS_Exit()

            rtext=[item for item in atext_list if item not in self._stext]

            result_list=[iword for iword in rtext if iword not in self._stopword_list]

            return result_list

调用tokenizer类，test_tokenizer类：

#_*_encoding:utf-8_*_

import tokenizer

text="文本的分类和聚类是一个比较有意思的话题，我以前也写过一篇blog《基于K-Means的文本聚类算法》，加上最近读了几本数据挖掘和机器学习的书籍，因此很想写点东西来记录下学习的所得。"

list=tokenizer.tokenizer().parse(text)

for item in list:

    print item