中文文本断词
把连续书写、没有空格的中文句子按词边界切开,输出带分隔的词语序列,是后续词频统计和关键词提取的第一步。
拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
中文断词系统是中央研究院资讯科学研究所推出的在线服务,用来处理中文书写里没有空格、词与词黏连的问题。它把一整串汉字按词边界切开,输出带分隔的词语序列,常被拿来做中文文本处理的前置步骤,比如分词、词频统计、语料整理。功能单一,不需要安装;它只负责切词,纠错或语义分析,词表与切分标准也不对外公开说明。
中文断词系统是中央研究院资讯科学研究所挂出的一个免费线上工具,定位很窄:解决中文不像英文那样用空格隔开词语的问题。用户在页面里贴入一段中文,系统按内建规则把句子切成一个个词,再把结果返回,是中文自然语言处理里最基础的一步——断词。
它本质上是一个演示型服务,把研究单位的中文分词能力用网页形式开放出来,供人快速验证一段文字会被切成什么样。没有账号体系,也没有复杂的参数面板,使用方式就是在输入框里放入文本、点击执行、读取输出。
不同人群的用法不同:写作者和编辑可以用它检查一句话的词边界是否合理;做文本分析的学生或研究者可以拿它做语料预处理,先把句子切成词再统计;开发者通常只把它当参考实现,正式的工程流程里会改用可编程的分词库或接口,而不是手动在网页上一条条粘贴。
把连续书写、没有空格的中文句子按词边界切开,输出带分隔的词语序列,是后续词频统计和关键词提取的第一步。
打开页面、放入文本、执行即可,不用注册账号,也不用在本地安装任何程序,浏览器里就能完成切词。
由台湾研究机构制作,处理繁体中文书面语时较为贴合;遇到简体用词、网络新词或口语缩写的表现需要自己试。
切分结果以文本形式呈现,可整段复制到表格、脚本或分析工具里继续加工,适合当小规模处理的中间环节。
做课程作业或小规模语料研究,需要把访谈、新闻稿切成词再统计词频,用它做预处理省去装环境的步骤。
想确认自己写的句子词边界是否自然,有没有把两个词黏在一起,粘进页面看一眼结果即可。
要把分词接进数据处理流水线、每天跑成百上千条文本,网页手动粘贴的方式无法自动化,应该改用可编程的分词方案。
文本要上传到外部网页才能切分,涉及隐私或保密内容时不宜使用,应在本地环境完成断词处理。
把一段连续书写、没有空格的中文切成一个个词。中文不像英文那样用空格分开词语,所以做词频统计、关键词提取或语料整理前,通常要先把句子断成词,它就是干这一步的。
不需要。它是网页形式的在线服务,打开页面放入文本、执行即可,适合临时用一次或少量文本的处理,不用为偶尔的断词需求专门配一套本地环境。
它是台湾研究机构做的工具,对繁体中文书面语更贴合。简体用词、方言表达、网络流行语和缩写不属于它的常规处理对象,切分结果容易和预期不一致,用之前最好先拿一小段试一下。
它的形态是在网页上手动粘贴文本、读取结果,不是给程序调用的接口。要做每天成百上千条的批量处理,应该改用可编程的分词库或服务,把它的结果当作对照参考更合适。
可以,但前提是切分结果准确。把输出复制到表格或脚本里统计词频是常见用法,只是在统计前建议通读一遍结果,把被切错的专有名词、机构名统一改掉,否则统计出来会混入错误词条。
文本需要粘贴到外部网页上才能完成切分,涉及个人隐私、商业机密或受保密约束的材料不适合放进去。这类内容应该在本地环境里用可本地运行的分词方案处理。