您现在的位置是：课程教程文章

python中文生僻字的识别

2023-12-13 23:37课程教程文章人已围观

课程介绍: 1、 python中文生僻字的识别课程推荐; 2、 python中文生僻字的识别课程专题

问题点

本来考虑用正则来判断中文，因为网上发现正则的匹配中文是[\u4e00-\u9fa5]。接着代码都快写完了，发现有些生僻字不再在这个范围内。

识别方法

在utf-8字符编码下，一个中文字符占3个字节，但字符的长度只有1。

1、分析中文的方法是否可以灵活为len(bytes(str,'utf-8)==3 and len(string)==1。

2、文本写作判断中文后，如果是汉字str.ljust(5)，否则为str.ljust(6)。

因为一个汉字占两个字符的长度。

实例

frompypinyinimportpinyin
importre


classChangePinyin:
def__init__(self,filename):
self.file=filename
self.lyric=self.read_file()
self.pinyin=[]

defread_file(self):
withopen(self.file,encoding='utf-8')asf:
returnf.readlines()

defwrite_file(self):
withopen('New_%s'%self.file,'w',encoding='utf-8')asf:
print(self.lyric)
forlineinself.lyric:
#print(line)
ifline.strip()=='':
continue
_new_line=re.sub(r'\s','',line)
#行内容转拼音
_pinyin=''.join(map(lambdax:x[0].ljust(6),pinyin(_new_line)))
#根据中英文,将行内容进行字符与汉字的拆分
_lyric=self.split_words(_new_line)
f.write('%s\n%s\n'%(_pinyin,_lyric))

@staticmethod
defsplit_words(words):
word_list=""
tmp=""
forstringinwords:
iflen(bytes(string,'utf-8'))==3andlen(string)==1:
iftmp!='':
word_list+=tmp.ljust(6)
tmp=""
word_list+=string.ljust(5)
else:
tmp+=string
returnword_list


if__name__=='__main__':
Main=ChangePinyin('lyric.txt')
Main.write_file()

以上就是python中文生僻字的识别，希望对大家有所帮助。更多Python学习指路：python基础教程

本文教程操作环境：windows7系统、Python 3.9.1，DELL G3电脑。

课程教程：python中文生僻字的识别