命名實體識別工具,支持BertSoftmax、BertCrf、BertSpa,開箱即用



nerpy實現了BertSoftmax、BertCrf、BertSpan等多種命名實體識別模型,并在標準數據集上比較了各模型的效果。



Evaluation

命名實體識別工具,支持BertSoftmax、BertCrf、BertSpa,開箱即用的圖1



說明:

  • 結果值均使用F1

  • 結果均只用該數據集的train訓練,在test上評估得到的表現,沒用外部數據

  • shibing624/bert4ner-base-chinese模型達到同級別參數量SOTA效果,是用BertSoftmax方法訓練, 運行examples/training_ner_model_file_demo.py代碼可在各中文數據集復現結果

  • shibing624/bert4ner-base-uncased模型是用BertSoftmax方法訓練, 運行examples/training_ner_model_eng_demo.py代碼可在CoNLL-2003英文數據集復現結果

  • 各預訓練模型均可以通過transformers調用,如中文BERT模型:--model_name bert-base-chinese

  • 中文實體識別數據集下載鏈接見下方

  • QPS的GPU測試環境是Tesla V100,顯存32GB

Install

python 3.8+

pip install torch # conda install pytorchpip install -U nerpy

or

pip install torch pip install -r requirements.txt

git clone https://github.com/shibing624/nerpy.git nerpy
登錄后免費查看全文
立即登錄
App下載
技術鄰APP
工程師必備
  • 項目客服
  • 培訓客服
  • 平臺客服

TOP