Data structuring of electronic health records —— a systematic review

重点信息

文本生成参考指标：词嵌入相似度

参考信息

Bing：

• 将一段自然语言进行结构化，有哪些指标可以检验结构化程度和准确度？

  在自然语言处理（NLP）中，有多种指标可以用来评估模型的性能，包括结构化程度和准确度。以下是一些常见的评估指标：

  1. 准确率（Accuracy）：这是最直观的评估指标，表示模型预测正确的样本数占总样本数的比例1。
  2. 精确度（Precision）：也称为查准率，表示被模型预测为正类并且预测正确的样本数占模型预测为正类的样本数的比例1。
  3. 召回率（Recall）：也称为查全率，表示被模型预测为正类并且预测正确的样本数占真正的正类样本数的比例1。
  4. F1分数（F1 Score）：这是精确度和召回率的调和平均数，可以在精确度和召回率之间取得平衡1。
  5. 词嵌入相似度（Embedding Similarity）：例如BERTScore和BLEURT，这些基于词嵌入的自动评估方法与人类评分具有更高的相关性，相比于基于词重叠的指标（如BLEU和ROUGE）23。
  6. 混淆矩阵（Confusion Matrix）：这是一个表格，用于描述分类模型的性能。它显示了模型对每个类别的预测结果与实际结果的对比1。
  7. ROC曲线和AUC值：ROC曲线下的面积（AUC）是一种常用的评估分类模型性能的指标。ROC曲线描绘了在不同阈值下模型的真正例率（TPR）和假正例率（FPR），而AUC值则衡量了模型区分正负样本能力的整体性能1。

  以上这些指标可以帮助你评估模型在结构化自然语言方面的性能。但是，请注意，适合你项目的最佳指标可能会根据你的具体需求和目标而变化。

• 介绍一下基于词重叠的指标

  基于词重叠的指标是一种评估自然语言处理模型性能的方法，主要用于评估生成的文本与参考文本之间的相似度123。以下是一些常见的基于词重叠的指标：

  1. BLEU（BiLingual Evaluation Understudy）：BLEU是一种广泛使用的自动评估指标，主要用于机器翻译和文本生成任务123。它通过计算n元词组（n-gram）在生成的文本和参考文本之间的精确匹配来评估模型的性能123。
  2. ROUGE（Recall-Oriented Understudy for Gisting Evaluation）：ROUGE是一种常用于自动摘要任务的评估指标123。它包括多种不同的评估方法，如ROUGE-N（计算n元词组的召回率）、ROUGE-L（计算最长公共子序列）等123。
  3. Answerability：Answerability是一种用于问答任务的评估指标3。它通过计算问题的答案在生成的文本中出现的频率来评估模型的性能3。

  这些指标都有各自的优点和缺点，适合你项目的最佳指标可能会根据你的具体需求和目标而变化。希望这个信息对你有所帮助！如果你有任何其他问题或需要进一步的帮助，请随时向我询问！

Completeness of the structuring

LSTM-CRF最多，BERT、CNN其次

英文任务最多，其他较少