版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/cskywit/article/details/86641048
本文发表在2015 IEEE International Conference on Bioinformatics and Biomedicine (BTBM)
大多数文字嵌入方法都是通用的，它们以一个单词为基本单元，并根据单词的外部语境学习嵌入。然而，在生物医学文本挖掘中，有许多生物医学实体和句法块包含丰富的域信息，并且词的语义也与这些信息密切相关。因此，本文提出了一个生物医学领域特定的词嵌入模型，通过结合词干，块和实体来训练词嵌入。实验结果表明，在生物医学文本挖掘任务的深度学习方法中，本文的生物医学领域特定词嵌入总体上优于其他通用词嵌入。
整体框架包含三个组件:tokenization,sentence analysis，jointly training of embeddings.：
A.Tokenization
将句子处理为去除了空格括号等特殊字符的原子单位。
B.Text Analysis
词语级别级别采用Skip-gram
词干级别用于识别名词单复数等同词不同编码问题。
句法块级别与词语级别平行，将几个独立连续连续单词组成的具有独立意思的语句视为一个整体。
实体级别和句法块级别的初衷一致，用于更精细的理解生物医学文本。
在文章中使用GENIA Dependency parser (GDep)提取词干、句法块和实体。
C.Jointly Training of Biomedical Embeddings
蓝框中的所有单位，包括单词，词干，块和实体，均使用红色框中的标准目标词进行联合训练。训练采用hierarchical softmax ，
训练过程：
- 从MedLine上下载了5我爱你篇文档进行训练，分别采用CBOW、Skip-gram、gloVe和本文模型输出的词向量输入RBM进行测试。
- 在BioCreative II GM 数据集上进行测试命名实体识别。
通过实验比较本文的模型具有更好的效果。