Loading...
将TensorFlow模型转换为pytorch模型代码：xxx表示模型的路径（当前路径一定要记得是./xxxxxxxx不是/xxxxx）export BERT_BASE_DIR=xxx transformers-cli convert --model_type bert \ --tf_checkpoint $BERT_BASE_DIR/bert_model.ckpt \ --con...
https://zhuanlan.zhihu.com/p/239756522
1. 概述在自然语言中，一个句子通常是由多个词组成、包含形容词、名词、动词等等。如下面的这个句子：Mary had a little lamb 。如何找出每个词对应的词性是问题的重点。这里将探讨如何使用隐马尔可夫模型进行词性标注。隐马尔可夫模型还用于语音识别和语音生成、机器翻译、生物信息学基因识别和计算机视觉人类手势识别，等等。2. HMM模型2.1 定义λ = ( A , B , π ) ...
参考文章：https://zhuanlan.zhihu.com/p/75589452
下面例子的文本输入texts可以是一个list类型，也可以是一个series类型（所以可以也可以用dataframe的某一列）import tensorflow as tf texts = ["你好 我好 你好 你好 你好 我们 大家 都 好 吗 吗 吗 吗 吗", "分词器 训练 文档 训练 文档 文档 你好 我好"] tokenizer = tf...