固有表現抽出(NER)を動かしてみる。(windows, python)。

参考にしたサイト

参考にしたというより、そのまま、動かしただけ。

結果

環境

windows10
python3.7

メモリ都合等。

時間短縮、メモリ節約のため、データを小さくしたり、バッチを小さくしたり、epochを小さくしたりした。

dataset = dataset[:int(len(dataset)*0.3)]

dataloader_train = DataLoader(dataset_train_for_loader, batch_size=4, shuffle=True, pin_memory=True)
dataloader_val = DataLoader(dataset_val_for_loader, batch_size=4, shuffle=True, pin_memory=True)

num_epochs = 1

さらに、以下のcudaをcpuに変更した。

    #encoding = { k: v.cuda() for k, v in encoding.items() }
    encoding = { k: v.cpu() for k, v in encoding.items() }

結果

# 正解 #
[{'name': '大韓航空機爆破事件', 'span': [8, 17], 'type_id': 8}, {'name': 'ボーイング707', 'span': [22, 30], 'type_id': 7}]
# 推論 #
[{'name': '大韓航空機爆破事件', 'span': [8, 17], 'type_id': 8}]
# もとの文章 #
1987年には、大韓航空機爆破事件が発生し、ボーイング707が爆破され搭乗者全員の115人が死亡した。

環境(モジュール）

numpy                             1.21.6

torch                             1.10.2
torchaudio                        0.8.1
torchmetrics                      0.8.0
torchtext                         0.11.2
torchvision                       0.9.1

transformers                      4.21.2

結果を吟味したいので結果を増やします。

dataset = dataset[:int(len(dataset)*0.1)]
num_epochs = 1

##i = 1
for i in range(5):

# 正解 #
[{'name': 'オクラホマ市フィルハーモニー管弦楽団', 'span': [16, 34], 'type_id': 4}]
# 推論 #
[{'name': 'オクラホマ市', 'span': [16, 22], 'type_id': 5}, {'name': 'フィルハーモニー管弦楽', 'span': [22, 33], 'type_id': 8}]
# もとの文章 #
1938年に音楽学校を卒業後は、オクラホマ市フィルハーモニー管弦楽団の首席指揮者となった。
# 正解 #
[{'name': 'アリカンテ', 'span': [0, 5], 'type_id': 5}, {'name': 'トゥロン', 'span': [8, 12], 'type_id': 7}]
# 推論 #
[{'name': 'アリカンテ', 'span': [0, 5], 'type_id': 8}, {'name': 'トゥ', 'span': [8, 10], 'type_id': 7}, {'name': 'ロン', 'span': [10, 12], 'type_id': 8}]
# もとの文章 #
アリカンテ名物のトゥロンには、アラブの菓子の影響が見られる。
# 正解 #
[{'name': '中国', 'span': [3, 5], 'type_id': 5}, {'name': '日本', 'span': [7, 9], 'type_id': 5}, {'name': '鹿地亘', 'span': [16, 19], 'type_id': 1}, {'name': '青山和夫', 'span': [20, 24], 'type_id': 1}]
# 推論 #
[{'name': '中国', 'span': [3, 5], 'type_id': 5}, {'name': '鹿地亘', 'span': [16, 19], 'type_id': 1}, {'name': '青山和夫', 'span': [20, 24], 'type_id': 1}]
# もとの文章 #
また、中国側の日本人工作員である鹿地亘と青山和夫が、プロパガンダに影響を与えた説もある。
# 正解 #
[{'name': '熊井鉄鋼', 'span': [5, 9], 'type_id': 2}, {'name': '雄一', 'span': [30, 32], 'type_id': 1}]
# 推論 #
[{'name': '熊井鉄鋼', 'span': [5, 9], 'type_id': 2}, {'name': '雄一', 'span': [30, 32], 'type_id': 1}]
# もとの文章 #
そんな折、熊井鉄鋼の社長から簡易住宅工法の売込みを受けていた雄一は、それを実現させようと仕事に励み、企画書を上司に提出する。
# 正解 #
[{'name': '小沢', 'span': [0, 2], 'type_id': 1}, {'name': '羽田孜', 'span': [13, 16], 'type_id': 1}, {'name': '杉山憲夫', 'span': [17, 21], 'type_id': 1}, {'name': '熊谷弘', 'span': [22, 25], 'type_id': 1}, {'name': '船田元', 'span': [26, 29], 'type_id': 1}, {'name': '岡田克也', 'span': [30, 34], 'type_id': 1}, {'name': '二階俊博', 'span': [35, 39], 'type_id': 1}, {'name': '野田毅', 'span': [40, 43], 'type_id': 1}, {'name': '扇千景', 'span': [44, 47], 'type_id': 1}, {'name': '小池百合子', 'span': [48, 53], 'type_id': 1}, {'name': '石破茂', 'span': [54, 57], 'type_id': 1}, {'name': '西川太一郎', 'span': [58, 63], 'type_id': 1}, {'name': '高橋嘉信', 'span': [64, 68], 'type_id': 1}, {'name': '渡辺秀央', 'span': [69, 73], 'type_id': 1}, {'name': '大江康弘', 'span': [74, 78], 'type_id': 1}, {'name': '西村眞悟', 'span': [79, 83], 'type_id': 1}, {'name': '藤井裕久', 'span': [84, 88], 'type_id': 1}, {'name': '中塚一宏', 'span': [89, 93], 'type_id': 1}, {'name': '階猛', 'span': [94, 96], 'type_id': 1}, {'name': '黄川田徹', 'span': [97, 101], 'type_id': 1}, {'name': '平野達男', 'span': [102, 106], 'type_id': 1}]
# 推論 #
[{'name': '羽田孜', 'span': [13, 16], 'type_id': 1}, {'name': '杉山憲夫', 'span': [17, 21], 'type_id': 1}, {'name': '熊 谷弘', 'span': [22, 25], 'type_id': 1}, {'name': '船田元', 'span': [26, 29], 'type_id': 1}, {'name': '岡田克也', 'span': [30, 34], 'type_id': 1}, {'name': '二階俊博', 'span': [35, 39], 'type_id': 1}, {'name': '野田毅', 'span': [40, 43], 'type_id': 1}, {'name': '扇千景', 'span': [44, 47], 'type_id': 1}, {'name': '小池百合子', 'span': [48, 53], 'type_id': 1}, {'name': '石破茂', 'span': [54, 57], 'type_id': 1}, {'name': '西川太一郎', 'span': [58, 63], 'type_id': 1}, {'name': '高橋嘉信', 'span': [64, 68], 'type_id': 1}, {'name': '渡辺秀央', 'span': [69, 73], 'type_id': 1}, {'name': '大江康弘', 'span': [74, 78], 'type_id': 1}, {'name': '西村眞悟', 'span': [79, 83], 'type_id': 1}, {'name': '藤井裕久', 'span': [84, 88], 'type_id': 1}, {'name': '中塚一宏', 'span': [89, 93], 'type_id': 1}, {'name': '階猛', 'span': [94, 96], 'type_id': 1}, {'name': '黄川田徹', 'span': [97, 101], 'type_id': 1}, {'name': '平野達男', 'span': [102, 106], 'type_id': 1}]
# もとの文章 #
小沢から離反した者として、羽田孜・杉山憲夫・熊谷弘・船田元・岡田克也・二階俊博・野田毅・扇千景・小池百合子・石破茂・西川太一郎・高橋嘉信・渡辺秀央・大江康弘・西村眞悟・藤井裕久・中塚一宏・階猛・黄川田徹・平野達男らが挙げられる。