PMAN - Paper management system: 伊藤, 山本晋一郎, 大久保弘崇, 粕谷英人, 言語モデルの理解促進のためのGPT-2内部構造の視覚化手法の比較, 2024年12月.
Detail of a work
| Tweet | |
| 伊藤, 山本晋一郎, 大久保弘崇, 粕谷英人, "言語モデルの理解促進のためのGPT-2内部構造の視覚化手法の比較," 第22回情報学ワークショップ, 2024年12月. | |
| ID | 317 |
| 分類 | 研究会・全国大会等 |
| タグ | |
| 表題 (title) |
言語モデルの理解促進のためのGPT-2内部構造の視覚化手法の比較 |
| 表題 (英文) |
|
| 著者名 (author) |
伊藤 菜摘,山本晋一郎,大久保弘崇,粕谷英人 |
| 英文著者名 (author) |
,Shinichiro Yamamoto,Hirotaka Ohkubo,Hideto Kasuya |
| 編者名 (editor) |
|
| 編者名 (英文) |
|
| キー (key) |
,Shinichiro Yamamoto,Hirotaka Ohkubo,Hideto Kasuya |
| 書籍・会議録表題 (booktitle) |
第22回情報学ワークショップ |
| 書籍・会議録表題(英文) |
|
| 巻数 (volume) |
|
| 号数 (number) |
|
| ページ範囲 (pages) |
|
| 組織名 (organization) |
|
| 出版元 (publisher) |
|
| 出版元 (英文) |
|
| 出版社住所 (address) |
|
| 刊行月 (month) |
12 |
| 出版年 (year) |
2024 |
| 採択率 (acceptance) |
|
| URL |
|
| 付加情報 (note) |
|
| 注釈 (annote) |
|
| 内容梗概 (abstract) |
現在ChatGPTなどの言語モデルの利用が広まっているが、この言語モデルの内部構造を理解することで、言語モデルをより効果的に活用することができると考えられる。本研究では、すでに提案されているGPT-2モデルの内部構造の可視化手法を調査し、これらを用いることで把握できるGPT-2の内部情報について検討する。また既存手法の拡張として、GPT-2内のTransformerブロックの各レイヤーの出力から予測される、確率の高い上位複数個のnextトークンを表示する機能の追加を提案する。この機能により、GPT-2における最終的なnextトークンの予測過程の視覚的な理解を支援可能となる。 |
| 論文電子ファイル | 利用できません． |
| BiBTeXエントリ |
@inproceedings{id317,
title = {言語モデルの理解促進のためのGPT-2内部構造の視覚化手法の比較},
author = {伊藤 菜摘 and 山本晋一郎 and 大久保弘崇 and 粕谷英人},
booktitle = {第22回情報学ワークショップ},
month = {12},
year = {2024},
}
|