Language: 英語 | 日本語 || ログイン |

1 件の該当がありました． : このページのURL : HTML

伊藤, 大久保弘崇, 粕谷英人, 山本晋一郎, "モデルマージを活用した小規模のプログラミング言語特化モデルの作成手法について," 第32回ソフトウェア工学の基礎ワークショップ, 2025年11月.
ID 342
分類 研究会・全国大会等
タグ
表題 (title) モデルマージを活用した小規模のプログラミング言語特化モデルの作成手法について
表題 (英文)
著者名 (author) 伊藤 菜摘,大久保弘崇,粕谷英人,山本晋一郎
英文著者名 (author) ,Hirotaka Ohkubo,Hideto Kasuya,Shinichiro Yamamoto
編者名 (editor)
編者名 (英文)
キー (key) ,Hirotaka Ohkubo,Hideto Kasuya,Shinichiro Yamamoto
書籍・会議録表題 (booktitle) 第32回ソフトウェア工学の基礎ワークショップ
書籍・会議録表題(英文)
巻数 (volume)
号数 (number)
ページ範囲 (pages)
組織名 (organization)
出版元 (publisher)
出版元 (英文)
出版社住所 (address)
刊行月 (month) 11
出版年 (year) 2025
採択率 (acceptance)
URL
付加情報 (note)
注釈 (annote)
内容梗概 (abstract) 近年、大規模言語モデル(LLM)が急速に発展し、ChatGPTをはじめとする大規模かつ汎用的なモデルが広く利用されるようになってきている。プログラミングの分野においても、近年のLLMは高度な推論能力を示している。
しかしこのようなモデルは作成や追加学習、利用のいずれにおいても高いリソースが要求される。さらに内部構造や挙動の理解が困難であるという、ブラックボックス性の課題も抱えている。
そこで、追加学習が容易でローカル環境でも利用可能な小規模モデルを構築することで、ローカルのリソースでモデルを構築・利用することができ、かつ内部構造が理解しやすくなると考える。さらにプログラミングに特化したモデルを効率的に構築するために、モデルマージという手法を活用することで、多言語対応のモデルを構築する際に時間および性能の両面で有効性があると考えた。
本研究では、nanoGPTを基盤に構築したプログラミング言語特化モデルを対象に、複数のモデルマージ手法を比較し、その特性に適した手法を検討した。
論文電子ファイル 利用できません．
BiBTeXエントリ 
@inproceedings{id342,
         title = {モデルマージを活用した小規模のプログラミング言語特化モデルの作成手法について},
        author = {伊藤 菜摘 and 大久保弘崇 and 粕谷英人 and 山本晋一郎},
     booktitle = {第32回ソフトウェア工学の基礎ワークショップ},
         month = {11},
          year = {2025},
}