'%3e%3cpath%20id='パス_332'%20data-name='パス%20332'%20d='M4,5h8.375'%20transform='translate(-4%20-3.804)'%20fill='none'%20stroke='%23324eb3'%20stroke-linecap='round'%20stroke-linejoin='round'%20stroke-width='1.5'/%3e%3cpath%20id='パス_333'%20data-name='パス%20333'%20d='M7,4c0,5.8,0,8.375.6,9.571'%20transform='translate(-3.411%20-4)'%20fill='none'%20stroke='%23324eb3'%20stroke-linecap='round'%20stroke-linejoin='round'%20stroke-width='1.5'/%3e%3cpath%20id='パス_334'%20data-name='パス%20334'%20d='M11.178,8.6c0,2.735-2.393,5.384-4.187,5.384A2.855,2.855,0,0,1,4,11.589Q4,8,7.589,8c2.393,0,5.982.682,5.982,3.418a3.75,3.75,0,0,1-2.393,3.76'%20transform='translate(-4%20-3.214)'%20fill='none'%20stroke='%23324eb3'%20stroke-linecap='round'%20stroke-linejoin='round'%20stroke-width='1.5'/%3e%3cpath%20id='パス_335'%20data-name='パス%20335'%20d='M12,21.767,16.786,11l4.786,10.767'%20transform='translate(-2.429%20-2.625)'%20fill='none'%20stroke='%23324eb3'%20stroke-linecap='round'%20stroke-linejoin='round'%20stroke-width='1.5'/%3e%3cpath%20id='パス_336'%20data-name='パス%20336'%20d='M20.318,18H12.9'%20transform='translate(-2.252%20-1.251)'%20fill='none'%20stroke='%23324eb3'%20stroke-linecap='round'%20stroke-linejoin='round'%20stroke-width='1.5'/%3e%3c/g%3e%3c/svg%3e){kind=small}
English 2024年度
本部（DX推進センター）
本部（DX推進センター）小規模言語モデルとテキスト感情分析AI
最終更新日：2025年1月30日
アピールポイント
- 皮肉のような「遠回しな表現」に強い
- 文章の校正やフィルタリングに使える
- 手元のPCで動く小規模設計
技術内容
技術の特徴
- 「文脈」と「近接する単語の関係」の両者を明示的に考慮し、より精密な言語理解が可能
- パラメータ数：既存モデル(BERT)の約１／２
.png)
技術の概要
皮肉だとわかりますか？ （既存モデルが識別できなかった皮肉を提案モデルは正しく識別） |
|---|
| この間行った温泉、「この温泉は皮膚病に効きます！」って書いてんのに注意書きには「皮膚疾患の人は入浴しないで」って書いてた。言ってること頭良すぎてびっくりした。 |
| デートでファミレスとか、軽トラとか、マジで好きにしたら良いと思うけれど、「人を試してやってる」感のドヤ顔が透けてるのがワァ～…という感じだし、相当自信家ですごいなあ |
提案モデル（TextConformer）
.png)
既存モデル(BERT)との比較
.png)
学習時間17%短縮、推論時間25%短縮
今後の課題
- 現実にあるタスクに対する継続的な実験
- 学習方法やアーキテクチャの改良による性能向上
- 生成系AIへの応用
企業へのご提案
言語モデルを使用したテキスト分析サービスを始めたい方
ご相談お待ちしております。
PDF資料
研究者情報
- 事業所
- 本部（DX推進センター）
- グループ
- IoT技術グループ
- 担当者
- 大原虎太郎
03-5530-2286
