2024年4月24日: トラットリア レモンガーデン
霧雨っぽい雨の日、やや冷える。雨が軽く風に乗って横から舞い込んでくるので、傘が役に立たず困った。
ランチはオフィス近くの住宅街にあるイタリアン、レモンガーデンさんへ。おすすめメニューになっていたパスタをいただいた。デザートも頼めばよかったかなあ。
同じ日付の日記
2023年4月24日: Transformerのコンテキスト制限
月曜日だが、今週を乗り切ればGWなので頑張りたい。 夜に6月のライブの打ち合わせ。久しぶりにSkypeを使ったらチャットでBing AIが使えるようになっていたので、すこし動かしてみる。 今日の話題として、Transformerはコンテキスト制限が厳しかった (GPT-4も最大3万トークン) のだが、Recurrent Memory Transformerという枠組みでBERTを200万トークンまで拡張する論文が出ていた。GPUメモリを増やさずできると読み取ったが、精度がやや落ちるのと、実行時間は心配。近い将来GPT系にも応用されれば、また用途が一気に広がりそうだ。 流れでarXivを眺めていたら、Transformerへの入門みたいなレビュー？ があった。信頼できそうな所属の人なので、また読んでみたい。