カテゴリー: 研究

Joakim Nivre による ACL Presidential Address を観ました。とてもよかったのでメモ。

• ビデオ: https://vimeo.com/channels/acl2017/234951123
• スライド: https://cl.lingfil.uu.se/~nivre/docs/PresidentialAddressACL2017.pdf

NLPコミュニティーの中で偏見をどうやって排除するか、速度の早い流れの中でどう査読の質を担保するか、特に double-blind の原則を壊す preprint とどう付き合うか、という問題提起を含むトーク。

印象的だったのはResearch questionを持ちましょうという話 (スライドの “Good Science” 以降)。自身が構文解析の研究に対する言語学者の “lots of numbers with small difference” という感想を聞いたという話から始まり、関連する分野の研究者からよく問われるのが Research question は何なのか、という質問であると指摘しています。実験は仮説を検証するために行われるべきで、仮説は “morphological segmentation facilitates syntactic parsing” のように現象についての普遍的な事実を明らかにするものであるべきだと述べています。そういえば京大にいるとき、ミーティングでResearch questionについて何度か指摘されていたけれど、最近やっと意義がわかってきた気がします。

これが2年前のトークか…。現状はよくなっているどころかますます anti-communication & fast research の方向に行っている気がします。

ところで Matilda effect について初めて知りました。最近別のところで女性のプレゼンスは必要以上に認知されてバッシングを受けやすいという話を聞いたところで、今まであまりにもこういう話題に関して無知だったと反省。

COLINGという国際会議で論文を発表してきました。COLINGは隔年で開催される自然言語処理 (NLP) 分野での (たぶん) 2nd tierの会議という位置づけです。NLPの会議はだいたいAssociation for Computational Linguistics (ACL) という団体がホストするのですが、COLINGはICCLという団体の会議です。近年では珍しくそんなに機械学習色が (そこまで) 強くなく、ちょっとユニークなタスクに取り組んでいたり、英語以外の言語に取り組んでいたりと特色を感じます。2年前は大阪での開催で、今年は何十年かぶりのアメリカ開催でした。場所はSanta Feです。

最近、ACL系の会議は過度に機械学習色が強くなっていてよくない、という話を聞きました。ACL系に限りませんが、特に査読の質の低下が問題と考えられています。言語的なところに興味が薄い査読者は、どうしても手法的な新しさや数値の面での改善に観点が偏りがちで、そうするとアルゴリズム的な貢献がある論文が多く採択されることになってしまいます。でも本来は、もっと言語現象に寄り添った論文が出てきたほうが分野全体として発展していくはずです。今年のNLP会議は割と査読フォームに改善の試みがありました。まずは査読者が貢献点を幅広く考慮してきちんと査読結果を書くよう、欄が増えました。また、COLINGでは論文のカテゴリがエンジニアリング論文、評価論文、サーベイ論文、などと明示的に分けられました。Author responseを無視しないように査読者に呼びかける努力もあったみたいです。こうした試みがうまく働くといいと思います。

他には、どの会議に何本通したか、を学位授与の基準にしたりするのはきちんとした機関がやることではない、という話が印象的でした。某国には独自の国際会議番付表があり、Aランクに規定数論文を通さないと博士が取れないそうです。こういうのは自分の大学に権威が無いことを認めることと同じで、情けないことだと聞きました。自分で組織したCommitteeが認めれば研究業績がどうであれ学位授与 (=品質保証) をするのが本来あるべきだということです。僕もまったく同意ですが、世の中は論文数のようなわかりやすい基準を大事にするようになってきている気がします。