2015年4月28日火曜日

[火曜討論会2015]Nature Podcast(2014/10/30) Cites for sore eyes

担当:安澤
参加者:9人

概要

被引用数が最も多い論文の集計結果。トップを占めるタンパク質質量解 析手法の論文のように生物学における実験手法に関する論文が多く、ノーベル賞の対象となったような有名論文はトップ 100にない。被引用数が論文の重要度を表す全てではない。

議論

引用数を用いない、論文のより良い評価方法について

○どのような評価方法や指標が考えられるだろうか
  • 論文が読まれた数
    • オンラインであれば閲覧数・ダウンロード数・コメント数など
    • ただし過去の論文では使えない指標
  • 有用性を定量できないか
    • ジャーナルを評価する(インパクトファクター)
    • 研究者・研究機関を評価する
      • 論文集合にすることで評価が楽になる可能性
    • レビューをつける
      • SNSのようなサービス
        • 読書メーターのような論文メーターがあったら
        • CiteULike: 論文のソーシャルブックマーク
        • いいねボタン
      • 査読内容はオープンにならないのか?(難しい)
  • ある研究(者)が与えた影響の定量
    • どのような文脈で引用されたか
      • イントロでの引用はあまり重要ではなさそう
  • 再現の困難さを定量化
    •  GigaScienceのようなデータセットを共に提出するジャーナルなら可能?
  • タグから推測
    • MeSH Termなど
    • 今までにないタグの組み合わせを新しいジャンルや研究として検出?
◯そもそも価値のある論文とは?
  • 新しい発見(そもそも新規性がないと論文ではないのでは…) 
  • 面白いかどうか
  • 難問の解決
    • こういった観点から定量化できれば…
◯引用数からは何が解るだろうか
  • 同じニュアンスで引用が用いられていない一方、分野横断的に使える指標が引用数しかないという問題
    • ジャンルごとに重み付けなど
    • 引用先ごとに重み付け
  • 他分野で有用な指標があれば便利
 ◯機械学習の利用
  • 機械学習で重要な論文をみつけられないか
  • そもそも論文のレビューを(半)自動化できないだろうか

まとめ

引用数という指標の不十分さは判りつつも、現状で論文の重要度を担保している他の要素は主にどのジャーナルに掲載されたか、という印象。定量化の難しさはあるが、webサービスや機械学習の応用が進む中で新たな指標の出現に期待したい。

0 件のコメント:

コメントを投稿