弾幕コメント(1)
今日は弾幕コメント(時間同期コメント)について書くぞ.
はじめに
動画の画面上に弾丸のようにコメントが流れることからこういう名前がついたらしい.
論文上におけるbullet-screen comments は, 従来の弾幕コメントとは意味合いが少し異なり*2, 厳密には時間同期コメント(time-sync comments)の方が正しい.
動画のフレームの時間に対応したコメントのことを指す.(なので, 配信プラットフォームにおけるコメントも該当する.)
研究における弾幕コメントの応用性
弾幕コメントには, 既存のデータでは解決が難しかった動画の要約や ハイライトの自動生成,フレームごとのメタの自動付与などの精度向上に貢献する可能性がある.
その理由として, 弾幕コメントは1フレーム(ショット)に複数の情報が含まれている点が挙げられる.
弾幕コメントを用いた研究論文の紹介(例)
ニコニコ動画におけるコメントを入手する際には, ニコニコ動画APIを叩くもしくは,NIIによって提供されているデータセット*3を利用することだろう.
このNIIのコメントデータセットを用いた研究リストとしては, 私もインターンさせていただいたDwango Media Village *4 を参考にすると良い👀.
今回は私の手元からすぐ出てきた論文について一部概要を紹介する. 詳細については別途紹介予定.
[1]
Video Highlights Detection and Summarization with Lag-Calibration based on Concept-Emotion Mapping of Crowd-sourced Time-Sync Comments
https://arxiv.org/pdf/1708.02210.pdf
概要: 時間に同期したコメント (ニコニコ動画, 哔哩哔哩,etc フレームごとのコメント)を用いた動画ハイライト検出
コメントにはラグがあるので, そのラグを修正するために語彙的連鎖とLag-Calibrationを導入した点が新規性
[2]
ニコニコ動画におけるスラングの感情極性辞書構築
http://db-event.jpn.org/deim2017/papers/352.pdf
概要: ニコニコ動画における特有の隠語，略語，俗語（スラング）の感情極性辞書の構築手法を提案.
シーンごとのコメントの感情を既存の感情極性辞書から予測し,そのコメント集合の多数決でシーンに感情ラベルを付与する. その後シーンに含まれている未知語に対してシーンにおける感情ラベルと同じラベルを付与する.
[3]
Natural Language Processing in “Bullet Screen” Application
https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7996219
[4]
Live Video Comment Generation Based on Surrounding Frames and Live Comments
https://arxiv.org/pdf/1808.04091.pdf
概要: コメントを自動生成しようぜ. 新規性は特になし.
2,3年前にドワンゴでも同じ取り組みっぽいことしてたり,*5ハッカソン*6とかもやってた.
可能性
近年, 弾幕コメントを用いた研究は, Danmu, bilibiliなどのデータセットを利用したケースが多く発表されている.
日本でもニコニコ動画のデータセットを利用した研究で年に数件発表されている.
最近では, 多くのライブストリーミングサービスがコメント機能を導入している. チャットもある種の弾幕コメント捉えることができるので同様に可能性を秘めている. しかし, あまりにもノイズ性やハイコンテキストの高さなども壁も高く, 現状では全てのコメントを利用せずにある程度間引いて利用することが多い.
終わりに
なんだかんだで, 中学生からニコニコ動画を筆頭に配信動画サービスを利用している身としてはコメントやチャットがないと見れない体質になってしまった. そのコメントやチャットには可能性が秘められているのでぜひ有効活用したい.
(2)では, コメントを利用して何か"やってみた記事"を書いていくぞ(⁰▿⁰)
カメイドを見て
*2:ニコニコ動画で「弾幕」と言えば、動画が同じようなコメントで埋め尽くされる状態を指す: 弾幕とは (ダンマクとは) [単語記事] - ニコニコ大百科
*4:Dwango Media Village: https://dmv.nico/ja/nico-opendata
