1111
今日は少し感傷に浸りたいので文章化してます.
11/11 は世間ではポッキーの日, そして私が人生で初めて告白した日であって記憶に残ってます.
部活の同期にも協力してもい環境整えてくれたのに,保留にされて休み明けに振られたことは今でも鮮明に覚えています. その日は上級生が引退する日だったので,教室は狭く,振られた私と振った相手が同じ部活の同じ空間にいる. そして部活内で上級生になる. とまぁ結構心に来た日でしたね.
(ちなみに2回告白して2回振られたのも人生でこの人だけ)
違う高校に行ってからも1年間は接点があったのですがそれっきり接点が切れて終わり.
多分その子は今頃結婚して幸せに暮らしてるんでしょうね. 怖くてFacebookで検索できませんね(苦笑
月日は流れて今. 大学1年の後半以降は恋愛に割く気力というかも湧かず恋愛の仕方を忘れ, 恋とは?と思い始めてた. 今少しずつそういう感情を取り戻そうと努力してるんですけど, 中々報われない. 女の子との接し方をここ4,5年で完全に無くしてしまった.
拗らせてるので恋愛小説とか漫画読んで一人で胸ときめかせてる.
価値観というか波長の合う人とお付き合いしたい...
poem(2)
お久しぶりです. 内定式とか現実実情とかが忙しく,心境の変化もあった10月です. いわゆる, 自分は何を成せば幸せ と言えるのか. です.
以前のpoem(1)では,好きで食って行きたい と思いましたが,現状だと難しい.
今まで歩んで培ってきた現状のスキルセットでは, 他業種へも難しい.
なので当面はデータサイエンティスト/機械学習エンジニアとしての地位を確立していこうと決意した感です.
ただ,根拠もなく私の思ってることとしてどんどん自動化の波がきています.
最近, うちの会社でもDataRobot - 機械学習の自動化でAIの民主化を実現 を導入する話がきています.
DataRobotとは簡単にいうと, データを入力すると様々な手法で様々なパラメータでモデルを作成/出力するシステムのこと.
他にもGoogleの機械学習APIやOSSのライブラリの充実を見ていると次のようなことを思います.
よく,AIが発達したら一番初めに淘汰されるのはAIエンジニアなんて言われてますが,半分は合ってる気もします.
現状, 中間に位置している私が, 近い将来訪れるこの空洞化に対して, 生存本能的にお金を手に入れるには上の層に行くことを目指すか/他のスキルセットも手に入れることだと思ってます.
→ならなんで私は,「データサイエンティスト/機械学習エンジニアとしての地位を確立していこう」と思ったのかというと. 今最大限出せるパフォーマンスとやっていて楽しい点, あとは現場は案外データ分析屋さんが不足している(分析をしていると勘違いしている人はいっぱいいるけど). ことを考慮した中での考えですね.
ただ, この辺りはもう少し自分なりの答えを探して,またどこかで書きたいです. 自分の中でもまだ絶対この方向というわけではないです.
とりあえず最近kaggleの楽しさを認識しました.
お金を手に入れる話とは別に何を成せば あなたは「幸せ」なんですか? と言われます. 幸福とは何か. 高校時代に幸福論を読む授業があったのに寝てた罰ですかね. 今になって幸福のことを必死に考えている自分がいます.
- 結婚すること?
- お金をたくさん稼ぐこと?
- やりたいことができること?
- 夢を達成すること?
- 認められること?
研究室では博士課程進学の話も出ています. 私の場合は(会社が可能ならば)社会人博士も割とありだなって思ってます.
ただ, 博士課程進むならば探求したい大きなゴールがなければいけません.
今の私は空っぽ. 今まで培ってきた経験や知恵の壺に穴でも空いたかのように何も残ってない.
博士課程行く人はみんな何かしら解き明かしたい目的を持っていると考えてるし. もし進学するならその辺りをしっかりしたい.
終わりに, 悩んでもしょうがない. 受験時代にも言われたが悩んでる暇あったら手を動かせ,行動しろ そしたら見えて来るものがあるはずだ.
その言葉のように, とりあえず手と頭を動かし, いろんな人に相談してみようと思います.
9月総括
お久しぶりです．9月は調子乗って予定に忙殺されてました．
修士研究も仕事もしっかり分けて両方やらないといけないし，私生活も充実させていこうと思います．
過去に引っ張られすぎるな．今を見なければ
今まで観たアニメを列挙してみたら550以上合って(´･ω･｀)
そして，可視化するとクールごとに見るのがアニメよりアニメ映画の方にシフトしてたことに気づく．
gabdro (gabdro)が見たアニメ | Annict
9月は，君の膵臓を食べたいを見て良かった．．あれから住野よる先生の作品 読むようになったのでいつか感想書きたいな．．アニメ映画観たあとに小説観て補完できたのがすごく良かった😭
あとは友人といった月1恒例の寿司屋が半端なく良かった．．
友人に寿司バッチと誕プレいただきました👏
寿司会缶バッジ pic.twitter.com/YTvvkGSDGT
— なりたし (@NRT_Nn) September 28, 2018
最近改めてやっぱり名前を呼んでくれるのは嬉しいですね．
次の記事はやっていることについて書ければと思います．
YouTube Live で放送中のチャット取得の手法
今日はYouTube Live のAPIについて調べたよ.
効率的に取得できるようになったらYouTube liveのコメント利用して何かしたいよ..
YouTube Live で放送中のチャット取得の手法
基本的には, メモ帳 | Youtube LiveStreaming APIで配信のコメントを取得する の記事を読めばできると思う. ただしchatidの取得で少しつまづいたのでここに記録しておく.
(後々, Youtube Live 放送終了後の動画でチャットを見たかったが Youtube API を使っても見れない - star__hoshi's diary を読んだ. まさに同じことがやりたかったけどできないぽい..)
本当はやりたいこと: 放送終了後YouTubeのチャットのリプレイを取得したい → 多分無理
なので, まずはリアルタイムで放送しているYouTube liveのコメント取得について書く.
まず,https://www.googleapis.com/youtube/v3/videos?part=liveStreamingDetails&id=xxxxxx を叩いて
liveStreamingDetails.activeLiveChatIdからChatIdを取得する.
この際にリアルタイムで行われている場合には, activeLiveChatIdというChatIdが取得できる.
[{'etag': '"XI7nbFXulYBIpL0ayR_gDh3eu1k/lg5PCSBfPU3oLaHomBP10wW4Z1U"',
'id': 'T-EKwzauGyk',
'kind': 'youtube#video',
'liveStreamingDetails': {'activeLiveChatId': 'Cg0KC1QtRUt3emF1R3lr',
'actualStartTime': '2018-08-27T05:58:52.298Z',
'concurrentViewers': '2913',
'scheduledStartTime': '2018-08-27T06:00:00.000Z'}}]
一方で, すでに放送が終わっている場合には, actualEndTimeが返ってくる.
[{'etag': '"XI7nbFXulYBIpL0ayR_gDh3eu1k/pbvrzUQdCep-jOC90vteJxSDJGw"',
'id': 'JnrlKBWY2Lo',
'kind': 'youtube#video',
'liveStreamingDetails': {'actualEndTime': '2018-07-05T10:29:47.000Z',
'actualStartTime': '2018-07-05T10:00:55.000Z',
'scheduledStartTime': '2018-07-05T10:00:00.000Z'}}]
ちなみに, 動画(≠アーカイブ)の場合には以下のような結果が返ってくる
[{'etag': '"XI7nbFXulYBIpL0ayR_gDh3eu1k/lBlb0E3FUGTfvTWXg04QHRMVkRw"',
'id': 'M8MzPSYuDlo',
'kind': 'youtube#video'}]
次に先ほど取得したactiveLiveChatIdを含めて
https://www.googleapis.com/youtube/v3/liveChat/messages?part=snippet,authorDetails&liveChatId=xxxxxx を叩くとチャットを取得できるぜ.
放送終了後のチャットを取得できるかについて
まさにやりたいことはここから..
APIで取得できない..
リプレイの場合, webで確認してみると get_live_chat_replay?continuation=xxxxxxxxxxx.jsonで一定間隔でチャットを取得してることがわかった.
ここでcontinuationを知る方法について調査なう.
videoIdから一番初めのcontinuationの値を知ることができたらあとは芋づる式に取得することができる.
get_live_chat_replay?continuation=xxxxxxxxxxx.jsonには次に取得するcontinuationの値が含まれているから...
弾幕コメント(1)
今日は弾幕コメント(時間同期コメント)について書くぞ.
はじめに
動画の画面上に弾丸のようにコメントが流れることからこういう名前がついたらしい.
論文上におけるbullet-screen comments は, 従来の弾幕コメントとは意味合いが少し異なり*2, 厳密には時間同期コメント(time-sync comments)の方が正しい.
動画のフレームの時間に対応したコメントのことを指す.(なので, 配信プラットフォームにおけるコメントも該当する.)
研究における弾幕コメントの応用性
弾幕コメントには, 既存のデータでは解決が難しかった動画の要約や ハイライトの自動生成,フレームごとのメタの自動付与などの精度向上に貢献する可能性がある.
その理由として, 弾幕コメントは1フレーム(ショット)に複数の情報が含まれている点が挙げられる.
弾幕コメントを用いた研究論文の紹介(例)
ニコニコ動画におけるコメントを入手する際には, ニコニコ動画APIを叩くもしくは,NIIによって提供されているデータセット*3を利用することだろう.
このNIIのコメントデータセットを用いた研究リストとしては, 私もインターンさせていただいたDwango Media Village *4 を参考にすると良い👀.
今回は私の手元からすぐ出てきた論文について一部概要を紹介する. 詳細については別途紹介予定.
[1]
Video Highlights Detection and Summarization with Lag-Calibration based on Concept-Emotion Mapping of Crowd-sourced Time-Sync Comments
https://arxiv.org/pdf/1708.02210.pdf
概要: 時間に同期したコメント (ニコニコ動画, 哔哩哔哩,etc フレームごとのコメント)を用いた動画ハイライト検出
コメントにはラグがあるので, そのラグを修正するために語彙的連鎖とLag-Calibrationを導入した点が新規性
[2]
ニコニコ動画におけるスラングの感情極性辞書構築
http://db-event.jpn.org/deim2017/papers/352.pdf
概要: ニコニコ動画における特有の隠語，略語，俗語（スラング）の感情極性辞書の構築手法を提案.
シーンごとのコメントの感情を既存の感情極性辞書から予測し,そのコメント集合の多数決でシーンに感情ラベルを付与する. その後シーンに含まれている未知語に対してシーンにおける感情ラベルと同じラベルを付与する.
[3]
Natural Language Processing in “Bullet Screen” Application
https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7996219
[4]
Live Video Comment Generation Based on Surrounding Frames and Live Comments
https://arxiv.org/pdf/1808.04091.pdf
概要: コメントを自動生成しようぜ. 新規性は特になし.
2,3年前にドワンゴでも同じ取り組みっぽいことしてたり,*5ハッカソン*6とかもやってた.
可能性
近年, 弾幕コメントを用いた研究は, Danmu, bilibiliなどのデータセットを利用したケースが多く発表されている.
日本でもニコニコ動画のデータセットを利用した研究で年に数件発表されている.
最近では, 多くのライブストリーミングサービスがコメント機能を導入している. チャットもある種の弾幕コメント捉えることができるので同様に可能性を秘めている. しかし, あまりにもノイズ性やハイコンテキストの高さなども壁も高く, 現状では全てのコメントを利用せずにある程度間引いて利用することが多い.
終わりに
なんだかんだで, 中学生からニコニコ動画を筆頭に配信動画サービスを利用している身としてはコメントやチャットがないと見れない体質になってしまった. そのコメントやチャットには可能性が秘められているのでぜひ有効活用したい.
(2)では, コメントを利用して何か"やってみた記事"を書いていくぞ(⁰▿⁰)
カメイドを見て
*2:ニコニコ動画で「弾幕」と言えば、動画が同じようなコメントで埋め尽くされる状態を指す: 弾幕とは (ダンマクとは) [単語記事] - ニコニコ大百科
*4:Dwango Media Village: https://dmv.nico/ja/nico-opendata
poem(1)
はじめに
学生最後の夏が終わって来年度からは社会人なんだけどやっていく自信が正直ない.
それは成長し続けれるかという不安と会社に見合うだけの人材であり続けられるかだ.
今も週4ぐらいで内定先の会社で働いている.(実務2割, 研究8割) 来年はその会社でのバランス(実務8割, 研究2割)になると思われる.
会社での役職はデータサイエンティスト(仮)だ. アルバイトだけど.
データを分析するのが好きというわけではない. 実際, 内定を受諾した理由も好きなドメインだったからという理由だけである.
その際に, たまたま大学の専門がデータ分析だったのでデータ分析部署に決まったということだ.(内々)
(まだ交渉してないけれど,データ分析(BI/DS)だけでなくもっと実問題解決にも取り組みたい.)
今いる会社は, ドメインに携わる他の役職の人も近くにいる環境であり, 社風として他の役職に行くことも不可能ではないと聞いている.
私もゆくゆくデータ分析でなくそういった職も体験していき一通り網羅したいと考えている.
前述した通りデータ分析が楽しいわけではないからだ.
昔
私が本格的に機械学習に興味を持ったのは, kivantiumさんのご注文はDeep Learningですか？ - kivantium活動日記の記事とUsageeのサイト画像解析できるマン:株式会社ウサギィだと思われる.
特にkivantiumさんのアニメ画像キャラ分類は今でこそpopularネタだがその当時は新鮮で私も記事読んでやりたいって思ったのを今でも覚えてます.
そこからは,Usageeさんにアポ取ってお話聞いたり, コミケで「声優統計」や「SIG2D」読んで自分の好きなデータに対して分析なり解析をしていました.(学部2-3年ぐらい)
今にして思うと,技術に対して興味関心があるというよりその技術を用いて好きなタスクや成し遂げたい目標を解くことが好きだったのかもしれない. だから道具自体に,とても興味関心があるわけではない.(少しはある)
どちらかというとその道具を使って何ができる(できそう)のか, どれぐらい精度が上がったのか とかそういう方向に興味関心があったりします.
私が掲げる目標に学会などで発表される研究論文を実務に利用する架け橋をしたい があります.
一方で私は,自分の興味ないことにはとことん興味もなくやる気も起きない という性質をもっている.
つまり, 実務であっても興味関心がないとおそらく異常なほど作業効率が下がると思います.
今
研究を職にするのは怖かった.
研究は嫌いでないけど進捗/成果を出し続けれるハードルは実務と比べてかなり高いと私は考える.
つまり自信がないのだ.
だから, 私は就職活動をしたのである.
一年ぐらい前から私はずっと「機械学習」は真ん中が空洞になって「超できるやつ」と「やってみた」になると思っている.
それはGoogleやAmazonなどの企業の機械学習APIの充実ぶりが半端ないからだ.
真ん中にいた連中がやらずともAPIがなんとかしてくれるから そういう未来がくる.
「超できるやつ」になればいいのだが, 私はそこまで興味関心があるわけではない.
そう思った時に, 特定分野に固執せずに様々な分野,領域について知り理解しなければならないと考えました.
おそらく, 私の就職後3年間のロードマップは複数分野/領域の挑戦と失敗になる. そして何か見つかればいいなと..
思うこと
前述では, ドメイン知識に関することを広く知識として取り入れ携わりたいと書いたが,それは本当だろうか? 一過性ではないのか? なら, 私は何が好きなのか. 何を成したいのか. そう考えるうちに今年の夏が終わる.
エンジニアなんて目酷使するからずっとはやりたくない. てか目痛い
TARITARIの合唱バトじゃないけど, 私の相方を見つけて喫茶店x????で何かやりたい.
