実際のところ、お前らはどれだけ草を生やしてるのか調べてみた。


ニコニコ動画のメタデータが公開された。

研究用にニコニコ動画のコメント約300GBを公開

中にはコメントのデータも含まれているので、こいつは格好の遊び……コーパスとして非常に優秀だろうと思って、形態素解析に突っ込む準備をしていた。

その過程で、どこのまとめブログだったか忘れたけど、こんな意見があったのを見た。

どうせ300Gのうちほとんどは「w」とかなんだろうな。

確かに。分からんでも無いくらいお前らは草を生やしている。だが、実際のところはどうなんだろうかと思ったので、実際に数えてみた。

検証用のコード

どう考えても全部のコメントを数えるのはアレというか、その時間を形態素解析の方に使いたいので、対象のコメントが入ったメタ情報ファイルを適当に選んで、100,000件分ぶん回し、「お前らの草生やし率」としてみた。(途中からほとんど確率が変わらなくなったので、残りを全部チェックしてもあまり変わらないと思う)

計算結果は、次の通り。上のコードでは1000ごとに出しているが、冗長なので10000ごとの出力だけ。

10000 Files : 26163690 / 130243514
20.0882863157393 %
20000 Files : 41760162 / 200956931
20.7806527459359 %
30000 Files : 56667642 / 279485995
20.2756642600285 %
40000 Files : 68407550 / 344193285
19.8747485733198 %
50000 Files : 79277398 / 397503488
19.9438244929312 %
60000 Files : 88432758 / 439688700
20.1125837439079 %
70000 Files : 94352123 / 467555733
20.1798665572132 %
80000 Files : 98566107 / 487969232
20.1992462918236 %
90000 Files : 102673266 / 507733873
20.2218665052509 %
100000 Files : 105534903 / 524719631
20.1126271565014 %

結論:お前らは口を開けば5回に1回は草を生やしてる


この記事はPerl, プログラミングに投稿されました タグ: , , , . このパーマリンクをブックマークする。 コメントを投稿するか、トラックバックをどうぞ: トラックバック URL.

コメントする

あなたのメールは 絶対に 公開されたり共有されたりしません。 * が付いている欄は必須項目です

次の HTML タグと属性が使用できます: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code class="" title="" data-url=""> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong> <pre class="" title="" data-url=""> <span class="" title="" data-url="">

*
*