Neologd辞書をついに使った話
アドベント書かなきゃ.....書かなきゃ......
書こう...書こう... ﾄﾞﾝﾄﾞﾝﾄﾞﾝ....
書くぞ！！！書くぞ！！！！！
うおおおおおおおおお！！！！！！！！！！！！！！！
何も思いつかねぇ.....
何も思いつかねぇ.....
3時間かけてクソコラしかできなかった...
この記事はmast20 Advent Calendar 2022の提供によってお送りします。
昨日の記事
体験型VRコンテンツ、夢がありますよね。僕も触れさせてもらいました。
絶対に体験することのできない、より質の高いコンテンツへの没入ができることで、心から好きです。VRホラーとかやってみたいですね。
一生Amazonの欲しいものリストにおいてあります。まさか値上げするとは...
ということで、最近苦戦した"Neologd"について書きたいなって思います。
先に述べると僕は計算機仮想環境クソ雑魚人間なので最適化された情報かどうか、情報の正当性については何も担保できないです。許してください。
- この記事はmast20 Advent Calendar 2022の提供によってお送りします。
Ⅰ. 自然言語って面白いかもしれない
Twitterのツイートだったり、小説の内容、人の会話ログなど、世の中には多くの文字コンテンツが存在しています。pythonを使って何かしてみる際、自然言語処理は手っ取り早くとっつけておススメです。（jupyter上でも楽に処理できることとかなどなど）
pythonなどで文章を扱うときに文章を単語で分けたり、文法的な情報を付与したり、文章を解析する必要があります。自然言語処理の分野では、これを形態素解析と呼んだりします。
コンピュータ上ではMeCabなどのモジュールを使うことで形態素解析を行うことができます。
例えばこんな感じ
こんな感じで文章をバラバラにすることができます。あとはここからワードクラウドを作ったり、学習させたり、サラダに和えたりと色々好き勝手にできます。使い勝手がいいですね。
Ⅱ.辞書って？Neologdって？？
Neologdを端的に説明すると、形態素解析で使う辞書です。
MeCabなどで形態素解析を行うとき、プログラム上では、コンピュータが辞書を参照しながら、文字の区別を行います。辞書の内容を元に、上の画像のように単語をバラバラにすることができます。
ところが、標準的に実装されている辞書では最近の語句に対応していないことが多かったりします。
上野画像の例だと、
という風に
この部分が、「茨木童子」という単語が「茨木」と「童子」というに単語に分かれて登録されています。この他にも、「鬼滅の刃」現代の文化に照らし合わせて形態素解析を行う場合、どこか食い違ったりするため、「なんだかな...」ってなったりします。
そんな"so sad...."に対応した辞書がneologdです。
Neologdはそういった現代日常語をまとめた辞書です。これを使うことで、現代語に対応した処理を楽に行うことができます。（ユーザ辞書に登録する手間が逐一発生しないため、とても便利です。）
容量が重いとか使いにくいとかいろいろあるらしいですが...
そんな便利な辞書なのですが、実は私、Neologdを導入するのにめちゃくちゃ苦戦していて、現在２敗（colab、Windows）しております。
今日は一度腰を据えてNeologdを導入することにして、記事を書いていきます。
Ⅲ.Neologdを使おう！
突然だけど現在AM2:45です！！！！眠い！！！！！
巻きます！！！！！！ごめん！！！！
使用環境
OS : Windows10 ver.21H2
言語：Python3.8.3
jupyter notebook(Jupyter 6.0.3)上で使っていきます。
参考記事
続きを読む落ち穂広いの絵画について
おはようございます、サトーです。
僕は普段あまり絵画を見ないです。見てもわからないので。
が、絵画は素晴らしいと思います。
作品が生まれるのには何かしらの文脈が必ず存在していますが、その文脈を知ったときに「あぁ、こうだったのか」という知見は非常に人生を豊かにすると思います、たぶん。
この文章アホっぽいな
この”落穂拾い”もその一つだと思います。
これは1857年にフランスのミレーによって描かれた油彩作品です。
自分がこの絵の文脈を知る前は、ただ農民が稲を拾っているだけかなと思っていました。
落ち穂を拾っている人たちは貧しい農民、それも生存することに重きをおかなければならないほどの困窮した人です。そのような人たちは、畑からの収穫に十分な利益を期待できない、もしくは畑から自分の稲を収穫できない人たちであります。
旧約聖書（キリスト教の聖書、またはユダヤ教唯一の聖書）の最初の5つの書であるモーセ五書の一書である、「レビ記」（キリスト教の儀式とかの細則について書かれているらしい）には
「畑から穀物を刈り取るときは、その畑の隅まで刈り尽くしてはならない。収穫後の落ち穂を拾い集めてはならない。貧しい者や寄留者のために残しておきなさい。」
と、
申命記にも
「畑で穀物を刈り入れるとき、一束畑に忘れても、取りに戻ってはならない。それは寄留者、孤児、寡婦のものとしなさい。」
と書いてあります。
旅人や寡婦などの人たちのために、畑の稲穂を刈りすぎてはならないと言っています。これは宗教の「社会的弱者を救済する社会福祉としての一面」であると捉えれます。
突然社会福祉とか持ち出してきて意味わからないと思います。
これについて私の宗教観をついでに書きたいです。
私は無宗教（無信仰）です。日本じゃ多数派ですね。神の存在をいないことにしていろいろ考えていきたいです。しかし、宗教には意味があると考えています。科学と法が隆盛する以前、私たちの世界は「教え」によって咀嚼されていました。日本では神道と仏教、諸外国では数多もの宗教があったと思います。それらの宗教が持つ力というのは、別に神や孔子の存在はどうでもよくて、宗教によって認識と社会が形成されたことが素晴らしいのではないかと考えます。
宗教が定める「教え」は哲学を生み、認識を整備し、社会を作り上げたのです。
「落穂拾い」に話を戻します。つまりこの絵画は当時のキリスト教が示す社会福祉制度を表現した絵であった解釈ができます。現在でいう法としての側面を持つキリスト教が示されている絵画であるので、私の記憶に何となく残っているわけです。
別に落ち穂拾いについてあまり調べてないし、宗教を専攻しているわけではないのでこの解釈はうｓｓｓｓｓｓｓっすうすの臼太郎なのです。落穂拾いガチ勢の方がいらしたらぜひご解説ください_(:3」∠)_
余談ですが、下の種まく人の絵画からわかる通り、稲農業って米と違って結構雑にやっているんですかね_(:3」∠)_
アウトプット全くしていない！！！って話
もうこのサイトを見る人はいないだろうな、サトーです。
前回の記事からもう二度と起動しないと思っていたのですが、ある必要性からはてなブログに燃えないゴミを放り投げていきます。
その必要性が....
「なんか書く場所が欲しい」
という必要性です
私は、自分のQOLを上げるためにたまに本を読みます。しかし、読んだ本の内容等を右から左にすぐ忘れてしまい、翌日「読んだ」ことしか覚えてないです。
エビングハウスの忘却曲線をご存知でしょうか、僕は高校生の頃にまぁまぁ聞かされました。
人間は忘れる動物で
20分後には42％忘れる
1時間後には56％忘れる
9時間後には64％忘れる
1日後には67％忘れる
2日後には72％忘れる
6日後には75％忘れる
31日後には79％忘れる
↑画像をどこかのサイトからいただきました。
らしいです。
そりゃ忘れるよな、、と、
また、読んだ（読み流した）だけだとそもそもインプットした記憶への足掛かりすらないせいでさらに忘れやすいと思います。
ので、アウトプットする場を設けて何とか覚えたいなと
自分が覚えるために書くだけなので誰にも見せないし、全然恥ずかしいことも書くし、すべての違法性を全く考慮しません
対戦よろしくお願いします。
【#mast20AdC】放送事故を許さないバケモノがうちにやってきた！？！？
おはようございます。サトーです。
突然ですがみなさんは、遠泳をしたことがありますか？？
僕はないです....。
この記事はmast20 Advent Calendar 2021の提供によってお送りします。
mast20 Advent Calendar 2021って何？？？？
mast20 Advent Calendar とは、僕の同期のメ創生がなんか強そうだったりそうでなかったりいろんなことを書いているイベントである！！！！
下のリンクから詳しいことがわかるからチェケラ！！！！
昨日の記事
注意
お察しの通り、この記事には以下の成分が含まれています
- 劣化版オモコロのノリ
- 執筆者の画力・文章力がカス
- 下ネタが微量
- こんな感じの注意、10年前のMAD・ゆっくり実況動画で死ぬほど見たよね
自己紹介
サトーと申します。男です。
高校の時に放送部で映像かじってました。
4畳もない部屋に監禁されながら撮影～編集（仮編集?白完?まで）をすることに青春を費やしていました。
撮影にはスクランブル交差点前とかでおいてあるようなカメラをよく使ってました。
自己紹介も終わったところで、今日は最近はまっているコストコの商品について書きますか。
mast20AdCに寄稿するアイデアなんて特にないので
???「ちょっと待ってもらおうか」
え、誰？？
「誰？？？？」
「殺す」
「いや殺意高っ」
「君が放送事故起こしすぎたから、地獄から殺して来いって言われているんだよね」
「それで殺されるんだ。殺されるライン低すぎない？？？？」
「罪状多いからね～～、君」
「ちょっとごめんね」
「ふぅ....」
「部屋狭いんでタバコ吸うのやめてもらえます？？」
「いや、殺すのをやめてほしいんですけど」
「そこまで言うならまぁ...君がね、今までしてきた罪をね、懺悔する機会くらいならわたしてもいいかな」
（うぜ～～～～～～～～）「マジすか、やったぁ」
「う～ん、殺されそうな罪....これかな」
「これでどうですか」
「だいぶヤってない？？？....話していいぞ」
「ｳｽ、じゃあ僭越ながら...」
「その時はたしか、委員会の業務で卒業式のDVDを作っていたんすよ」
「そう、あれは高校二年生ぐらい――」
「よし、全部の撮影データをSDカードからHDDへ移動したぞい」
「はぁ...入学式と体育祭の撮影もしなくちゃいけないから、このSDカードは初期化しなきゃいけないんだよね...初期化こぇぇなぁ」
「フォーマットってMS-DOSだっけ、まぁいいか」初期化ﾎﾟﾁｰ
「共用のHDD（ﾊｰﾄﾞﾃﾞｨｽｸ）がカツカツでデータのバックアップ取れないんだよな...後にして、ご飯食べよ～」
～７月上旬～
「卒業式の編集するか～～～」
「自分のポータブルHDD上に適当に作業ディレクトリ作るか～～」
「この時、作業してた場所が実は共用のHDDだったんですよね」
「既存ファイルがある？？去年のファイルかぁ～～～置き換えるか～～～～」置き換えﾎﾟﾁｰ
「今思えば、この時の挙動が謎でしたね...」
「じゃあ共用HDDからデータを持ってくるか～～～」
「」ｶﾁｶﾁ
「」ｶﾁｶﾁ..ｶﾁ...
「...え？？映像がない！？！？！？」
「嘘!?ゴミ箱にもない...ファイル上書き...???」
「...........................................死んだわ俺..............」
「偉い人に死んだ目で「撮影データ消去しちゃいました...」って言ったことあるか？？俺にはある」
「いや、バックアップ用意しとけよ、バカじゃん」
「それを言われると何も言えないすね、ぐぅ」
「結局その後どうなったん？？」
「データ復元ソフトを8000円くらい（自費）で買ったりして、復旧を試みたりしたんですけど、動画の数カットくらいしかサルベージ出来なかったね...」
「撮影カメラのうち２台がSDカードじゃなくて、テープで撮影していたからそれらをもう一度取り込んで、なんとか編集することはできました...。なんとか...。」
「やっぱSDカードっていう文明はダメなんですよ、全部テープにすべき」
「いやバックアップ取れよバカ」
「こんな感じで許してもらえますか？？？」
「う～～～～ん、そうだな」
「５点かな」
「５点？？」
「普通にすごいことしでかしてるから、懺悔ポイント５点あげちゃう」
「この懺悔ポイントが１０点溜まったら今日のところは許してあげよう」
「ポイント制なんだ、懺悔って」
「わかったら次の話題を話すといい」
「次かぁ.....」
「ここら辺とかどうです」
「黒歴史系になったな」
「いいだろう、話すといい」
「私、放送部の業務で全校集会のパソコン操作をしていたんですよ」
「その日って、パワーポイントの操作を頼まれてて、パワポの確認をしていたんですけど」
「体育館がやたらざわざわしていたんですよね」
「文字通り全校集会でデスクトップを晒してて草」
「ちなみに、元のデスクトップがこんな感じで」
「こんな感じになってましたね」
「おっぱいじゃん」
「教師と全校生徒の前でこれを晒したのか...」
「先生からは何も言われなかったけど、めちゃくちゃ恥ずかしかったすね」
「あれ以降、全校集会で使うパソコンの背景は青一色にしました、結構トラウマ」
「これ、懺悔ポイント何点ですか？？」
「う～～ん、２点！！」
「低っ」
「だって、君が恥ずかしいだけじゃん、ポイント的には低いかな」
「納得できねぇ...あと３点か」
「まぁ無難にあと一つ懺悔してくれたらいいかな」
「そしたら出すしかないか...とっておきのモノを...」
「召喚！！！我が深き原罪！！！」
「そのネタずっと擦るじゃん、たぶん２日後に同じ内容の記事書く人いるよ」
「うるさい！！初見の人もいるかもしれないでしょ！！！！」
「そう、忘れもしない。あれは肌寒くなった11月の上旬―――」
「雙峰祭ﾊｲｼﾝｶｲｼｼﾏｼﾀ～」
「配信ﾖｼ!!」ﾖｼ!!ﾎﾟｰｽﾞ
全員「ﾖｼ!!」ﾖｼ!!ﾎﾟｰｽﾞ
「いや～なんとか配信には間に合いましたね～、」
「直前までドタバタしてたけど、とりあえずは安心やね」
「ｽﾈｰ、OBSやっぱ強いっす...配信状況ﾖｼ!!」
「現場ネコでフラグ建てないでね～笑」
全員「ｱﾊﾊﾊwww」
「この時、放送する映像の用意がギリギリ間に合ったので、全員安堵してたんすよね」
「こんな感じでふざけあってましたし」
～１０分後～
「ん、画面が暗くなったね」
「ディスプレイのスリーブですかね、少し見てみます」
（...ん?電源が切れてる...???電源押すか...???）
ビィィィィィｨｨｨｨｨｨｨｨｨｨｨｨ――ッ!!!!!!!!!!!!!
全員「!?」
「何この音!?!?」
「PC落ちた!?」
「再起動は!?」
「出来ない!?」
「電源逝った!?!?」
「買って２カ月のパソコンなのに！？！？」
「ネ部門呼んできます!!」ｻﾞﾜｻﾞﾜ
ｻﾞﾜｻﾞﾜ...ｻﾞﾜｻﾞﾜ...
ｻﾞﾜｻﾞﾜ...
____________________________________
「ってことで配信が落ちまして」
「え、オチは？？」
「ないっすね、最初これをオチにする予定だったし」
「これの原因、ファンへの電源が入ってなかったそうです」
「そのため、CPUがオーバーヒートして強制終了...だとか」
「これは修理に出す予定です。████████許さない」
「なんというか...ドンマイ」
「買って２カ月ぐらいの、動作確認も（APEXで）していたのに、悲しいですね...」
「前言撤回。君同じ事故また起こしそうだね」
「これで懺悔ポイント何点になりましたか？？」
「これで３点あげるから、今回はこれで見逃してやろう」
「やった～～～～～～～～～～」
「これに懲りたら放送事故はしないこと、報連相だいじにね」
「じゃまた」
「そんな感じで帰るんだ」
「...何だったんだあいつ」
「でもいいネタになりそう。AdC記事、これについて書いてみるか～」
「タイトルこんなもんでいいか」ｶﾀｶﾀ
ｺﾝｺﾝ
「誰だろ、は～～～～い」
「キッチンの汚れを許さない名状しがたきモノです。」
「キッチンが散らかっていたので殺しに来ました」
「めちゃくちゃ散らかってて草」
「ちなみに懺悔とかは...」
「ない。殺す。」
「ｿﾝﾅｰ」
「まさにヨゴス・コロース（ヨグ＝ソト―ス）ってね！！！！！」
おわりに
ここまで読んでくれた方、読んでくれてありがt すまんかった
mast20AdCではめちゃくちゃ良い人達がもっと優良でおもしろい記事を書いているので、ぜひ見てくれると嬉しいです。
mast20 Advent Calendar 2021→
じゃあまた、天国で会いましょう（）
Next articles is...
