概要
僕自身が精神的に追い込まれると何も進捗を生やせなくなるアイドルオタクになる。しかし、怠惰なオタクはいちいちアイドルの意味のない文章を全て読んでいるわけにはいきません。要約する。
前回
アイドルのホームページから画像を自動で取得するオタク気持ち悪い() - じゃあ、おうちで学べる
Multi-document Summarization
複数文書要約とは、同じトピックについて書かれた複数のテキストから情報を抽出することを目的とした自動手続きである。その結果、簡潔で包括的な情報レポートを作成します。大きな文書クラスタに含まれる情報をすばやく理解することができます。非常に大きな文書であっても、単一の文書を要約するよりはるかに複雑であります。この難しさは、大量の文書内での必然的なテーマの多様性から生じる。優れた要約技術は、主要テーマを完全性、可読性、および簡潔さと組み合わせることを目指しています。しかし、今回は複雑さを避けるために単一文章(Document Summarization)について考えます。
Basic Summarization Model
A Study on Position Information in Document Summarizationの3章で紹介されている。Basic Summarization Modelとは位置情報を適用するための単語ベースの要約モデルを提案する。このシステムは、最も顕著な文章を選択することによってターゲット要約を構成する典型的な抽出スタイルに従います。最初の文は最も重要であり、終わりに近づくにつれて文の重要度は減少していく、というsentence position hypothesisに基づいてスコア付けされます。今回はこちらを使います。
要約する文章
タイトル
けやかけのお話し⌄̈⃝
本文
[著作権を配慮して削除予定]
実装
#!/usr/bin/env python3 # -*- coding: utf-8 -*- import MeCab as mc import numpy as np m = mc.Tagger("-Ochasen") def mecab_senter(text): if type(text) is bytes: text = text.decode("cp932") node = m.parseToNode(text) sentences = [] sentence = [] while node: sentence.append(node.surface) if node.surface in ["(笑)","☆","!","♡","♪","。"]: sentences.append(sentence) sentence = [] node = node.next return sentences def get_freqdict(sentences): freqdict = {} N = 0 for sentence in sentences: for word in sentence: freqdict.setdefault(word, 0.) freqdict[word] += 1 N += 1 return freqdict def score(sentence, freqdict): return np.sum([np.log(freqdict[word]) for word in sentence]) / len(sentence) def direct_proportion(i, n): return float(n-i+1)/n def inverse_proportion(i, n): return 1.0 / i def geometric_sequence(i, n): return 0.5 ** (i-1) def inverse_entropy(p): if p == 1.0 or 0.0: return 1.0 return 1-(-p*np.log(p) - (1-p)*np.log(1-p)) def inverse_entropy_proportion(i, n): p = i / n return inverse_entropy(p) def summarize(text, limit=100, **options): sentences = mecab_senter(text) freqdict = get_freqdict(sentences) if options["m"] == 0: scores = [score(sentence, freqdict) for sentence in sentences] if options["m"] == 1: if options["f"] == 0: word_features = direct_proportion elif options["f"] == 1: word_features = inverse_proportion elif options["f"] == 2: word_features = geometric_sequence elif options["f"] == 4: word_features = inverse_entropy_proportion scores = [] feature_dict = {} for sentence in sentences: sent_score = 0.0 for word in sentence: feature_dict.setdefault(word, 0.0) feature_dict[word] += 1 sent_score += np.log(freqdict[word]) * word_features(feature_dict[word], freqdict[word]) sent_score /= len(sentence) scores.append(sent_score) topics = [] length = 0 for index in sorted(range(len(scores)), key=lambda k: scores[k], reverse=True): length += len(sentences[index]) if length > limit: break topics.append(index) topics = sorted(topics) return "".join(["".join(sentences[topic]) for topic in topics]) def main(): blog_title = u"けやかけのお話し.txt" blog_text = open(blog_title, encoding='utf-8').read().replace('\n','').replace('\r','') print("タイトル") print(blog_title) print("本文") print(blog_text) print("#####################################") print("basic summarization model") print(summarize(blog_text, m=0)) print("#####################################") print("using word position feature and direct proportion") print(summarize(blog_text,m=1,f=0)) print("#####################################") print("using word position feature and inverse proportion") print(summarize(blog_text, m=1, f=1)) print("#####################################") print("using word position feature and Geometric sequence") print(summarize(blog_text, m=1, f=2)) print("#####################################") if __name__ == '__main__': main()
出力
タイトル けやかけのお話し.txt 本文 こんばんは☆今日は紅白歌合戦さんのリハーサルに行って参りました!ドキドキでしたが、やっと出させていただけるという実感が湧きました!本番まであと2日です!みんなで力を合わせて練習していきます!あと2日で1年が終わってしまうなんて、、、早すぎます( ºΔº )残りの2016年、大切に過ごしたいと思います!*☼*―――――*☼*―――――先日の｢欅って書けない?｣では没アンケートなどを供養する企画でした!私はパパラッチ企画で手鏡をレフ板替わりにして自撮りしていた所をまなかに隠し撮りされてしまいました( ºΔº )恥ずかしいー(´•ω•̥`)実は現在発売中の｢B.L.T. 2月号｣さんに欅坂46が掲載させていただいていて、その撮影中のひとコマでした!窓から光が入ってきたから、もしかしたら反射するかなって思ったけれど、あまり変わりませんでした(笑)B.L.T.さんは撮影中、くす玉で紅白出場のお祝いをしてくださいました!!とーっても嬉しかったです✧ \( °∀° )/ ✧ありがとうございました!盛りだくさんの内容になっていますのでまだ読んでいないという方はぜひ手に取ってみてくださいね♡ねるが私にバースデーソングを歌ってくれていた動画も紹介されましたね⌄̈⃝HAPPY BIRTHDAY ゆかり〜♪ねるは私のことをゆかりって呼ぶんです(笑)あの動画は私の誕生日の0時過ぎにふーちゃんから送られてきて、爆笑しちゃいました!あと、私がMキャラと紹介されてしまったのですが、普段からいじられキャラという意味で書きました!確かに、レッスンなどで厳しくご指導いただくのは身になるので好きです!でも、やっぱり怒られるより褒められる方が好きなので、握手会などではみなさん優しくしてくださいね(´･ω･`)♡それではまたね♪ ##################################### basic summarization model 今日は紅白歌合戦さんのリハーサルに行って参りました!ドキドキでしたが、やっと出させていただけるという実感が湧きました!みんなで力を合わせて練習していきます!あと、私がMキャラと紹介されてしまったのですが、普段からいじられキャラという意味で書きました! ##################################### using word position feature and direct proportion 今日は紅白歌合戦さんのリハーサルに行って参りました!ドキドキでしたが、やっと出させていただけるという実感が湧きました!本番まであと2日です!みんなで力を合わせて練習していきます! ##################################### using word position feature and inverse proportion 今日は紅白歌合戦さんのリハーサルに行って参りました!ドキドキでしたが、やっと出させていただけるという実感が湧きました!本番まであと2日です!みんなで力を合わせて練習していきます! ##################################### using word position feature and Geometric sequence 今日は紅白歌合戦さんのリハーサルに行って参りました!ドキドキでしたが、やっと出させていただけるという実感が湧きました!本番まであと2日です!みんなで力を合わせて練習していきます! #####################################
最後に
オタクとしてこのようなことに利用してしまいましたがBasic Summarization Modelはもう少しちゃんとチューニングすれば面白い分野だと感じました。もう少し論文を読み込んでの実装力の部分をどうにかしていきたいです。
参考
A Study on Position Information in Document Summarization
Multi-document summarization - Wikipedia
National Institute of Standards and Technology - Wikipedia
