浅野直樹の学習日記

import pandas as pd
import requests

#結果を格納するデータフレームを作成し、表示行数を設定
df = pd.DataFrame(columns=["page_id", "title", "linked_title", "length"])
pd.set_option('display.max_rows', 6)

#wikipediaに接続するための基本設定
S = requests.Session()
URL = "https://ja.wikipedia.org/w/api.php"

#ランダム記事リストから記事本体を取得するためのパラメータの設定
GENERATOR_PARAMS = {
    #共通パラメータ
    "action": "query",
    "format": "json",
    #generatorパラメータ
    "generator": "random",
    "grnlimit": "100",
    "grnnamespace": "0",
    #記事情報パラメータ
    "prop": "info",
    "inprop": "url",
}

#ランダム100件の記事情報の取得
GENERATOR_R = S.get(url=URL, params=GENERATOR_PARAMS)
GENERATOR_DATA = GENERATOR_R.json()
for k, v in GENERATOR_DATA["query"]["pages"].items():
    page_id = k
    (title, fullurl, length) = (v["title"], v["fullurl"], v["length"])
    linked_title = "<a href='{}'>{}</a>".format(fullurl, title)    
    df.loc[len(df)+1] = [page_id, title, linked_title, length]

#長さ（length）の長い順に並べ替えて表示
sorted_df = df.sort_values("length", ascending=False)
ranked_df = sorted_df.set_axis(range(1, (len(df)+1) ), axis="index")
print(ranked_df[["page_id", "title", "length"]])

from IPython.display import HTML

longest_3_df = ranked_df.query('index <= 3')

#ブログ記事執筆用にhtmlタグを出力
print(longest_3_df[["page_id", "linked_title", "length"]].to_html(escape=False))

#jupyter notebook内での確認用に整形された表を出力
HTML(longest_3_df[["page_id", "linked_title", "length"]].to_html(escape=False))

shortest_3_df = ranked_df.query('index >= 98')

#ブログ記事執筆用にhtmlタグを出力
print(shortest_3_df[["page_id", "linked_title", "length"]].to_html(escape=False))

#jupyter notebook内での確認用に整形された表を出力
HTML(shortest_3_df[["page_id", "linked_title", "length"]].to_html(escape=False))

import time

#記事本体を取得するためのパラメータの設定
ARTICLE_PARAMS = {
    "action": "query",
    "format": "json",
    "prop": "extracts",
    "explaintext": True,
    "exsectionformat": "plain",
}

#長さの上位20件を抽出
longest_20_df = ranked_df.query('index <= 20')

#記事本文を一時的に保存するリストの作成
contents = []

for page_id in longest_20_df["page_id"]:
    #ページIDから記事情報の取得
    ARTICLE_PARAMS["pageids"] = str(page_id)
    ARTICLE_R = S.get(url=URL, params=ARTICLE_PARAMS)
    ARTICLE_DATA = ARTICLE_R.json()

    #記事本文をリストに追加
    content = ARTICLE_DATA["query"]["pages"][str(page_id)]["extract"]
    contents.append(content)

    #高速でリクエストを繰り返すことで負担をかけないように1秒待つ
    time.sleep(1)

#データフレームに記事本文の列を追加
contents_df = longest_20_df.assign(content=contents)
print(contents_df)

import MeCab
from sklearn.feature_extraction.text import TfidfVectorizer

#ストップワードの設定
stop_words_str = "。 は 、 の （ ） に で を た し が と て ある れ さ する いる から も ・ として 「 」 い こと – な なっ や れる など ため この まで また あっ ない あり なる その られ 後 『 』 へ 日本 という よう ( 現在 もの より だ おり 的 中 により ) 2 による 第 なり によって 1 これ その後 ず , か 時 なく られる だっ において 者 なかっ 行わ 多く しかし 3 せ 他 名 出身 それ について 間 当時 上 ば 存在 受け . 呼ば 同 なお できる 目 行っ 内 う 数 のみ 前 以下 き ： 元 化 4 等 および 使用 でき 同年 主 場合 際 一 約 における さらに 一部 所属 人 以降 ら 活動 5 中心 作品 いう 知ら 同じ 初 だけ 多い 時代 以上 生まれ 発表 2010年 にて 見 務め 持つ とともに 大 参加 頃 位置 2007年 2009年 2008年 開始 うち 行う ほか 特に 全 ながら 当初 発売 せる 2011年 家 かつて 下 卒業 一つ 2006年 6 でも 年 2012年 形 用い に対して 最初 / 本 考え なら 以外 関係 一方 それぞれ 各 同様 4月 経 2013年 と共に 2005年 そして 3月 地域 必要 これら 及び 一般 用 2014年 結果 可能 現 開催 事 ものの 利用 にかけて 部 影響 設立 記録 得 アメリカ 通り とも 彼 2015年 自身 登場 始め または 担当 変更 意 味 たり 側 とき 開発 設置 代表 ほど ので 構成 ただし 二 2004年 郡 初めて たち 部分 2016年 最も 放送 7 旧 地 最後 アメリカ合衆国 10月 世界 研究 大学 8 系 大きな 活躍 獲得 続け 以前 全て 問題 性 与え 9月 父 含む といった ほとんど 7月 ところ 2017年 2003年 向け 持っ 2000年 加え 使わ 型 6月 に関する 出場 12月 目的 高い 名称 に対する 1月 万 実際 5月 -1 名前 様々 再び 10"
stop_words = stop_words_str.split()

#単語に分割してストップワードをフィルタリングする関数の作成
def analyzer(text):
    tagger = MeCab.Tagger("-Owakati")
    wakati = tagger.parse(text)
    filtered_wakati = filter(lambda x: x not in stop_words, wakati.split())
    return filtered_wakati

#テキストのベクトル化
documents = contents_df["content"]
vectorizer = TfidfVectorizer(analyzer=analyzer)
X = vectorizer.fit_transform(documents)
print(X.toarray())

print(X.toarray().shape)

(20, 8302)

print(vectorizer.vocabulary_)

{'ジェンソン': 2723, 'アレクサンダー': 2235, 'ライオンズ': 3690, 'バトン': 3183, 'Jenson': 821, 'Alexander': 484, 'Lyons': 883, 'Button': 589,
【以下略】

from sklearn.metrics.pairwise import cosine_similarity

#類似度行列の作成
cs_array = cosine_similarity(X)
print(cs_array)

import numpy as np

for index, item in enumerate(cs_array):
    #その記事のタイトル
    print("・「{}」".format(titles[index+1]))

    #似ている3つ
    print("＜似ている3つの記事＞")
    best_3 = sorted(item, reverse=True)[1:4]
    for best in best_3:
        best_index = np.where(item == best)[0][0]
        print("{}（{}）".format(contents_df["title"][best_index+1], best))

    #似ていない3つ
    print("＜似ていない3つの記事＞")
    worst_3 = sorted(item)[0:3]
    for worst in worst_3:
        worst_index = np.where(item == worst)[0][0]
        print("{}（{}）".format(contents_df["title"][worst_index+1], worst))

    print("\n")

#結果を格納するデータフレームの作成
best_df = pd.DataFrame(columns=["title", "1", "2", "3"])

for index, item in enumerate(cs_array):
    #その記事のタイトルを最初の要素とするリストの作成
    results = [titles[index+1]]

    #似ている3つ
    best_3 = sorted(item, reverse=True)[1:4]
    for best in best_3:
        best_index = np.where(item == best)[0][0]
        result = "{}（{}）".format(contents_df["linked_title"][best_index+1], round(best, 3))
        results.append(result)

    #データフレームに追加
    best_df.loc[len(best_df)+1] = results

#ブログ記事執筆用にhtmlタグを出力
print(best_df.set_index("title").to_html(escape=False))

#jupyter notebook内での確認用に整形された表を出力
HTML(best_df.set_index("title").to_html(escape=False))

import requests

def get_ml_article():
    #記事ページIDの設定
    page_id = "185375"

    #wikipediaに接続するための基本設定
    S = requests.Session()
    URL = "https://ja.wikipedia.org/w/api.php"

    #記事本体を取得するためのパラメータの設定
    ARTICLE_PARAMS = {
        "action": "query",
        "format": "json",
        "prop": "extracts",
        "explaintext": True,
        "exsectionformat": "plain",
        "pageids": page_id
    }

    #ページIDから記事情報の取得
    ARTICLE_R = S.get(url=URL, params=ARTICLE_PARAMS)
    ARTICLE_DATA = ARTICLE_R.json()
    return ARTICLE_DATA["query"]["pages"][page_id]["extract"]

ml_article = get_ml_article()
print(ml_article)

from janome.tokenizer import Tokenizer

t = Tokenizer(wakati=True)
words = t.tokenize(ml_article)
print(list(words))

['機械', '学習', '（', 'きか', 'い', 'がく', 'しゅう', '、', '英', ':', ' ', 'Machine', ' ', 'Learning', '）', 'と', 'は', '、', '経験',
【以下略】

from janome.analyzer import Analyzer
from janome.tokenfilter import *

a = Analyzer(token_filters=[TokenCountFilter(sorted=True)])
words_count = a.analyze(ml_article)
print(list(words_count))

[(' ', 427), ('の', 278), ('を', 235), ('、', 216), ('。', 167), ('は', 159), ('で', 146), ('y', 143), ('学習', 137), ('\n ', 130)
【以下略】

from janome.analyzer import Analyzer
from janome.charfilter import *
from janome.tokenfilter import *

char_filters = [UnicodeNormalizeCharFilter(), RegexReplaceCharFilter("\n|\s", "")]
token_filters = [TokenCountFilter(sorted=True)]
a = Analyzer(char_filters=char_filters, token_filters=token_filters)
words_count_cleaned = a.analyze(ml_article)
print(list(words_count_cleaned))

[('の', 278), ('を', 235), ('、', 214), ('。', 164), ('は', 159), ('で', 146), ('学習', 137), ('に', 127), ('y', 127), ('(', 121), ('が', 119)
【以下略】

pip install mecab-python3
pip install unidic-lite

import MeCab
from collections import Counter

tagger = MeCab.Tagger("-Owakati")
wakati = tagger.parse(ml_article)
print(Counter(wakati.split()).most_common())

[('の', 290), ('を', 238), ('、', 221), ('に', 194), ('}', 190), ('。', 167), ('は', 162), ('と', 154), ('で', 151), ('y', 143), ('学習', 137),
【以下略】

import requests
from janome.analyzer import Analyzer
from janome.charfilter import *
from janome.tokenfilter import *
import MeCab
from collections import Counter
from timeit import timeit

def get_ml_article():
    #記事ページIDの設定
    page_id = "185375"

    #wikipediaに接続するための基本設定
    S = requests.Session()
    URL = "https://ja.wikipedia.org/w/api.php"

    #記事本体を取得するためのパラメータの設定
    ARTICLE_PARAMS = {
        "action": "query",
        "format": "json",
        "prop": "extracts",
        "explaintext": True,
        "exsectionformat": "plain",
        "pageids": page_id
    }

    #ページIDから記事情報の取得
    ARTICLE_R = S.get(url=URL, params=ARTICLE_PARAMS)
    ARTICLE_DATA = ARTICLE_R.json()
    return ARTICLE_DATA["query"]["pages"][page_id]["extract"]

def janome():
    char_filters = [UnicodeNormalizeCharFilter(), RegexReplaceCharFilter("\n|\s", "")]
    token_filters = [TokenCountFilter(sorted=True)]
    a = Analyzer(char_filters=char_filters, token_filters=token_filters)
    words_count_cleaned = a.analyze(ml_article)

def mecab():
    tagger = MeCab.Tagger("-Owakati")
    wakati = tagger.parse(ml_article)
    words_count = Counter(wakati.split()).most_common()

#機械学習 – Wikipediaのページの記事本文を取得
ml_article = get_ml_article()

#timeitで繰り返す回数を設定
loop = 100

#timeitの実行
janome_result = timeit('janome()', globals=globals(), number=loop)
mecab_result = timeit('mecab()', globals=globals(), number=loop)

#実行1回あたりの所要時間の秒数を表示
print("janome:", janome_result / loop)
print("mecab:", mecab_result / loop)

janome: 1.0871145177900325
mecab: 0.025085185560019454

%timeit -n 10 janome()

1.1 s ± 50.7 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)

%timeit -n 10 mecab()

20.2 ms ± 907 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)