はじめに

前編 の続きです。Excelでできるデータドリブン・マーケティングという本の第3章をPythonで実装しています。

corrメソッドやcorrcoef関数を用いて相関係数行列を求める

corrcoef関数やnumpyのcorrメソッドを使うと簡単に相関係数行列を出力することができます。

3-4 どの変数が目的変数に影響がありそうか？　相関係数でチェック

相関係数行列を出力します。

import numpy as np

cor_matrix = df.corr()
#cor_matrix = np.corrcoef([df['amount'], df['TVCM'], df['paper'], df['OOH'], df['WEB']]) も可
cor_matrix

3-5 相関係数を参考にする際の注意　「疑似相関」

疑似相関に気を付けましょうという話が書かれていました。問題の掲載がなかったので次に進みます。

3-6 「エクセル統計」で偏相関係数行列と「無向グラフ」を作成

偏相関係数行列を作成します. 以下の記事を参考にさせていただきました。

pythonで偏相関係数行列(pcor)を計算
Pythonで多変量解析、3変数以上の偏相関係数を算出してみた
生データのpandas dfから偏相関行列を求めるプログラム
多変量解析の多重共線性を調べるために相関行列から偏相関行列をExcelで求める方法

二つのステップに分けて考えました。
一つ目は逆行列を求めることです。scipyライブラリのlinalgを用います。linalg.inv メソッドを用いて逆行列を求めます。

import scipy.linalg as linalg  # 線形代数の計算に用いるライブラリ

cor_matrix_inv = linalg.inv(cor_matrix)
cor_matrix_inv

array([[ 2.1695598 , -0.35678987, -0.5129779 ,  0.39766342, -1.18539179],
       [-0.35678987,  1.65531469, -0.35561592, -0.23125784, -0.44446851],
       [-0.5129779 , -0.35561592,  1.62705147, -0.57897692,  0.06165441],
       [ 0.39766342, -0.23125784, -0.57897692,  1.34756443, -0.23822438],
       [-1.18539179, -0.44446851,  0.06165441, -0.23822438,  2.07038006]])

二つ目は、各要素に対してその対角成分の積を計算し平方根をとったもので割り、符号を逆にするという操作です。

l = cor_matrix_inv.shape[0]  # 逆行列の行数
array_diag = np.diag(cor_matrix_inv)  # 対角成分
tmp_list = []
for i in range(l):
  tmp_list2 = []
  for j in range(l):
    if i == j:
      tmp_list2.append(1)
    else:
      tmp = -(cor_matrix_inv[i, j] / np.sqrt(cor_matrix_inv[i, i] * cor_matrix_inv[j, j]))
      tmp_list2.append(tmp)
  tmp_list.append(tmp_list2)
names = ['amount', 'TVCM', 'paper', 'OOH', 'WEB']
df_pcor = pd.DataFrame(tmp_list, index=names, columns=names)
df_pcor

偏相関係数行列を求めることができました。

次に相関係数を可視化するための無向グラフを出力します。以下の記事を参考にさせていただきました。

Pythonのnetworkxで簡単にネットワーク分析

import networkx as nx
import matplotlib.pyplot as plt

G = nx.Graph()  # 空の無向グラフを作成
l = len(df_pcor)  # 相関係数行列の行数
edges = [[names[i], names[j], df_pcor.iloc[i, j]]  for i in range(l) for j in range(i,l)]
G.add_weighted_edges_from(edges)

# ネットワークの描画
plt.figure(figsize=[15, 10])
nx.draw_networkx(G)
plt.show()

本のように正五角形にするために、頂点の位置を調整します。以下の記事を参考にさせていただきました。

NetworkXのグラフを可視化するときに頂点の座標を指定する

import numpy as np

pos = {names[i]: (np.cos(2*i*np.pi/l + np.pi/2), np.sin(2*i*np.pi/l + np.pi/2)) for i in range(l)}

# ネットワークの描画
plt.figure(figsize=[15, 10])
nx.draw_networkx(G, pos)
plt.show()

相関係数の値に応じて、辺の色や太さを変えていきます。色は負の値なら赤に、正の値ならば青になるようにします。辺の太さは絶対値が大きくなるにつれて太くなるようにします。

# 辺の色を決める関数
def pcor_color(n):
  if n < 0:
    c = 'red'
  else:
    c = 'blue'
  return c 

# 辺の幅を決める関数
def pcor_width(n):
  if -0.25 <= n < 0.25:
    w = 0.25
  elif -0.50 <= n < 0.50:
    w = 1.0
  elif -0.75 <= n < 0.75:
    w = 2.0
  else:
    w = 4.0
  return w 

color_list = [pcor_color(df_pcor.iloc[i, j]) for i in range(l) for j in range(i, l)]  # 辺の色
width_list = [pcor_width(df_pcor.iloc[i, j]) for i in range(l) for j in range(i, l)]  # 辺の幅 

# ネットワークの描画
plt.figure(figsize=[15, 10])
nx.draw_networkx(G, pos, width=width_list, edge_color=color_list)
plt.legend(['variable', 'pcor'], loc='best')  # 凡例
plt.show()

3-7 「エクセル統計」の「期別平均法」で季節性を把握

データの周期性を確認します。新しいデータを読み込みます。本で指示されたファイルをcsv形式にしてダウンロードし、保存します。ファイル名は5years_amount.csvとしました。また、データフレームの名称は先ほどと同じにならないよう df_5years としました。

import pandas as pd
df_5years = pd.read_csv('5years_amount.csv')

Google Colaboratory をご利用の方は以下を参考にしてください。

# Google Colaboratory用
df_5years = pd.read_csv('/content/drive/My Drive/DDM_chap3/5years_amount.csv')

次にデータフレームを周期ごとに分割し、横持ちにします。pandasのshiftメソッドを用いてデータを12個ずらし、ずらしたデータを結合するという操作を繰り返します。

for i in range(4):
  if i == 0:
    df_5years_new = pd.concat([df_5years, df_5years.shift(-12*(i+1))], axis=1)
  else:
    df_5years_new = pd.concat([df_5years_new, df_5years.shift(-12*(i+1))], axis=1)
df_5years_new = df_5years_new[:12]
df_5years_new

本の表記にあわせるためにmonth列を削除し、index(行名)を月にしていきます。
また、amountという列名の列が5つあり不便です。どの年のデータかすぐにわかるように列名を変更します。

df_5years_new = df_5years_new.drop(['month'], axis=1)

df_5years_new.columns = [df_5years_new.columns[i] + str(i+2013) for i in range(5)]

df_5years_new.index = df_5years[0:12].month.apply(lambda x: x[0:3])
df_5years_new

次に月ごとの平均値を求めます。引数skipnaをTrueとしていますが、デフォルトでもTrueです。

df_5years_new['average'] = df_5years_new.mean(axis=1, skipna=True)
df_5years_new

tmp_ave = df_5years_new['average'].mean()
df_5years_new['seasonal_index'] = df_5years_new.average.apply(lambda x: x / tmp_ave)
df_5years_new

import matplotlib.pyplot as plt
fig, ax = plt.subplots(figsize=(15,9))
plt.plot(df_5years_new[df_5years_new.columns.drop('seasonal_index')])
ax.set_ylim([0, 35000000])  # 縦軸の範囲を調整
plt.xlabel('month')
plt.title('amount & average')
plt.legend(df_5years_new, loc='best')
plt.show()

fig, ax = plt.subplots(figsize=(15,9))
plt.plot(df_5years_new.seasonal_index)
ax.set_ylim([0, 1.4])  # 縦軸の範囲を調整
plt.xlabel('month')
plt.title('seasonal index')
plt.legend(['seasonal index'], loc='best')
plt.show()

まとめ

データ分析の際に必要なデータのまとめや可視化がバランスよく豊富に盛り込まれており、練習にぴったりでした。尚、この記事ではpythonの練習問題としてExcelでできるデータドリブン・マーケティングの一部を利用させていただきましたが、マーケティングの勉強が本来の目的であり、その観点からしても大変有名で面白い本なので是非通して読んでみてください。