Python-深入浅出数据分析-主观概率

文章未经允许,不可转载
在阅读前,读一下Python-深入浅出数据分析-总结会更好点,以后遇到问题比如代码运行不了,再读读也行,>-_-<

主观上觉得

你的不可能数值化后可能成了别人口中的可能

把你可能、很有可能、不可能数字化是不是更理性点

数字化后的图形

利用官方提供的原始文件,分析言论1的主管概率分布情况

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

%matplotlib inline

df = pd.read_excel('./hfda_ch07_data_transposed.xls', index_col= 0).drop('SD', axis= 1).T

fig = plt.figure(figsize= (8, 6))
ax = fig.add_subplot(1, 1, 1)

col_mean = round(df.Statement1.mean(), 3)
col_stdev = round(df.Statement1.std(), 3)

ax.scatter(df.Statement1.values, df.index.values, s= 72, facecolors= 'none', edgecolors= 'r')
ax.axvline(col_mean)

ax.set_xticks(np.arange(0, 1.1, 0.1))
ax.set_yticks([])
bbox_props = dict(boxstyle="round", fc="w", ec="0.5", alpha=0.9)
ax.text(col_mean - 0.2, df.index.values.mean(), "mean: {}\nSD: {}".format(col_mean, col_stdev), ha="center", va="center", size=10,
bbox=bbox_props)

平均概率在0.898,标准差0.018,大家认为言论1很可能发生,且大家的分歧不大

所有的言论图形化

按照分析言论1的思路,分析余下的言论

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
fig = plt.figure(figsize= (16, 16))

for i in range(1, 7):
ax = fig.add_subplot(3, 2, i)

selected_col = 'Statement{0}'.format(i)

col_mean = round(df[selected_col].mean(), 3)
col_stdev = round(df[selected_col].std(), 3)

ax.scatter(df[selected_col].values, df.index.values, s= 72, facecolors= 'none', edgecolors= 'r')
ax.axvline(col_mean)

ax.set_xticks(np.arange(0, 1.1, 0.1))
ax.set_yticks([])
bbox_props = dict(boxstyle="round", fc="w", ec="0.5", alpha=0.5)
ax.text(col_mean + 0.2 if col_mean<=0.5 else col_mean - 0.2, df.index.values.mean(), "mean: {}\nSD: {}".format(col_mean, col_stdev), ha="center", va="center", size=10,
bbox=bbox_props)

ax.set_title(selected_col)

引入贝叶斯规则

突然,一条新的信息打乱了你言论1预测的信心

在这条新消息的条件下言论1发生的概率是多大呢?条件概率想到了贝叶斯规则。但是这样做真的对吗?是不是重新收集分析师对言论1发生的概率更好一点?我觉得是的,但是我先把书中的思路实现一遍
$$
P\left( A|B \right) =\frac{P\left( AB \right)}{P\left( B \right)}=\frac{P\left( A \right) P\left( B|A \right)}{P\left( BA \right) +P\left( B\overline{A} \right)}=\frac{P\left( A \right) P\left( B|A \right)}{P\left( A \right) P\left( B|A \right) +P\left( \overline{A} \right) P\left( B|\overline{A} \right)}
$$

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

%matplotlib inline

df_old_estimate = pd.read_excel('./hfda_ch07_data_transposed.xls', index_col= 0).drop('SD', axis= 1).T
df_new_estimate = pd.read_excel('./hfda_ch07_new_probs.xls')

# 计算
p_e_s1 = df_new_estimate['P(S1)'] * df_new_estimate['P(E|S1)']
p_e_not_s1 = df_new_estimate['P(~S1)'] * df_new_estimate['P(E|~S1)']

df_new_estimate['P(S1|E)'] = p_e_s1/(p_e_s1 + p_e_not_s1)

# 画图
fig = plt.figure(figsize=(8, 6))

ax = fig.add_subplot(1, 1, 1)

ax.scatter(df_old_estimate.Statement1.values, df_old_estimate.index.values, s= 72, facecolors= 'none', edgecolors= 'b', alpha= 0.4, linestyle='--')
ax.axvline(df_old_estimate.Statement1.mean(), alpha= 0.4, linestyle='--', color= 'b', label= 'old')

ax.scatter(df_new_estimate['P(S1|E)'].values, df_new_estimate['Analyst'].values, s= 72, facecolors= 'none', edgecolors= 'r')
ax.axvline(df_new_estimate['P(S1|E)'].values.mean(), color= 'r', label= 'new')

ax.set_xticks(np.arange(0, 1.1, 0.1))
ax.set_yticks([])
ax.legend(loc='upper left')

分析之后,维持原判

真的合理吗

书中讲贝叶斯规则的时候,用到的例子是患病阳性的例子,在这个例子中全国患病的概率是不受检测结果(阳性或者非阳性)影响的。
而这个例子中,言论1的概率时候到新消息的影响的,当有新消息出来,那么分析师对言论1发生的概率就会改变,但是一个人检测出来是阳性,是不会改变全国患病概率的

这个问题,等我有机会学更多的统计学知识再来解答,:),更欢迎高手告知一二

您的支持将鼓励我继续创作!