statistics program

week 5. Regression Analysis _ 영현2

영현2 — Sat, 29 Jun 2024 21:08:23 +0900

안녕하세요 영현2입니다. 오늘은 5주차 학습 내용에 대해서 이론적으로 정리해보겠습니다.

회귀 분석(Regression Analysis)은 한 변수(또는 여러 변수)가 다른 변수에 어떻게 영향을 미치는지를 분석하는 통계적 기법입니다. 이를 통해 변수들 간의 관계를 이해하고 예측하는 데 사용됩니다.

1. **단순 선형 회귀 (Simple Linear Regression)**:
   - 하나의 설명변수(독립변수)가 종속변수에 미치는 영향을 분석합니다.
   - 예를 들어, 공부 시간에 따른 시험 점수와 같은 관계를 분석할 수 있습니다.

2. **다중 선형 회귀 (Multiple Linear Regression)**:
   - 여러 개의 설명변수가 종속변수에 동시에 영향을 미치는 경우를 분석합니다.
   - 예를 들어, 집의 가격을 결정하는 데에는 위치, 크기, 시장 상황 등 여러 요소가 포함될 수 있습니다.

3. **회귀 모델의 평가**:
   - **결정 계수 (Coefficient of Determination, R-squared)**: 모델이 설명하는 데이터 변동의 비율을 나타냅니다.
   - **잔차 분석 (Residual Analysis)**: 모델의 잔차가 정규성, 독립성, 등분산성을 만족하는지 검토하여 모델의 적합성을 평가합니다.

4. **회귀 계수의 해석**:
   - 각 설명변수의 회귀 계수는 해당 변수가 종속변수에 미치는 영향의 크기와 방향을 나타냅니다.
   - 회귀 계수의 유의성 검정을 통해 통계적으로 중요한 변수를 식별할 수 있습니다.

5. **회귀 분석의 활용**:
   - 예측(Prediction): 새로운 데이터에 대한 종속변수의 값을 예측합니다.
   - 인과 관계 추론(Causal Inference): 변수들 간의 인과 관계를 추론하여 정책 결정이나 전략 수립에 활용할 수 있습니다.

회귀 분석은 다양한 분야에서 데이터 분석과 예측에 널리 사용되며, 변수들 간의 복잡한 관계를 분석하는 데 강력한 도구로 작용합니다.

학습한 코드 내용은 아래에 첨부합니다

ch06.ipynb

0.01MB

week 4. Statistical Inference _영현2

영현2 — Sat, 29 Jun 2024 21:05:55 +0900

통계적 추론은 데이터를 분석하여 모집단에 대한 결론을 도출하는 과정입니다. 주어진 표본 데이터를 사용하여 모집단의 특성이나 현상을 추정하거나, 가설을 검정하는 것이 주된 목표입니다.

1. **추정 (Estimation)**:
   - **점 추정 (Point estimation)**: 하나의 값으로 모수(모집단의 특성)을 추정하는 방법입니다. 예를 들어, 표본 평균을 사용해 모집단 평균을 추정할 수 있습니다.
   - **구간 추정 (Interval estimation)**: 추정된 모수 주변의 신뢰구간을 계산하여 모수의 위치를 정확히 파악하는 방법입니다.

2. **가설 검정 (Hypothesis Testing)**:
   - 특정 가설을 데이터를 통해 검증하는 과정입니다. 일반적으로 귀무가설(H0)과 대립가설(H1)을 설정하고, 표본 데이터를 분석하여 귀무가설이 기각될지를 결정합니다.
   - 검정 통계량을 계산하고, 이를 통해 귀무가설이 통계적으로 유의미한지를 판단합니다.

3. **오차와 신뢰 수준 (Error and Confidence Level)**:
   - **유형 I 오류 (Type I Error)**: 귀무가설이 참일 때 이를 잘못 기각하는 오류입니다. 유의수준(alpha)과 관련이 있습니다.
   - **유형 II 오류 (Type II Error)**: 귀무가설이 거짓일 때 이를 잘못 채택하는 오류입니다. 검정력(power)과 관련이 있습니다.
   - **신뢰 수준 (Confidence Level)**: 추정된 신뢰구간이 실제 모집단 모수를 포함할 확률입니다.

4. **통계적 모델링과 가정 (Statistical Modeling and Assumptions)**:
   - 데이터 분포와 관련된 가정을 만족하는지 확인하고, 이에 따라 적절한 통계 모델을 선택합니다. 예를 들어, 정규성 가정을 만족하지 않는 경우 비모수적 방법을 고려할 수 있습니다.

통계적 추론은 데이터를 과학적으로 분석하고 결론을 도출하는 데 중요한 도구입니다. 올바른 통계적 기법을 선택하고 적용하는 것이 결과 해석의 핵심입니다.

학습 코드 파일은 아래에 첨부합니다

ch04.ipynb

0.01MB

week 5. Regression Analysis _ 현주

따봉콩쥐야고마워 — Sat, 29 Jun 2024 19:35:10 +0900

ch06.ipynb

0.01MB

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

In [ ]:

from google.colab import drive
drive.mount('/content/drive')

Mounted at /content/drive

In [ ]:

ice = pd.read_csv('/content/drive/MyDrive/Colab Notebooks/SeaIce.txt',delim_whitespace=True)
print('shape:', ice.shape)

shape: (424, 6)

In [ ]:

ice2 = ice[ice.data_type != '-9999']
ice2

Out[ ]:

yearmodata_typeregionextentarea01234...419420421422423

1979	1	Goddard	N	15.54	12.33
1980	1	Goddard	N	14.96	11.85
1981	1	Goddard	N	15.03	11.82
1982	1	Goddard	N	15.26	12.11
1983	1	Goddard	N	15.10	11.92
...	...	...	...	...	...
2009	12	Goddard	N	12.51	10.25
2010	12	Goddard	N	12.02	10.08
2011	12	Goddard	N	12.40	10.28
2012	12	Goddard	N	12.20	10.11
2013	12	NRTSI-G	N	12.38	10.48

422 rows × 6 columns

In [ ]:

import seaborn as sns
sns.lmplot(x="mo", y="extent", data=ice2)

Out[ ]:

<seaborn.axisgrid.FacetGrid at 0x7db49c125150>

In [ ]:

grouped = ice2.groupby('mo')
month_means = grouped.extent.mean()
month_means

Out[ ]:

mo
1     14.479429
2     15.298889
3     15.491714
4     14.766000
5     13.396000
6     11.860000
7      9.601143
8      7.122286
9      6.404857
10     8.809143
11    10.964722
12    13.059429
Name: extent, dtype: float64

for i in range(12):
    ice2.extent[ice2.mo == i+1] = 100 * (ice2.extent[ice2.mo == i+1] - month_means[i+1]) /month_means.mean()
sns.lmplot(x="mo", y="extent", data=ice2)

Out[ ]:

<seaborn.axisgrid.FacetGrid at 0x7db46105a2f0>

sns.lmplot(x = "year", y = "extent", data = ice2)

Out[ ]:

<seaborn.axisgrid.FacetGrid at 0x7db49c125420>

In [ ]:

from sklearn.linear_model import LinearRegression
est = LinearRegression(fit_intercept = True)

In [ ]:

x = ice2[['year']]
y = ice2[['extent']]
est.fit(x, y)
print("Coefficients: ", est.coef_)
print("Intercept: ", est.intercept_)

Coefficients:  [[-0.45275459]]
Intercept:  [903.71640207]

In [ ]:

from sklearn import metrics
y_hat = est.predict(x)
print("MSE: ", metrics.mean_squared_error(y_hat, y))
print("R^2: ", metrics.r2_score(y_hat, y))
print('var: ', y.var())

MSE:  10.539131639803488
R^2:  0.5067870382100248
var:  extent    31.98324
dtype: float64

boston = pd.read_excel('/content/drive/MyDrive/Colab Notebooks/BostonHousing.xls')
boston

0.00632	18.0	2.31	0	0.538	6.575	65.2	4.0900	1	296	15.3	396.90	4.98	24.0	0
0.02731	0.0	7.07	0	0.469	6.421	78.9	4.9671	2	242	17.8	396.90	9.14	21.6	0
0.02729	0.0	7.07	0	0.469	7.185	61.1	4.9671	2	242	17.8	392.83	4.03	34.7	1
0.03237	0.0	2.18	0	0.458	6.998	45.8	6.0622	3	222	18.7	394.63	2.94	33.4	1
0.06905	0.0	2.18	0	0.458	7.147	54.2	6.0622	3	222	18.7	396.90	5.33	36.2	1
...	...	...	...	...	...	...	...	...	...	...	...	...	...	...
0.06263	0.0	11.93	0	0.573	6.593	69.1	2.4786	1	273	21.0	391.99	9.67	22.4	0
0.04527	0.0	11.93	0	0.573	6.120	76.7	2.2875	1	273	21.0	396.90	9.08	20.6	0
0.06076	0.0	11.93	0	0.573	6.976	91.0	2.1675	1	273	21.0	396.90	5.64	23.9	0
0.10959	0.0	11.93	0	0.573	6.794	89.3	2.3889	1	273	21.0	393.45	6.48	22.0	0
0.04741	0.0	11.93	0	0.573	6.030	80.8	2.5050	1	273	21.0	396.90	7.88	11.9	0

506 rows × 15 columns

In [ ]:

print('Shape of data: ', boston.shape)
print('Feature names: ', boston.columns)

Shape of data:  (506, 15)
Feature names:  Index(['CRIM', 'ZN', 'INDUS', 'CHAS', 'NOX', 'RM', 'AGE', 'DIS', 'RAD', 'TAX',
       'PTRATIO', 'B', 'LSTAT', 'MEDV', 'CAT. MEDV'],
      dtype='object')

In [ ]:

from sklearn import datasets
from sklearn.datasets import fetch_california_housing

california_housing = fetch_california_housing()
X_california_housing, y_california_housing = california_housing.data, california_housing.target
print("Shape of data: ", X_california_housing.shape, y_california_housing.shape)
print("Feature names: ", california_housing.feature_names)

Shape of data:  (20640, 8) (20640,)
Feature names:  ['MedInc', 'HouseAge', 'AveRooms', 'AveBedrms', 'Population', 'AveOccup', 'Latitude', 'Longitude']

from sklearn import linear_model
train_size = int(len(X_california_housing) / 2)
X_train = X_california_housing[:train_size]
X_test = X_california_housing[train_size:]
y_train = y_california_housing[:train_size]
y_test = y_california_housing[train_size:]
print('Training and testing set sizes', X_train.shape, X_test.shape)

regr = LinearRegression()
regr.fit(X_train, y_train)
print('Coeff and intercept: ', regr.coef_, regr.intercept_)
print('Testing Score: ', regr.score(X_test, y_test))
print('Training MSE: ', np.mean((regr.predict(X_train)- y_train)**2))
print('Testing MSE: ', np.mean((regr.predict(X_test)- y_test)**2))

Training and testing set sizes (10320, 8) (10320, 8)
Coeff and intercept:  [ 4.49445675e-01  5.25146897e-03 -1.15187965e-01  6.49831604e-01
 -4.42831175e-06 -7.49431094e-03 -4.12760239e-01 -3.65411827e-01] -28.871818045412486
Testing Score:  0.586194727280809
Training MSE:  0.5427336522220854
Testing MSE:  0.5482126919151005

In [ ]:

regr_lasso = linear_model.Lasso(alpha = .3)
regr_lasso.fit(X_train, y_train)
print('Coeff and intercept: ', regr_lasso.coef_)
print('Testing Score: ', regr_lasso.score(X_test, y_test))
print('Training MSE: ', np.mean((regr_lasso.predict(X_train)- y_train)**2))
print('Testing MSE: ', np.mean((regr_lasso.predict(X_test)- y_test)**2))

Coeff and intercept:  [ 3.39722672e-01  1.15439467e-02  0.00000000e+00  0.00000000e+00
  4.46333418e-05 -1.97394316e-03 -3.33472332e-02  0.00000000e+00]
Testing Score:  0.4767976308497144
Training MSE:  0.6586900574320259
Testing MSE:  0.69314288173142

In [ ]:

ind = np.argsort(np.abs(regr_lasso.coef_))

ind_feature_names = [california_housing.feature_names[i] for i in ind]

print('Ordered variables (from less to more important):', ind_feature_names)

Ordered variables (from less to more important): ['AveRooms', 'AveBedrms', 'Longitude', 'Population', 'AveOccup', 'HouseAge', 'Latitude', 'MedInc']

In [ ]:

import sklearn.feature_selection as fs
selector = fs.SelectKBest(score_func = fs.f_regression, k = 5)
selector.fit_transform(X_train, y_train)
selector.fit(X_train, y_train)
print('Selected features: ', list(zip(selector.get_support(), california_housing.feature_names)))

Selected features:  [(True, 'MedInc'), (True, 'HouseAge'), (True, 'AveRooms'), (False, 'AveBedrms'), (False, 'Population'), (False, 'AveOccup'), (True, 'Latitude'), (True, 'Longitude')]

*그래프는 붙여넣기 오류로 파일 참조

week 4. Statistical Inference _ 현주

따봉콩쥐야고마워 — Sat, 29 Jun 2024 19:17:38 +0900

ch04.ipynb

0.01MB

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

In [ ]:

from google.colab import drive
drive.mount('/content/drive')

Mounted at /content/drive

In [ ]:

data = pd.read_csv("/content/drive/MyDrive/Colab Notebooks/ACCIDENTS_GU_BCN_2013.csv",encoding='latin-1')
data['Date'] = '2013-'+data['Mes de any'].apply(lambda x : str(x)) + '-' +  data['Dia de mes'].apply(lambda x : str(x))
data['Date'] = pd.to_datetime(data['Date'])
accidents = data.groupby(['Date']).size()
print(accidents.mean())

25.90958904109589

In [ ]:

# population
df = accidents.to_frame()
N_test = 10000
elements = 200

# mean array of samples
means = [0] * N_test

# sample generation
for i in range(N_test):
    rows = np.random.choice(df.index.values, elements)
    sampled_df = df.loc[rows]
    means[i] = sampled_df.mean()

표본 추출을 통한 표준 오차 추출

In [ ]:

import math

rows = np.random.choice(df.index.values, 200)
sampled_df = df.loc[rows]
est_sigma_mean = sampled_df.std()/math.sqrt(200)
print('Direct estimation of SE from one sample of 200 elements:', est_sigma_mean[0])
print('Estimation of the SE by simulating 10000 samples of 200 elements:', np.array(means).std())

Direct estimation of SE from one sample of 200 elements: 0.6549076424202902
Estimation of the SE by simulating 10000 samples of 200 elements: 0.643482902958579

부트스트랩 방법을 사용하여 데이터의 평균을 추정하는 과정을 구현하고, 이를 통해 데이터에 대한 평균 값을 예측

In [ ]:

def meanBootstrap(X, numberb):
  x = [0]*numberb
  for i in range(numberb):
      sample = [X[j] for j in np.random.randint(len(X), size=len(X))]
      x[i] = np.mean(sample)
  return x

m = meanBootstrap(accidents, 10000)
print("Mean estimate:", np.mean(m))

Mean estimate: 25.91052876712329

In [ ]:

m = accidents.mean()
se = accidents.std() / math.sqrt(len(accidents))
ci = [m - se*1.96, m + se*1.96]
print("Confidence interval: ", ci)

Confidence interval:  [24.975156065800284, 26.8440220163915]

In [ ]:

m = meanBootstrap(accidents, 10000)
sample_mean = np.mean(m)
sample_se = np.std(m)

print("Mean estimate:", sample_mean)
print("SE of the estimate:", sample_se)

ci = [np.percentile(m, 2.5), np.percentile(m, 97.5)]
print("Confidence interval:", ci)

Mean estimate: 25.910285753424656
SE of the estimate: 0.47678386671159984
Confidence interval: [24.964383561643835, 26.83568493150685]

In [ ]:

data = pd.read_csv("/content/drive/MyDrive/Colab Notebooks/ACCIDENTS_GU_BCN_2010.csv",encoding='latin-1')

#Create a new column which is the date
data['Date'] = data['Dia de mes'].apply(lambda x: str(x)) + '-' + data['Mes de any'].apply(lambda x: str(x))
data2 = data['Date']
counts2010 = data['Date'].value_counts()
print('2010: Mean', counts2010.mean())

data = pd.read_csv("/content/drive/MyDrive/Colab Notebooks/ACCIDENTS_GU_BCN_2013.csv",encoding='latin-1')
#Create a new column which is the date
data['Date'] = data['Dia de mes'].apply(lambda x: str(x)) + '-' + data['Mes de any'].apply(lambda x: str(x))
data2 = data['Date']
counts2013 = data['Date'].value_counts()
print('2013: Mean', counts2013.mean())

2010: Mean 24.81095890410959
2013: Mean 25.90958904109589

In [ ]:

n = len(counts2013)
mean = counts2013.mean()
s = counts2013.std()
ci = [mean - s*1.96/np.sqrt(n), mean + s*1.96/np.sqrt(n)]
print('2010 accident rate estimate: ', counts2010.mean())
print('2013 accident rate estimate: ', counts2013.mean())
print('CI for 2013: ',ci)

2010 accident rate estimate:  24.81095890410959
2013 accident rate estimate:  25.90958904109589
CI for 2013:  [24.975156065800284, 26.8440220163915]

In [ ]:

m = len(counts2010)
n = len(counts2013)
p = (counts2013.mean() - counts2010.mean())
print('m: ', m, 'n: ',n)
print('mean difference: ', p)

m:  365 n:  365
mean difference:  1.0986301369863014

In [ ]:

# pooling distributions
x = counts2010
y = counts2013
pool = np.concatenate([x, y])
np.random.shuffle(pool)

#sample generation
import random
N = 10000 #number of sample
diff = []
for i in range(N):
  p1 = [random.choice(pool) for _ in range(n)]
  p2 = [random.choice(pool) for _ in range(n)]
  diff.append(np.mean(p1) - np.mean(p2))

In [ ]:

#counting differences larger than ths observed one
diff2 = np.array(diff)
w1 = np.where(diff2 > p) [0]

print('p-value (Simulation)= ', len(w1)/float(N), '(', len(w1)/float(N)*100,'%)', 'Difference =', p)
if (len(w1)/float(N)) <0.05:
  print('The effect is likely')
else:
  print('The effect is not likely')

p-value (Simulation)=  0.0461 ( 4.61 %) Difference = 1.0986301369863014
The effect is likely

week 3. Descriptive Statistics _ 현주

따봉콩쥐야고마워 — Sat, 29 Jun 2024 19:13:38 +0900

ch03.ipynb

0.29MB

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

In [ ]:

file = open('/content/drive/MyDrive/Colab Notebooks/adult.data', 'r')
def chr_int(a):
  if a.isdigit():
    return int(a)
  else:
    return 0

data = []
for line in file:
  data1 = line.split(',')
  if len(data1) == 15:
    data.append([chr_int(data1[0]), data1[1],
                chr_int(data1[2]), data1[3],
                chr_int(data1[4]), data1[5],
                data1[6],data1[7],data1[8],
                data1[9], chr_int(data1[10]),
                chr_int(data1[11]),
                chr_int(data1[12]),
                data1[13], data1[14]
                ])

In [ ]:

print(data[1:2])

[[50, ' Self-emp-not-inc', 0, ' Bachelors', 0, ' Married-civ-spouse', ' Exec-managerial', ' Husband', ' White', ' Male', 0, 0, 0, ' United-States', ' <=50K\n']]

In [ ]:

df = pd.DataFrame(data)
df.columns = [
    'age', 'type_employer', 'fnlwgt',
    'education', 'education_num', 'material',
    'occupation', 'relationship', 'race',
    'sex', 'capital_gain', 'capital_loss',
    'hr_per_week', 'country', 'income'
    ]
df

Out[ ]:

agetype_employerfnlwgteducationeducation_nummaterialoccupationrelationshipracesexcapital_gaincapital_losshr_per_weekcountryincome01234...3255632557325583255932560

39	State-gov	0	Bachelors	0	Never-married	Adm-clerical	Not-in-family	White	Male	0	0	0	United-States	<=50K\n
50	Self-emp-not-inc	0	Bachelors	0	Married-civ-spouse	Exec-managerial	Husband	White	Male	0	0	0	United-States	<=50K\n
38	Private	0	HS-grad	0	Divorced	Handlers-cleaners	Not-in-family	White	Male	0	0	0	United-States	<=50K\n
53	Private	0	11th	0	Married-civ-spouse	Handlers-cleaners	Husband	Black	Male	0	0	0	United-States	<=50K\n
28	Private	0	Bachelors	0	Married-civ-spouse	Prof-specialty	Wife	Black	Female	0	0	0	Cuba	<=50K\n
...	...	...	...	...	...	...	...	...	...	...	...	...	...	...
27	Private	0	Assoc-acdm	0	Married-civ-spouse	Tech-support	Wife	White	Female	0	0	0	United-States	<=50K\n
40	Private	0	HS-grad	0	Married-civ-spouse	Machine-op-inspct	Husband	White	Male	0	0	0	United-States	>50K\n
58	Private	0	HS-grad	0	Widowed	Adm-clerical	Unmarried	White	Female	0	0	0	United-States	<=50K\n
22	Private	0	HS-grad	0	Never-married	Adm-clerical	Own-child	White	Male	0	0	0	United-States	<=50K\n
52	Self-emp-inc	0	HS-grad	0	Married-civ-spouse	Exec-managerial	Wife	White	Female	0	0	0	United-States	>50K\n

32561 rows × 15 columns

In [ ]:

df.shape

Out[ ]:

(32561, 15)

In [ ]:

counts = df.groupby('country').size()
print(counts.head())

country
 ?           583
 Cambodia     19
 Canada      121
 China        75
 Columbia     59
dtype: int64

In [ ]:

ml = df[df['sex'] == ' Male']
ml

Out[ ]:

39	State-gov	0	Bachelors	0	Never-married	Adm-clerical	Not-in-family	White	Male	0	0	0	United-States	<=50K\n
50	Self-emp-not-inc	0	Bachelors	0	Married-civ-spouse	Exec-managerial	Husband	White	Male	0	0	0	United-States	<=50K\n
38	Private	0	HS-grad	0	Divorced	Handlers-cleaners	Not-in-family	White	Male	0	0	0	United-States	<=50K\n
53	Private	0	11th	0	Married-civ-spouse	Handlers-cleaners	Husband	Black	Male	0	0	0	United-States	<=50K\n
52	Self-emp-not-inc	0	HS-grad	0	Married-civ-spouse	Exec-managerial	Husband	White	Male	0	0	0	United-States	>50K\n
...	...	...	...	...	...	...	...	...	...	...	...	...	...	...
32	Private	0	Masters	0	Never-married	Tech-support	Not-in-family	Asian-Pac-Islander	Male	0	0	0	Taiwan	<=50K\n
53	Private	0	Masters	0	Married-civ-spouse	Exec-managerial	Husband	White	Male	0	0	0	United-States	>50K\n
22	Private	0	Some-college	0	Never-married	Protective-serv	Not-in-family	White	Male	0	0	0	United-States	<=50K\n
40	Private	0	HS-grad	0	Married-civ-spouse	Machine-op-inspct	Husband	White	Male	0	0	0	United-States	>50K\n
22	Private	0	HS-grad	0	Never-married	Adm-clerical	Own-child	White	Male	0	0	0	United-States	<=50K\n

21790 rows × 15 columns

In [ ]:

ml1 = df[(df.sex == ' Male') & (df.income==' >50K\n')]
fm = df[(df.sex == ' Female')]
fm1 = df[(df.sex == ' Female') & (df.income==' >50K\n')]

In [ ]:

df1 = df[(df.income==' >50K\n')]
print('The rate of people with high income is: ',
      int(len(df1)/float(len(df))*100), '%.')
print('The rate of men with high income is: ',
      int(len(ml1)/float(len(ml))*100), '%.')
print('The rate of people with high income is: ',
      int(len(fm1)/float(len(fm))*100), '%.')

The rate of people with high income is:  24 %.
The rate of men with high income is:  30 %.
The rate of people with high income is:  10 %.

In [ ]:

print('The average age of men is: ',
      ml['age'].mean())
print('The average age of women is: ',
      fm['age'].mean())

print('The average age of high-income men is: ',
      ml1['age'].mean())
print('The average age of high-income women is: ',
      ml['age'].mean())

The average age of men is:  39.43354749885268
The average age of women is:  36.85823043357163
The average age of high-income men is:  44.62578805163614
The average age of high-income women is:  39.43354749885268

In [ ]:

ml_mu = ml['age'].mean()
fm_mu = fm['age'].mean()
ml_var = ml['age'].var()
fm_var = fm['age'].var()
ml_std = ml['age'].std()
fm_std = fm['age'].std()
print('Statistics of age for men: mu: ',
      ml_mu, 'var: ', ml_var, 'std: ', ml_std)
print('Statistics of age for women: mu: ',
      fm_mu, 'var: ', fm_var, 'std: ', fm_std)

Statistics of age for men: mu:  39.43354749885268 var:  178.77375174529985 std:  13.370630192526448
Statistics of age for women: mu:  36.85823043357163 var:  196.3837063948063 std:  14.013697099438332

In [ ]:

ml_median = ml['age'].median()
fm_median = fm['age'].median()
print("Median age per men and women: ", ml_median, fm_median)

ml_median_age = ml1['age'].median()
fm_median_age = fm1['age'].median()
print("Median age per men and women with high-income: ", ml_median_age, fm_median_age)

Median age per men and women:  38.0 35.0
Median age per men and women with high-income:  44.0 41.0

In [ ]:

ml_age = ml['age']
ml_age.hist(density = 0, histtype = 'stepfilled', bins = 20)

Out[ ]:

<Axes: >

In [ ]:

fm_age = fm['age']
fm_age.hist(density = 0, histtype = 'stepfilled', bins = 10)

Out[ ]:

<Axes: >

In [ ]:

import seaborn as sns
fm_age.hist(density = 0, histtype = 'stepfilled', alpha = .5, bins = 20)
ml_age.hist(density = 0, histtype = 'stepfilled', alpha = .5,
            color = sns.desaturate("indianred",.75), bins = 10)

Out[ ]:

<Axes: >

In [ ]:

fm_age.hist(density = 1, histtype = 'stepfilled', alpha = .5, bins = 20)
ml_age.hist(density = 1, histtype = 'stepfilled', alpha = .5, bins = 10,
            color = sns.desaturate("indianred",.75))

Out[ ]:

<Axes: >

In [ ]:

ml_age.hist(density = 1, histtype = 'step',
            cumulative = True, linewidth = 3.5,
            bins = 20)
fm_age.hist(density = 1, histtype = 'step',
            cumulative = True, linewidth = 3.5,
            bins = 20, color = sns.desaturate("indianred", .75))

Out[ ]:

<Axes: >

In [ ]:

df2 = df.drop(df.index[
    (df.income == '>50K/n') &
     (df['age'] > df['age'].median() + 35) &
      (df['age'] > df['age'].median() -15)])
ml1_age = ml1['age']
fm1_age = fm1['age']

ml2_age = ml1_age.drop(ml1_age.index[
    (ml1_age > df['age'].median() + 35) &
    (ml1_age > df['age'].median() - 15)])
fm2_age = fm1_age.drop(fm1_age.index[
    (fm1_age > df['age'].median() + 35) &
    (fm1_age > df['age'].median() - 15)])

In [ ]:

mu2ml = ml2_age.mean()
std2ml = ml2_age.std()
md2ml = ml2_age.median()
mu2fm = fm2_age.mean()
std2fm = fm2_age.std()
md2fm = fm2_age.median()

print("Men statistics: Mean:", mu2ml, "Std: ", std2ml, "Median: ", md2ml, "Min: ", ml2_age.min(), "Max: ", ml2_age.max())
print("Women statistics: Mean:", mu2fm, "Std: ", std2fm, "Median: ", md2fm, "Min: ", fm2_age.min(), "Max: ", fm2_age.max())

Men statistics: Mean: 44.317982123920615 Std:  10.019749857171409 Median:  44.0 Min:  19 Max:  72
Women statistics: Mean: 41.877028181041844 Std:  10.036441807343707 Median:  41.0 Min:  19 Max:  72

In [ ]:

plt.figure(figsize = (13.4, 5))
df.age[(df.income==' >50K\n')].plot(alpha = .25, color = 'blue')
df2.age[(df2.income==' >50K\n')].plot(alpha = .45, color = 'red')

Out[ ]:

<Axes: >

In [ ]:

print('The mean difference with outliers is: %4.2f.' % (ml_age.mean() - fm_age.mean()))
print('The mean difference without outliers is: %4.2f.' % (ml2_age.mean() - fm2_age.mean()))

The mean difference with outliers is: 2.58.
The mean difference without outliers is: 2.44.

In [ ]:

countx, divisionx = np.histogram(ml2_age, density = True)
county, divisiony = np.histogram(fm2_age, density = True)

val = [(divisionx[i] + divisionx[i+1])/2
       for i in range(len(divisionx) - 1)]
plt.plot(val, countx - county, 'o-')

Out[ ]:

[<matplotlib.lines.Line2D at 0x7e0889c07040>]

In [ ]:

def skewness(x):
  res = 0
  m = x.mean()
  s = x.std()
  for i in x:
    res += (i-m) * (i-m) * (i-m)
  res /= (len(x) * s * s * s)
  return res

print("Skewness of the male population = ", skewness (ml2_age))
print("Skewness of the female population = ", skewness (fm2_age))

Skewness of the male population =  0.26644438384328223
Skewness of the female population =  0.3863335249128606

In [ ]:

def pearson(x):
  return 3*(x.mean() - x.median())*x.std()

print("Pearson's coefficient of the male population = ",
      pearson(ml2_age))
print("Pearson's coefficient of the female population = ",
      pearson(fm2_age))

Pearson's coefficient of the male population =  9.558304022209926
Pearson's coefficient of the female population =  26.406726907280902

In [ ]:

from scipy.stats import norm

x1 = np.random.normal(-1, 0.5, 15)
x2 = np.random.normal(6, 1, 10)
y = np.r_[x1, x2]
x = np.linspace(min(y), max(y), 100)

s = 0.4

kernels = np.transpose([norm.pdf(x, yi, s) for yi in y])
plt.plot(x, kernels, 'k:')
plt.plot(x, kernels.sum(1), 'r')
plt.plot(y, np.zeros(len(y)), 'bo', ms = 10)

Out[ ]:

[<matplotlib.lines.Line2D at 0x7e08897a5d20>]

In [ ]:

from scipy.stats import kde
density = kde. gaussian_kde(y)
xgrid = np.linspace(x.min(), x.max(), 200)
plt.hist(y, bins = 28, density = True)
plt.plot(xgrid, density(xgrid), 'r-')

<ipython-input-62-8b9ee6cbe47d>:2: DeprecationWarning: Please use `gaussian_kde` from the `scipy.stats` namespace, the `scipy.stats.kde` namespace is deprecated.
  density = kde. gaussian_kde(y)

Out[ ]:

[<matplotlib.lines.Line2D at 0x7e08895a7dc0>]

In [ ]:

NTs = 200
mu = 0.0
var = 1.0
err = 0.0
NPs = 1000
for i in range(NTs) :
  x = np.random.normal(mu, var, NPs)
  err += (x.mean() - mu) ** 2
print('MSE: ', err / NTs)

MSE:  0.0009382668525155507

week 2. Toolboxes for Data Scientists _ 현주

따봉콩쥐야고마워 — Sat, 29 Jun 2024 18:48:13 +0900

ch02.html

0.55MB

In [ ]:

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

In [ ]:

from google.colab import drive
drive.mount('/content/drive')

Mounted at /content/drive

In [ ]:

data = { 'year' : [
        2010, 2011, 2012,
        2010, 2011, 2012,
        2010, 2011, 2012
],
         'team' : [
            'FCBarcelona', 'FCBarcelona',
            'FCBarcelona', 'RMadrid',
            'RMadrid', 'RMadrid',
            'ValenciaCF', 'ValenciaCF',
            'ValenciaCF'
         ],
         'wins': [30,28,32,29,32,26,21,17,19],
         'draws': [6,7,4,5,4,7,8,10,8],
         'losses': [2,3,2,4,2,5,9,11,11]
         }
football = pd.DataFrame(data, columns= [
    'year', 'team', 'wins', 'draws', 'losses'
]
)
football

Out[ ]:

yearteamwinsdrawslosses012345678

2010	FCBarcelona	30	6	2
2011	FCBarcelona	28	7	3
2012	FCBarcelona	32	4	2
2010	RMadrid	29	5	4
2011	RMadrid	32	4	2
2012	RMadrid	26	7	5
2010	ValenciaCF	21	8	9
2011	ValenciaCF	17	10	11
2012	ValenciaCF	19	8	11

In [ ]:

edu = pd.read_csv('/content/drive/MyDrive/Colab Notebooks/educ_figdp_1_Data.csv',
                  na_values = ':',
                  usecols = ["TIME","GEO","Value"])

In [ ]:

edu.head()

Out[ ]:

TIMEGEOValue01234

2000	European Union (28 countries)	NaN
2001	European Union (28 countries)	NaN
2002	European Union (28 countries)	5.00
2003	European Union (28 countries)	5.03
2004	European Union (28 countries)	4.95

In [ ]:

edu.tail()

Out[ ]:

TIMEGEOValue379380381382383

2007	Finland	5.90
2008	Finland	6.10
2009	Finland	6.81
2010	Finland	6.85
2011	Finland	6.76

In [ ]:

edu.describe()

Out[ ]:

TIMEValuecountmeanstdmin25%50%75%max

384.000000	361.000000
2005.500000	5.203989
3.456556	1.021694
2000.000000	2.880000
2002.750000	4.620000
2005.500000	5.060000
2008.250000	5.660000
2011.000000	8.810000

In [ ]:

edu['Value']

Out[ ]:

0       NaN
1       NaN
2      5.00
3      5.03
4      4.95
       ... 
379    5.90
380    6.10
381    6.81
382    6.85
383    6.76
Name: Value, Length: 384, dtype: float64

In [ ]:

edu[10:14]

Out[ ]:

TIMEGEOValue10111213

2010	European Union (28 countries)	5.41
2011	European Union (28 countries)	5.25
2000	European Union (27 countries)	4.91
2001	European Union (27 countries)	4.99

In [ ]:

edu.loc[90:94, ['TIME','GEO']]

Out[ ]:

TIMEGEO9091929394

2006	Belgium
2007	Belgium
2008	Belgium
2009	Belgium
2010	Belgium

In [ ]:

edu[edu['Value'] > 6.5].tail()

Out[ ]:

TIMEGEOValue286287381382383

2010	Malta	6.74
2011	Malta	7.96
2009	Finland	6.81
2010	Finland	6.85
2011	Finland	6.76

In [ ]:

edu[edu["Value"].isnull()].head()

Out[ ]:

TIMEGEOValue01363748

2000	European Union (28 countries)	NaN
2001	European Union (28 countries)	NaN
2000	Euro area (18 countries)	NaN
2001	Euro area (18 countries)	NaN
2000	Euro area (17 countries)	NaN

In [ ]:

edu.max(axis = 0)

Out[ ]:

TIME      2011
GEO      Spain
Value     8.81
dtype: object

In [ ]:

print("Pandas max function: ", edu['Value'].max())
print("Python max function: ", max(edu['Value']))

Pandas max function:  8.81
Python max function:  nan

In [ ]:

s = edu["Value"]/100
s.head()

Out[ ]:

0       NaN
1       NaN
2    0.0500
3    0.0503
4    0.0495
Name: Value, dtype: float64

In [ ]:

s = edu["Value"].apply(np.sqrt)
s.head()

Out[ ]:

0         NaN
1         NaN
2    2.236068
3    2.242766
4    2.224860
Name: Value, dtype: float64

In [ ]:

s = edu["Value"].apply(lambda d: d**2)
s.head()

Out[ ]:

0        NaN
1        NaN
2    25.0000
3    25.3009
4    24.5025
Name: Value, dtype: float64

In [ ]:

edu["ValueNorm"] = edu["Value"]/edu["Value"].max()
edu.tail()

Out[ ]:

TIMEGEOValueValueNorm379380381382383

2007	Finland	5.90	0.669694
2008	Finland	6.10	0.692395
2009	Finland	6.81	0.772985
2010	Finland	6.85	0.777526
2011	Finland	6.76	0.767310

In [ ]:

edu.drop('ValueNorm', axis = 1, inplace = True)
edu.head()

Out[ ]:

TIMEGEOValue01234

2000	European Union (28 countries)	NaN
2001	European Union (28 countries)	NaN
2002	European Union (28 countries)	5.00
2003	European Union (28 countries)	5.03
2004	European Union (28 countries)	4.95

In [ ]:

edu = edu.append({"TIME": 2000, "Value": 5.00, "GEO": 'a'},
                  ignore_index = True)
edu.tail()

<ipython-input-28-2372007df89b>:1: FutureWarning: The frame.append method is deprecated and will be removed from pandas in a future version. Use pandas.concat instead.
  edu = edu.append({"TIME": 2000, "Value": 5.00, "GEO": 'a'},

Out[ ]:

TIMEGEOValue380381382383384

2008	Finland	6.10
2009	Finland	6.81
2010	Finland	6.85
2011	Finland	6.76
2000	a	5.00

In [ ]:

edu.drop(max(edu.index), axis = 0, inplace = True)
edu.tail()

Out[ ]:

TIMEGEOValue379380381382383

2007	Finland	5.90
2008	Finland	6.10
2009	Finland	6.81
2010	Finland	6.85
2011	Finland	6.76

In [ ]:

eduDrop = edu.drop(edu[edu["Value"].isnull()].index, axis=0)
eduDrop.head()

Out[ ]:

TIMEGEOValue23456

2002	European Union (28 countries)	5.00
2003	European Union (28 countries)	5.03
2004	European Union (28 countries)	4.95
2005	European Union (28 countries)	4.92
2006	European Union (28 countries)	4.91

In [ ]:

eduDrop = edu.dropna(how = 'any', subset = ["Value"])
eduDrop.head()

Out[ ]:

TIMEGEOValue23456

2002	European Union (28 countries)	5.00
2003	European Union (28 countries)	5.03
2004	European Union (28 countries)	4.95
2005	European Union (28 countries)	4.92
2006	European Union (28 countries)	4.91

In [ ]:

eduFilled = edu.fillna(value = {"Value":0})
eduFilled.head()

Out[ ]:

TIMEGEOValue01234

2000	European Union (28 countries)	0.00
2001	European Union (28 countries)	0.00
2002	European Union (28 countries)	5.00
2003	European Union (28 countries)	5.03
2004	European Union (28 countries)	4.95

In [ ]:

edu.sort_values(by = 'Value', ascending = False,
                inplace = True)
edu.head()

Out[ ]:

TIMEGEOValue130131129121122

2010	Denmark	8.81
2011	Denmark	8.75
2009	Denmark	8.74
2001	Denmark	8.44
2002	Denmark	8.44

In [ ]:

edu.sort_index(axis = 0, ascending = True, inplace = True)
edu.head()

Out[ ]:

TIMEGEOValue01234

2000	European Union (28 countries)	NaN
2001	European Union (28 countries)	NaN
2002	European Union (28 countries)	5.00
2003	European Union (28 countries)	5.03
2004	European Union (28 countries)	4.95

In [ ]:

group = edu[["GEO", "Value"]].groupby('GEO').mean()
group.head()

Out[ ]:

ValueGEOAustriaBelgiumBulgariaCyprusCzech Republic

5.618333

6.189091

4.093333

7.023333

4.168333

In [ ]:

filtered_data = edu[edu["TIME"] > 2005]
pivedu = pd.pivot_table(filtered_data, values = 'Value',
                       index = ['GEO'],
                       columns = ['TIME'])
pivedu.head()

Out[ ]:

TIME200620072008200920102011GEOAustriaBelgiumBulgariaCyprusCzech Republic

5.40	5.33	5.47	5.98	5.91	5.80
5.98	6.00	6.43	6.57	6.58	6.55
4.04	3.88	4.44	4.58	4.10	3.82
7.02	6.95	7.45	7.98	7.92	7.87
4.42	4.05	3.92	4.36	4.25	4.51

In [ ]:

pivedu.loc[['Spain','Portugal'], [2006,2011]]

Out[ ]:

TIME20062011GEOSpainPortugal

4.26	4.82
5.07	5.27

In [ ]:

pivedu = pivedu.drop([
    'Euro area (13 countries)',
    'Euro area (15 countries)',
    'Euro area (17 countries)',
    'Euro area (18 countries)',
    'European Union (25 countries)',
    'European Union (27 countries)',
    'European Union (28 countries)',],
    axis = 0)
pivedu = pivedu.rename(index = {'Germany (untill 1990 former territory of the FRG)': 'Germany'})
pivedu = pivedu.dropna()
pivedu.rank(ascending = False, method = 'first').head()

Out[ ]:

TIME200620072008200920102011GEOAustriaBelgiumBulgariaCyprusCzech Republic

10.0	7.0	11.0	7.0	8.0	8.0
5.0	4.0	3.0	4.0	5.0	5.0
21.0	21.0	20.0	20.0	22.0	22.0
2.0	2.0	2.0	2.0	2.0	3.0
19.0	20.0	21.0	21.0	20.0	19.0

In [ ]:

totalsum = pivedu.sum(axis = 1).sort_values(ascending = False)
totalsum.plot(kind = 'bar', style = 'b', alpha = 0.4,
              title = "Total Values for Country")

Out[ ]:

<Axes: title={'center': 'Total Values for Country'}, xlabel='GEO'>

In [ ]:

my_colors = ['b', 'r', 'g', 'y', 'm', 'c']
ax = pivedu.plot(kind = 'barh',
                 stacked = True,
                 color = my_colors)
ax.legend(loc = 'center left', bbox_to_anchor = (1, .5))

Out[ ]:

<matplotlib.legend.Legend at 0x7e8e20484b20>

6주차 - 가설 검정

진쨔힌쟈 — Tue, 25 Jun 2024 17:16:32 +0900

6주차 - 가설 검정

가설(hypothesis test) : 연구를 유도하는 잠정적 진술 가설 검정 - 모집단에 관련된 어느 특정한 주장이 통계적으로 유의미한지 표본을 통해 확인하는 작업 - 모집단 평균을 추정하는 것이 목적인 신

just-wishful-thinking.tistory.com

(팀원 박현지의 개인 블로그)

가설(hypothesis test)

: 연구를 유도하는 잠정적 진술

가설 검정

- 모집단에 관련된 어느 특정한 주장이 통계적으로 유의미한지 표본을 통해 확인하는 작업

- 모집단 평균을 추정하는 것이 목적인 신뢰구간과 관련이 있음

가설의 종류

1) 영가설 (null hypothesis;H0)

- 검정을 받는 대상

- 귀무가설이라고도 함

2) 대립가설(alternative hypothesis; Ha)

- 영가설에 반대되는 가설

- 영가설이 부정되었을 때 진리로 남는 잠정적 진술

- 연구가설(research hypothesis)라고도 함

p값(p-value)

- p-value가 작을수록,

1) 영가설이 사실이라고 가정했을 때, 관찰된 데이터 값이 나올 확율이 매우 적은 것을 의미

2) 영가설을 기각하는 증거

3) 대립가설(연구가설)을 채택하는 증거

- p-value가 작으면, 영가설(H0)은 기각하고 대립가설(Ha)을 지지하는 증거가 된다.

α-level

- 어떤 가설을 지지하기 위한 p-value의 기준이 되는 값

- p-value의 값이 α보다 작거나 같으면, H0을 기각할 수 있는 증거가 됨

- 통상적 기준

1) *** : p ≤ 0.001

2) ** : p ≤ 0.01

3) * : p ≤ 0.05

양방적 검정(two-tailed test)

- 등가설*을 검정하는 방법

1) 모집단의 평균이 어떤 수와 "같다"

2) 두 모집단의 평균이 "같다"

ex1)

H0: 한국 15세 학생들의 평균 키는 150cm이다.

Ha: 한국 15세 학생들의 평균 키는 150cm가 아니다.

ex2)

H0: 고등학교 1학년 남학생의 평균 수학점수는 같은 학년의 여학생 평균 수학점수와 같다

Ha: 고등학교 1학년 남학생의 평균 수학점수는 같은 학년의 여학생 평균 수학점수와 같지 않다.

등가설이란? 영가설이나 대립가설에 부등호가 없는 경우

- 양방적 검정일 경우, 유의수준이 양쪽으로 분할되므로 α/2에 해당하는 z-value 값을 이용

일방정 검정(one-tailed test)

- 부등가설을 검정하는 방법

case1 ) 단일표본 : 모집단의 평균 모수치가 특정 수보다 작거나 같다 (혹은 크거나 같다)

case 2) 비교 : 어느 모집단의 평균 모수치가 다른 모집단의 평균 모수치보다 작거나 같다 (혹은 크거나 같다)

ex1)

H0: 한국 15세 학생들의 평균 키는 150cm보다 작다.

Ha: 한국 15세 학생들의 평균 키는 150cm이상이다.

ex2)

H0: 고등학교 1학년 남학생의 평균 수학점수는 같은 학년의 여학생 평균 수학점수와 같거나 낮다.

Ha: 고등학교 1학년 남학생의 평균 수학점수는 같은 학년의 여학생 평균 수학점수보다 높다.

가설검정의 단계

1) 가정(assumption) : 데이터 종류, 무작위, 모집단 분포, 표본 크기

2) 가설(hypothesis) : 영가설(H0)와 연구가설(Ha)

3) 통계 테스트(test statistics) : 두 가설 비교

4) p-value : 작을수록 연구가설을 강하게 지지하는 증거

5) 결론(conclusion) : p-value와 함께 결론을 보고

→ p-value가 주어진 α-level보다 작거나 같으면 (예: α=0.05), 영가설을 기각

→ p-value가 기준보다 큰 경우에는 영가설을 기각할 수 없고, 이는 연구가설을 지지할 수 없다는 것을 의미

가설검정의 오류

		결정
		H0 기각	H0 기각하지 않음
실제	H0이 옳음	1종 오류 (Type 1 Error)	오류 없음
실제	H0이 옳지 않음	오류 없음	2종 오류 (Type 2 Error)

- 1종 오류 : 영가설이 옳지만 기각하는 오류

→ 이를 허용하는 확률은 α, 즉 유의수준(significant level)로 표기

→ 1종 오류를 피하는 것이 가장 바람직한 연구

- 2종 오류 : 영가설이 옳지 않은데 채택하는 오류

5주차 - 추정

진쨔힌쟈 — Tue, 25 Jun 2024 17:15:23 +0900

5주차 - 추정

추정(estimation) - 점 추정(point estimation) : 모수(parameter)에 가장 가까운 추정값 ex1) 모집단의 평균 μ = 표집의 평균 으로 추정 ex2) 모집단의 표준편차(σ)를 표집의 표준편차로 추정 BUT! 점 추정의 경

just-wishful-thinking.tistory.com

(팀원 박현지의 개인 블로그)

추정(estimation)

- 점 추정(point estimation)

: 모수(parameter)에 가장 가까운 추정값

ex1) 모집단의 평균 μ = 표집의 평균 으로 추정

ex2) 모집단의 표준편차(σ)를 표집의 표준편차로 추정

BUT! 점 추정의 경우, 한 표본의 평균이 모집단의 평균과 정확히 일치한다는 보장 X

SO, 특정값이 아닌, 모집단의 평균을 담고 있을 가능성이 높은 값들의 "범위"를 구한다

우리는 이것을 구간 추정이라 한다.

이때, 구간 = 점 추정 값(point estimate) ± 오차범위(margin of error)

- 구간 추정(interval estimation)

1) 신뢰도(confidence) 결정하기

- 신뢰도 : 실제 모집단의 모수 값이 존재할 수 있는 특정확률 조건

2) 표준오차에 근거하여 신뢰구간 구하기

3) 특정 구간 내에 모집단의 평균값이 있을 확률을 구하기

- 신뢰구간(confidence interval)

: 표집분포의 평균값과 표준오차를 이용하여 추정

→ 표집분포가 정규분포이기 때문에 여기에서 추출된 평균은 모집단의 평균값에서 크게 벗어나지 않을 "확률"이 높음

→ 표본의 크기가 클수록 표준 오차는 작아지고(분산도 작아지고 있음을 의미 so,) 신뢰구간은 좁아짐!

즉, 더욱 정밀한 추정을 할 수 있다고 판단 가능!

- α값

1) * : α = 0.05 , 95% 신뢰구간

2) ** : α = 0.01 , 99% 신뢰구간

3) *** : α = 0.001, 99.9% 신뢰구간

- 신뢰구간 계산하기

표본평균들의 평균 ± (z-score) * (표준오차)

이때, 오차 한계는 (z-score)*(표준오차)로

따라서,

95% 신뢰구간 = 표본평균들의 평균 ± (1.96 x SE)

99% 신뢰구간 = 표본평균들의 평균 ± (2.576 x SE)

모집단 평균의 신뢰구간은 보통 z-score를 이용하여 구할 수 있음.

→ 단, 중심극한정리에 따르면 표본 자체의 크기가 클 때 (n≥30),

표본평균의 표집분포가 모집단의 분포 모양과 상관 없이 정규 분포라고 함.

즉, 표본의 크기가 작을 경우 중심극한정리가 적용되지 않음!

물론, 모집단의 분포가 정규분포일 경우 표본의 크기가 작아도 표본평균의 표집분포는 정규 분포 모양을 하고 있다.

하지만... 우리는 모집단의 분포 모양을 모른다!

그럼 표본 크기가 작을 때 신뢰구간은 어떻게 구할 수 있을까?

1) 우선 모집단의 분포가 정규분포라고 가정

2) 이런 가정에도 표본의 크기가 작으면 표본 평균이 이상치*(outlier)에 민감하게 반응

3) 즉, 표본 표준편차가 모집단의 표준편차와 다를 가능성이 커짐

∴ z-score보다 조금 더 큰 값인 t-score로 교체해 신뢰구간을 구함!

결국 표본의 크기가 30보다 작을 경우 신뢰 구간은

표본평균들의 평균 ± (t-score) * (표준오차)

*이상치(outlier) : 보통 관측치에서 벗어난 아주 작은 값이나 큰값

t-분포

-평균값 0을 중심으로 대칭 (하지만 표준정규분포보다는 조금 더 퍼진 모양)

- 표준편차는 1보다 큼 (즉, 양쪽 꼬리가 더 두텁다*)

- 실제 t-분포의 모양은 표본 크기, 정확히는 자유도에 따라 달라짐

→ 자유도(df) = n -1

→ 자유도가 크면 (30 이상) t-분포는 표준정규분포에 수렴, z-점수에 점점 더 가까워짐

t-분포

*t-score가 z-score보다 큰 이유

n이 작으면 평균값에 가까워질 확률이 적어진다.

그래서 평균값에 멀어질수록 빈도가 많아지게 되고 z점수에 비해 큰 값을 가지게 된다.

4주차 - 분포

진쨔힌쟈 — Tue, 25 Jun 2024 17:14:26 +0900

4주차 - 분포

※ 지난 시간 복습하기 분포 : 집중경향성과 산포도를 통해 정의할 수 있음 - 평균(μ)과 표준편차(σ)를 통해 정의한 분포를 가장 많이 사용 집중경향성(central tendency) 산포도(dispersion) 자료가 어떤

just-wishful-thinking.tistory.com

(팀원 박현지의 개인 블로그)

※ 지난 시간 복습하기

분포 : 집중경향성과 산포도를 통해 정의할 수 있음

- 평균(μ)과 표준편차(σ)를 통해 정의한 분포를 가장 많이 사용

집중경향성(central tendency)	산포도(dispersion)
자료가 어떤 특정한 값으로 몰리는 현상	자료가 흩어져 있는 정도
1) 평균 - mean 2) 중앙값 - median 3) 최빈값 - mode	1) 범위 2) 사분범위 3) 분산 : SS의 평균값 4) 표준편차 : 분산의 루트값

여러 가지 분포

1) 정규 분포

- 중심경향값이 같음 (평균값=최빈값=중앙값)

- 좌우대칭 (Symmetric)

- 종형곡선 (bell-shaped curve)

- 표준정규분포 (standard normal distribution) → μ=0, σ=1

정규분포

2) 확률 분포

- 변수의 모든 값들이 나올 확률을 분포로 보여줌

- 0~1 사이의 값을 가진다

- P(A) : A라는 사건이 일어날 확률

[P(A)와 P(B)]

- P(not A) = 1-P(A) : A가 일어나지 않을 확률

- A와 B가 함께 일어날 확률이 없다고 가정(Mutually Exclusive 배반사건)

> P(A or B)=P(A)+P(B)

> P(A and B)= 0

- A와 B가 독립사건 (주사위)

> P(A and B)=P(A)*P(B)

> P(A or B)=P(A)+P(B)

(ex) A 사건: 주사위를 던졌을 때 1이 나오는 사건 / B 사건: 주사위를 던졌을 때 2가 나오는 사건)

- B는 종속 사건(A의 발생이 B의 발생 확률에 영향을 주는 경우)

> P(A and B)=P(A)*P(B/A)

> P(A or B)=P(A)+P(B)-P(A and B)
(ex)주머니에 들어있는 10개의 다른 색 공들 중에서 비복원 추출)

- 이산형 변수(discrete variable)의 확률분포

- 연속 변수(continuous variable)의 확률분포

연속변수의 확률분포는 정규분포의 모양을 가지고 있다

3) 왜도(skewness) : 분포의 비대칭 정도

① 정규분포 : 왜도 = 0 , 평균=중앙=최빈

② 정적편포(양적) : 왜도 > 0 , 최빈<중앙<평균

③ 부적편포(음적) : 왜도 < 0 , 평균<중앙<최빈

표준 점수(standard score)

: 원점수(raw score)의 상대적 위치를 알려주기 위한 점수

"Z-score"

- 분포 안에서 모든 점수의 정확한 위치를 묘사하기 위해서 사용

- 개별점수와 평균 사이의 표준편차를 계산하여 평균으로부터의 거리를 구체화

- 분포를 표준화하여 비교에 용이

z 점수 공식

- (Y - μ) : 개별점수와 평균 사이의 거리

- 표준편차로 나누는 이유, 표준편차 단위에 근거해 거리를 측정하기 위해서

이전까지는 주어진 데이터를 효과적으로 제시하는 "기술 통계"에 대해 배웠다면,

지금부터는 표본에 대한 이해를 바탕으로 모집단의 특성을 추론할 수 있는 "추론 통계"에 대해서 배운다

추론통계(Inferential Stastics)

- 모집단에서 표본을 추출, 표본을 연구함으로써 모집단에 대한 일반화를 가능하게 하는 "통계적" 방법

- 표본과 모집단을 연결

- 필요성 : 모집단의 모든 데이터를 수집하는데 시간과 금전적 제약이 존재

- 따라서, 모집단을 대표할 수 있는 표본을 추출하고, 표본으로부터 모집단의 속성을 추론

추론 = "추정(estimation)" + 검정

표집분포(sampling distribution)

- 표본의 크기가 n인 표본을 무한히 반복 추출한 후, 무한개의 표본들의 평균을 가지고 그린 분포

- 가상적, 이론적 분포

- 무작위 추출을 통해 모집단 평균과 표본 평균 사이의 차이를 줄임 (무작위/확률 표본 추출 Random/probability sampling)

- 표집 오차 (sampling error)

→ 표본 통계치와 모집단 모수치 사이의 불일치 or 오차

표집 오차 공식

→ 완벽한 표집이 실제로 불가능하기 때문에 오차가 생길 수 밖에 없음

표집분포의 평균과 표준오차

1) 표집분포의 평균은 모집단 평균의 불편(unbiased) 추정치

→ 편향(biased)이 발생하지 않은 어느 정도 정확한 모집단 평균의 추정치라는 의미

2) 표집분포의 분산 < 모집단 분산

→ because, 표집분포의 분산은 표본들의 평균값들의 분산 ( = 중심 극한 정리)

→ so, 분산을 기준으로 모집단의 분산을 n으로 나눠준만큼 작아짐

→ 그렇다면 표준편차를 기준으로는 √n 으로 나눠준만큼 작아짐.

따라서 표준오차(se, standard error, 표집오차와 헷갈리지 말것!)는

표준오차 공식

샘플 사이즈(n) 값이 커질수록, 표준오차는 줄어든다.

※중심 극한 정리 ★★★★★

하나의 표본을 추출할 때 많은 그 크기(n)를 크게하면(적어도 30 이상), "표집분포는 정규분포를 따른다"

하나의 표본 자체가 정규분포를 따른다는 의미가 아님!

표본 추출을 N(≠n)번 반복하여, 각 표본들의 평균을 모은 표집분포가 정규분포를 따른다는 의미!

※ 표집편차 vs. 표집오차 ★★★★★

표준편차(Standard Deviation)

- 표준편차는 데이터의 분포가 얼마나 넓게 퍼져 있는지를 나타내는 지표

- 각 데이터가 평균으로부터 얼마나 떨어져 있는지를 나타내는 값

- 표준편차가 클수록 데이터의 분포가 넓게 퍼져 있고, 작을수록 분포가 좁게 모여 있음

표준오차(Standard Error)

- 표준오차는 표본의 통계량(예: 평균)이 얼마나 정확한지를 나타내는 지표

- 표준오차는 표본의 크기와 관련이 있고, 표본의 통계량이 모집단의 통계량을 얼마나 잘 추정하는지를 나타냄

- 일반적으로 표본의 크기가 클수록 표본의 통계량이 모집단의 통계량을 더 정확하게 추정, n 값이 커지면 SE는 작아짐

3주차 - 기술 통계

진쨔힌쟈 — Tue, 25 Jun 2024 17:13:17 +0900

3주차 - 기술 통계

※ 지난 시간 복습하기 기술 통계 (descriptive statstics) 추론 통계 (inferenrial statistics) - 데이터를 요약 - 얻은 결과와 해석의 의미를 자료 자체에 국한 - 통계량(statistics) • 숫자로 표현한 자료(표본)

just-wishful-thinking.tistory.com

(팀원 박현지의 개인 블로그)

※ 지난 시간 복습하기

기술 통계 (descriptive statstics)	추론 통계 (inferenrial statistics)
- 데이터를 요약 - 얻은 결과와 해석의 의미를 자료 자체에 국한 - 통계량(statistics) • 숫자로 표현한 자료(표본)의 요약 • 결국 알려진 정보(known)	- 모집단에서 표본 추출 후 이를 연구함으로써, 모집단에 대한 일반화를 가능케 하는 통계적 방법 - 표본(sample)과 모집단(population)을 연결 - 모수(parameter) • 숫자로 표현한 모집단의 요약 • 보통 알려지지 않은 정보(unknown)

기술 통계의 목적 "자료를 통해 현상을 설명하는 것"

→ 즉, 자료를 적절하고 정확하게 제시하는 것이 중요하다.

이를 위해, 다양한 기술 통계 기법과 관련 개념에 대해 알아둬야 한다.

빈도분포(frequency)

: 연구가설을 검증하기 전, 중요하게 생각하는 개별 변수들의 빈도분포를 확인할 것!

∵ 빈도 분포표를 확인하여 가설을 검증하기 위한 유의미한 변수인지 어느정도 파악한 후에 분석을 시작하기 위해

즉, 변수의 가변성이 있는지 확인!

[그래프]

- 데이터의 특성을 효과적으로 설명

- 변수의 특성, 연구 목적에 따라 그래프의 종류를 선택한다

(1) 막대 그래프 : 명목 변수, 서열 변수

(2) 히스토그램 : 양적 변수 (연속 변수) → 목적에 맞게 구간(간격)을 설정

+) 상대도수(relative frequency) 히스토그램의 면적을 전부 합치면 100%

(3) '누적형' 막대 그래프 : 두 항목의 변수 비율을 비교할 때 용이 / 일반 막대 그래프에 비해 정보를 추가하여 보여줌

(4) 원 그래프(pie chart) : 한 항목의 변수의 분포 정도, 비율을 한눈에 비교하기 위해 사용

(5) 선 도표 : 시간의 순서에 따른 변화의 추이를 확인

(6) 누가백분율도표 : 누적퍼센트를 y축, "변곡점을 찾을 때" 활용

(7) 줄기잎 도표 : 히스토그램의 일종으로, 적은 수의 샘플을 검토시 유용, 샘플이 많을 경우 사용 X

[두 변수 사이의 관계를 기술할 경우]

(1) 범주형 변수 → "교차분석표"를 이용

- 빈도만 표시해서 교차분석표를 만들 경우, 원하는 정보를 한눈에 알아보기 어렵다.

- 여러 옵션을 설정하여 필요한 정보를 제시하도록 한다.

(2) 양적 변수 → "산포도"를 이용

- 산포도의 모양과 기울기를 이용하여 분석

- X축은 독립 변수, Y축은 종속 변수

- 적절한 척도를 제시하여 x와 y의 관계를 보여준다

- 독립 변수의 특성에 따라 다양한 종류의 그래프가 될 수 있음

분포(Distribution)

1) 데이터의 관찰값들이 특정한 값으로 모이는 경향

2) 흩어진 정도

"그래프를 통해 이러한 자료의 속성을 파악"

1. 집중경향성(Central tendency)

자료가 어떤 특정한 값으로 몰리는 현상을 의미(Central location)

1) 평균(mean)

- 전체 사례수의 총합을 총 사례 수로 나눈 것

- 중심경향값 중에서 가장 흔하게 쓰임

2) 중앙값(median)

- 가장 작은 수부터 가장 큰 수까지 나열하였을 때 중앙에 위치하는 값

- 사례수가 홀수인 경우, 정중앙 값을 선택

- 사례수가 짝수인 경우, 중앙에 위치한 2개 값을 더한 후 2로 나누어 중앙값으로 채택함

3) 최빈값(mode)

- 가장 빈도가 높은 관찰값

연습문제

1 2 3 6 7 8 8 8 11

중앙값 = 7

최빈값 = 8

평균 = (1+2+3+6+7+8+8+8+11)/9 = 6

2. 산포도(Dispersion)

1) 범위(range)

- 최고값과 최저값의 차이

2) 사분범위(inter-quartile range)

- 중앙값을 중심으로 한 분산도

- 제 1사분수와 제3사분위수의 범위

- Q1(25%) ~ Q3(75%)에 해당하는 사분위수만 고려하므로 실질적인 모든 값을 반영하지 X

그럼 "모든 자료를 고려하여 분포의 흩어진 정도를 표현하기 위해서" 어떤 값을 계산 해야하는가...?

그 값을 계산하기 위한 과정으로 "편차"의 개념을 알아보자

	관찰 값	평균	편차	편차 제곱
	18	20	-2	4
	19		-1	1
	20		0	0
	21		1	1
	22		2	4
합	100		0	10 (SS)

편차 (deviation) : 각 관찰값의 평균과의 차이

SS (제곱합, sum of squre) : 각 관찰값의 편차를 제곱한 값들의 합

"항상 0이 되는 편차의 합과 달리, 편차제곱의 합은 0이 되지 않음"

SS를 이용하여 분산, 표준편차를 구함

3) 분산(variance)

- SS의 평균 (ex. 위 표의 분산은 10/(5-1) =2.5 )

- 모집단과 표본의 표준 편차를 구하는 방식에 차이가 있다 ★ ★ ★ ★ ★

why?

표본의 분산은 모분산보다 낮게 추정되므로, 오차를 잡기 위해 N이 아닌 n-1로 나눈다.
이것을 분산의 불편파추정치라고 한다.

이해를 돕기 위한 블로그 정리 글 : 왜 표본분산은 n-1로 나누죠? 자유도, 불편추정량에 대한 고백

모집단의 분산

표본의 분산

4) 표준편차 (standard deviation)

- 분산의 제곱근(루트값)

- σ ≥ 0 (모집단의 표준 편차는 항상 0이상의 값을 가진다)

- σ = 0 (모든 관찰 값이 같은 값일 때, 모집단의 표준 편차는 0이다)

- 넓게 퍼진 분포일수록 표준편차가 크게 나타난다

모집단의 표준편차

표본의 표준편차