incastle의 콩나물

Bandit으로 application security testing하기

incastle — Tue, 12 Apr 2022 23:50:54 +0900

Bandit이란?

- bandit은 Python 코드에서 일반적인 보안 문제를 찾기 위해 설계된 도구입니다.

- 이를 위해 Bandit은 각 파일을 처리하고 이 파일에서 AST를 만들고 AST 노드에 대해 적절한 플러그인을 실행합니다. - - Bandit이 모든 파일 스캔을 마치면 보고서를 생성합니다.

사용법

## severity-level : low, medium, high 중 특정 level 이상의 보안 항목만 보고 싶을 때
## o : save file path
## f : save file format (csv, json 등 다양하게 있음)
## b : baseline_report 설정

bandit -r . o [save_report_path] --severity-level [level] -f json 
bandit -r . o [save_report_path] --severity-level [level] -f json -b [baseline path]

1) baseline없이 먼저 report를 만든다.

2) 추후 배포를 하거나 코드 변경이 있을 때 baseline report를 바라보고 bandit을 돌린다.

3) baseline에서 발생됐던 report들 이외에 새로운 bug or severity 코드가 발생되면 results부분에 해당 코드들이 report되어 저장된다.

4) 새로운 bug가 없으면 results는 빈 list를 반환한다.

참고

AST : application security testing
DAST : dynamic application security testing
- 동적 어플리케이션 보안 테스트
- Black-Box Test 방식
  - 응용 프로그램의 내부 구조나 작동원리를 모르는 상태에서 동작을 검사하는 테스트 방식
- 어플리케이션이 실행 중인 상태에서 보안 취약점을 탐지하는 것
- 대부분의 DAST Solution은 웹 어플리케이션의 취약점을 테스트하도록 설계되어 있다. -
SAST : static application security testing
- 정적 어플리케이션 보안 테스트
- White-Box Test 방식
  - 응용 프로그램의 내부 구조와 동작을 검사하는 테스트 방식
- 컴파일되지 않은 소스코드를 분석하여 수치 오류, 입력 유효성, 경쟁 조건(Race Condition), 경로 탐색, 포인터 및 참조 등과 같은 결함을 확인할 수 있다.

Amazon MSK(Managed Streaming for Apache Kafka)

incastle — Sun, 6 Feb 2022 19:14:35 +0900

Apache Kafka

Publish-Subscribe 모델을 구현한 분산 메시징 시스템이다.

(=어플리케이션간에 메세지를 교환하기 위해 사용되는 메세징 시스템)

잠깐 Publish-Subscribe?

데이터를 만들어내는 프로듀서(Producer, 생산자), 소비하는 컨슈머(Consumer, 소비자)

그리고 이 둘 사이에서 중재자 역할을 하는 브로커(Broker)로 구성된 느슨한 결합(Loosely Coupled)의 시스템이다.

프로듀서가 메세지를 보내면 카프카가 이걸 보관하고 있다가

컨슈머가 카프카에 저장된 메세지를 필요할 때 확인하는 것

왜 쓰는가?

기존은 생산자와 이에 상응하는 소비자를 명시해야함

카프카는 생산자는 메세지를 전송만 하고(누가 받을지 신경 안씀)

수신자는 카프카에게 원하는 토픽을 구독하면 됨

누가 보냈는지 신경 안쓰고 필요한 메세지만 구독하는 방식

구조가 매우 단순해지면서 유지보수, 에러발생, 트래픽 장점

kafka의 용도

메세지 처리
사용자의 웹 사이트 활동 추적 파이프라인
애플리케이션의 통계 집계
시간순으로 발생하는 이벤트를 저장해 필요한 곳으로 보냄

Amazon MSK

Apache Kafka를 사용하여 스트리밍 데이터를 처리하는 애플리케이션을 빌드하고 실행할 수 있는 완전관리형 서비스

CGI, WSGI, ASGI

incastle — Sat, 5 Feb 2022 22:17:29 +0900

django, flask등의 python 기반의 웹 프레임워크는 어떻게 서버와 통신을 하는가?

서버와 통신을 할 때 사용되는 인터페이스로서 CGI, WSGI, ASGI 등이 사용된다.

CGI(Common gateway Interface)

웹서버와 외부 프로그램을 연결해주는 표준화된 프로토콜

클라이언트의 요청이 있을 때마다 프로세스를 추가 생성 삭제 작업을 반복해서 비효율적이다. (오버헤드 심함 + 메모리)

WSGI(Web Server Gateway Interface)

WSGI는 모든 요청을 한 프로세스에서 처리를 한다.

많은 요청을 콜백으로 받아 처리를 함, CGI는 매 요청마다 Fork 등의 함수를 통해 커널 리소스를 추가/반납함

ASGI(Asynchronous Server Gateway Interface)

WSGI로도 충분히 클라이언트의 요청을 웹 서버가 받아 내 애플리케이션으로 가져올 수 있도록 만들 수 있음

but 대용량 트래픽 처리를 유연하기 하기 위해서는 여전히 부족함

특히 웹 소켓 등을 사용한 실시간 채팅 서비스 등은 WSGI로 부족함

크게 다르지 않지만 ASGI는 기본적으로 요청을 비동기로 처리한다는 점이 차이가 크다

웹 소켓(WebSocket)

위 배경에서 웹소켓이 나오기 이전에는 모두 클라이언트의 요청이 없다면, 서버로부터 응답을 받을 수 없는 구조였다

웹소켓을 이용하면 하나의 HTTP 접속으로 양방향 메시지를 자유롭게 주고받을 수 있다

Transport protocol의 일종으로 서버와 클라이언트 간의 효율적인 양방향 통신을 실현하기 위한 구조

결과적으로 웹에서도 채팅, 실시간 주식차트와 같은 실시간이 요구되는 응용프로그램의 개발을 한층 효과적으로 구현할 수 있게 됨

StringIO는 언제 사용하는가?

incastle — Tue, 4 Jan 2022 20:05:16 +0900

출처 : https://stackoverflow.com/questions/8496711/what-is-stringio-used-for-in-this-script

The StringIO module is an in-memory file-like object.

StringIO는 파일류 객체로 사용할 수 있는 클래스입니다. 데이터가 디스크에 기록되는 대신 메모리의 버퍼(문자열 버퍼)에 기록된다는 점을 제외하고는 일반 파일과 똑같이 사용할 수 있습니다.

import io

output = io.StringIO()
output.write('First line.\n')
print('Second line.', file=output)

# Retrieve file contents -- this will be
# 'First line.\nSecond line.\n'
contents = output.getvalue()

# Close object and discard memory buffer --
# .getvalue() will now raise an exception.
output.close()

close() 메서드가 호출될 때 텍스트 버퍼가 폐기된다. 줄 바꿈 변환이 활성화되면, 줄 바꿈은 write() 한 것처럼 인코딩된다. 신기한 건 print문도 file=output으로 설정해두면 stringio에 추가된다.

Auxiliary Target [Google Brain - Ventilator Pressure Prediction]

incastle — Tue, 9 Nov 2021 16:17:08 +0900

Google Brain - Ventilator Pressure Prediction대회가 끝나고 승자의 커널들을 보다 처음보는 개념이 있어서 공유한다.

Auxiliary Target이라는 건데 직역하면 '보조 타겟' 이다.

Aux선 할 때 그 Aux

이 대회의 Target value는 pressure이라는 numeric 변수이고, sequence형태의 데이터를 predict해야한다.

TensorFlow Transformer - [0.112]

Explore and run machine learning code with Kaggle Notebooks | Using data from vent-transformer

www.kaggle.com

이 때 pressure 값만 target으로 예측하는 것 외에도 'pressure.diff()' 및 'pressure.cumsum()'을 Auxiliary Target으로 사용하여 함께 예측하는데 사용했다. 이 방법으로 성능 스코어를 꽤 상승시켰다고 한다.

자세한 코드는 위 케글 노트북에 정리됐고,

Auxiliary Target 부분만 공유를 하자면 다음과 같다.

앞서 설명했던 Auxiliary Target을 만드는 부분

train['pressure_diff'] = train.groupby('breath_id').pressure.diff().fillna(0)
train['pressure_integral'] = train.groupby('breath_id').pressure.cumsum()/200

## transformer을 사용하기 위해서 데이터 형태를 (샘플수, sequence길이, target feature길이)로 변환
targets = train[['pressure', 'pressure_diff', 'pressure_integral']].to_numpy().reshape(-1,80,3)

모델을 학습할 때도 최종 output은 3차원으로 만들고

outputs = layers.Dense(3, activation="linear")(x)
model = keras.Model(inputs=inputs, outputs=outputs)

최종 예측 값에 대한 걸 받아올 때는 진짜 target인 'pressure'만 가져오고, 이를 다시 펴주는(?) 약간의 작업을 해준다.

oof_preds.append( model.predict(X_valid, verbose=VERBOSE)[:,:,0].squeeze().reshape(-1, 1) )

pyspark Array<string> column fill na with empty list

incastle — Mon, 12 Jul 2021 18:10:34 +0900

핵심은 F.array().cast('array<string>')을 사용하는 것

list column의 na를 채워줄 때 어떻게 해도 계속 에러가 나서 2시간은 삽질한 것 같다.

import pyspark.sql.functions as F

fill_array = F.array().cast("array<string>")
fill_rule = F.when(F.col('txt_set').isNull().fill_array).otherwise(F.col('txt_set')
cntn_tb = cntn_tb.withColumn('txt_set', fill_rule)

list vs numpy appending

incastle — Wed, 9 Jun 2021 14:55:26 +0900

BUT, if you're appending in a large number of loops. It's faster to append list first and convert to array than appending NumPy arrays.

큰 숫자를 loop를 돌리면, list에 append한 다음에 마지막에 numpy로 바꿔주는 게 더 빠르다

In [8]: %%timeit
   ...: list_a = []
   ...: for _ in xrange(10000):
   ...:     list_a.append([1, 2, 3])
   ...: list_a = np.asarray(list_a)
   ...:
100 loops, best of 3: 5.95 ms per loop

In [9]: %%timeit
   ....: arr_a = np.empty((0, 3), int)
   ....: for _ in xrange(10000):
   ....:     arr_a = np.append(arr_a, np.array([[1,2,3]]), 0)
   ....:
10 loops, best of 3: 110 ms per loop

Pyspark에 대해 알아보자 (1)

incastle — Sun, 28 Mar 2021 17:30:17 +0900

spark.apache.org/docs/latest/api/python/getting_started/quickstart.html

Quickstart — PySpark 3.1.1 documentation

This is a short introduction and quickstart for the PySpark DataFrame API. PySpark DataFrames are lazily evaluated. They are implemented on top of RDDs. When Spark transforms data, it does not immediately compute the transformation but plans how to compute

spark.apache.org

해당 문서를 번역하면서 궁금한 내용들을 의식의 흐름대로 정리했습니다.

QuickStart

1. PySpark DataFrames are lazily evaluated.

- RDD의 데이터 로딩 방식 때문에 lazily evaluated하다는 표현을 쓴 것 같다.

2. They are implemented on top of RDDs.

- RDD의 최상단에서 pyspark는 실행된다.

- RDD란? : 쉽게 말해서 스파크 내에 저장된 데이터를 RDD라고 하고, 변경이 불가능하다. 변경을 하려면 새로운 데이터 셋을 생성해야 한다. 출처: https://bcho.tistory.com/1027 [조대협의 블로그]

- 조대협님 블로그에 굉장히 정리가 잘됐다.

3. When Spark transforms data, it does not immediately compute the transformation but plans how to compute later.

- RDD의 데이터 로딩 방식은 Lazy 로딩 컨셉을 사용하는데, 이를 설명한다. 예를 들어 sc.textFile(“파일”)로 파일을 로딩하더라도 실제로 로딩이 되지 않는다. 파일이 로딩돼서 메모리에 올라가는 시점은 action을 이용해서 개선할 당시만 올라간다.

DataFrame Creation

4. 데이터를 다양한 방법으로 만들 수 있음

- list로 받기(좀 귀찮다)

from pyspark.sql import SparkSession
from datetime import datetime, date
import pandas as pd
from pyspark.sql import Row
spark = SparkSession.builder.getOrCreate()
df = spark.createDataFrame([
    Row(a=1, b=2., c='string1', d=date(2000, 1, 1), e=datetime(2000, 1, 1, 12, 0)),
    Row(a=2, b=3., c='string2', d=date(2000, 2, 1), e=datetime(2000, 1, 2, 12, 0)),
    Row(a=4, b=5., c='string3', d=date(2000, 3, 1), e=datetime(2000, 1, 3, 12, 0))
])
df

- schema를 정해주기 : 왠만하면 정해주는 게 좋은 거 같다. 데이터 타입 때문에 짜증 나는 일들이 많이 발생함)

- 나중에 데이터 타입들에 대해서도 한 번 정리해야겠다.

df = spark.createDataFrame([
    (1, 2., 'string1', date(2000, 1, 1), datetime(2000, 1, 1, 12, 0)),
    (2, 3., 'string2', date(2000, 2, 1), datetime(2000, 1, 2, 12, 0)),
    (3, 4., 'string3', date(2000, 3, 1), datetime(2000, 1, 3, 12, 0))
], schema='a long, b double, c string, d date, e timestamp')
df

- pandas로 받기 : 괜찮은 거 같네

pandas_df = pd.DataFrame({
    'a': [1, 2, 3],
    'b': [2., 3., 4.],
    'c': ['string1', 'string2', 'string3'],
    'd': [date(2000, 1, 1), date(2000, 2, 1), date(2000, 3, 1)],
    'e': [datetime(2000, 1, 1, 12, 0), datetime(2000, 1, 2, 12, 0), datetime(2000, 1, 3, 12, 0)]
})
## pandasa dataframe만들 때 dict으로 묶어서 만듬

df = spark.createDataFrame(pandas_df)
df

[금융데이터분석] Factor Models :: Part.2

incastle — Sat, 10 Oct 2020 14:19:21 +0900

Arbitrage Pricing Theory(APT)

기존의 CAPM에서는 시장 리스크만을 고려했지만 APT에서는 다양한 요인들이 리스크의 원천이 될 수 있다. 예를 들어 CAPM은 적정수익률 = β*(시장수익률-무위험이자율)+무위험이자율 식으로 계산이 되지만 APT에서는 적정수익률 = b1 *(석유수익률)+b2*(철강수익률)+b3*(시장수익률-무위험이자율)+무위험이자율 식으로 나타날 수 있다

CAPM의 베타는 '시장 전체'의 수익률을 고려해야 하는데, 현실적으로 그 시장수익률을 고려하는 것이 어렵다. 당장 GDP계산만 봐도 가사노동의 가치는 무시되고 있고 코스피 지수같은 것도 비상장기업에 관한 정보는 누락되어 있다. 이런 예를 보면 알겠지만, 전체 시장을 완전히 파악한다는 것은 현실적으로 불가능한 일이다. 반면 APT는 위험 요인만을 찾으면 되므로, 예를 들어 주식의 경우 위험요인으로 금리나 알트만 Z-점수 등을 사용해서 주식의 가격을 결정할 수 있다.

(출처 : 나무위키)

APT의 포인트는 a_i와 b_i 사이에 어떠한 관계가 있고, arbitrage의 기회는 없다고 가정하는 것이다.

Multifactor Model

multifactore model은 행렬식으로 나타내는 게 더 효율적임

Multiple Linear Regression

여러 개의 factor를 찾기 위해서 regression 사용

Fama-French Three-Factor Model

market factor : excess return on the market
size factor(smb, small-minus-big) : average return on the small portfolios minus the average return on the big portfolios
book-to-market equity ratio factor : average return on the value portfolios minus the average return on the growth portfolio

[응용통계학] Chapter 9-1. Comparing Two Population Means

incastle — Sat, 10 Oct 2020 10:28:19 +0900

Two Population Distribution

sample size A, B는 서로 사이즈가 달라도 괜찮음
각각은 x_i, y_i는 각 집단에서 independent하게 뽑혔음
In general, interested in assessing evidence that there is a difference between the two probability distributions

Two Population Means

if we find the A의 평균 != B의 평균 => this indicates that the two probability distributions are different
만약에 A의 평균 = B의 평균임을 밝힌다면
- two probability distribution이 같다고 결론 내릴 수 있게 됨
- or we may further compare the variances of the two data sets
How do we compare _A and _B?

we want to see if the two are the same, we construct a confidence interval for _A − _B
We are interested whether this confidence interval contains zero
another approach => hypothesis test

small p-value => reject H0

Paired vs Independent sample

두 집단을 비교할 때는 paired할 수도 있고 independent 할 수도 있다.
Paired samples may alleviate variability from outside factors

Paired

sample size => must be equal
Comparison between the two is then based upon the pairwise differences
그런 다음 둘 간의 비교는 쌍별 차이를 기반으로합니다.

Analysis of Paired Samples

이 z_i도 평균이 μ인 독립적인 하나의 분포로 해석할 수 있다. 그렇게 되면 one-sample technique을 적용할 수 있게 됨
p-value로 검증을 하기 위해서 각 집단의 평균값을 사용함

each observation obtained from population A is thought of as below

이걸 A집단, B집단으로 나눠서 생각하고 그 둘의 차이를 구하면

paired sample이기 때문에 r_i 두 개는 같아서 없어졌음
에러텀은 평균이 0인 분포를 가정했기 때문에 사라짐

Analysis of Independent(unpaired) Samples

Independent samples
x-y의 confidence level 을 측정할면 x-y의 standard error를 계산해야 함
sample distribution의 standard error를 사용

critical point, s.e를 알아야함.