분류 전체보기

    [Python] 함수

    6. 함수 6.1 함수의 정의 일정한 작업을 수행하는 코드 블록 6.2 함수의 장점 6.2.1 반복적인 코드를 없애 주어 코드의 길이를 짧게 만들어 준다. 6.2.2 프로그램의 유지보수를 쉽게 만들어 준다. 6.3 함수의 구조 def 함수명(입력 매개변수): return 반환 값 함수의 몸체(body)에는 최소한 한 개 이상의 문장이 필요함 그러므로, 아무런 내용이 없는 함수를 만들 때는 pass 키워드를 적어주어야 함 두 개 이상의 값을 동시에 반환할 수 있다. 6.4 함수의 종류 6.4.1 내장함수 파이썬에서 미리 만들어놓은 함수 6.4.2 사용자 정의 함수 우리가 직접 만들어서 사용하는 함수 6.5 실습 예제(내장 함수) # 절대값 print(abs(-3)) # all 함수, 모든 요소가 참이면 T..

    [R] 로지스틱 회귀분석

    9. 로지스틱 회귀분석 9.1 LOGIT(Logistic Regression)의 기본 배경 9.1.1 분류를 하는데 있어서 가장 흔한 경우는 이분법(二分法)을 기준으로 분류하는 경우임 (예1) 특정 고객이 물건을 살 것인가? (0), 말 것인가? (1) (예2) 어떤 기업이 부도가 날 것인가? (0), 말 것인가? (1) (예3) 내일 컴퓨터가 고장이 날 것인가? (0), 말 것인가? (1) 9.1.2 이항 확률을 가진 종속변수를 통계적으로 설명하고자 할 때, 일반적인 회귀분석은 적용하기에 어려움이 있음 9.1.3 로지스틱 회귀분석은 값이 연속적인 값을 가지더라도, 로지스틱 함수의 결과값은 0과 1사이의 값을 갖도록 설계 되어 있기 때문에 이분법적인 분류 문제를 해결하는 모형으로 적합 9.2 LOGIT의..

    [Hadoop] 데이터 분석 실습(Hive)

    6. 데이터 분석 실습(Hive) 6.1 Hadoop 기반의 기술들 6.1.1 MapReduce 6.1.2 Hadoop streaming 펄, 파이썬 등의 다른 언어로 개발 6.1.3 Hive HiveQL로 개발 (페이스북) 6.1.4 Pig pig script로 개발 (트위터) 6.2 Hive 6.2.1 하둡 기반에서 실행되는 라이브러리 6.2.2 자바 코드 대신 SQL 구문을 사용(HiveQL) Hive 2에서 MapReduce 방식의 실행은 아직 가능하나 향후 버전에서는 더이상 지원되지 않을 수 있으므로 Tez, Spark 등의 다른 분산처리 라이브러리를 사용하거나 Hive 1 버전 사용을 권고하고 있음. 6.3 Hive 설치 6.3.1 다운로드 hive-2.3.2-bin.tar.gz 압축파일을 /..

    [Python] 제어문

    5. 제어문 5.1 들여쓰기와 제어문 5.1.1 파이썬은 들여쓰기를 강제하여 코드의 가독성을 높인다. 5.1.2 블록 내부에 있는 문장들은 반드시 들여쓰기가 일치해야 한다. if a > 1: print 'a' print 'b' # 에러 5.1.3 블록의 시작은 콜론(:)이며 블록의 끝은 들여쓰기가 끝나는 부분으로 처리된다. - python에는 { }, begin, end 등의 키워드가 존재하지 않는다. 5.1.4 들여쓰기를 할 때에는 탭과 공백을 섞어 쓰지 않는다. 5.2 조건문(if) if 조건식1: statements elif 조건식2: statements elif 조건식3: statements else statements 조건식이나 else 다음에 콜론(:) 표기 필요 들여쓰기(indentation..

    [R] 상관 분석과 회귀 분석

    8. 상관 분석과 회귀 분석 8.1 상관 분석 8.1.1 상관계수 8.1.1.1 피어슨 상관계수(Pearson correlation coefficient) 두 변수간의 관련성을 구하기 위해 보편적으로 이용됨 r = X와 Y가 함께 변하는 정도 / X와 Y가 따로 변하는 정도 결과의 해석 r 값은 X와 Y가 완전히 동일하면 +1, 전혀 다르면 0, 반대방향으로 완전히 동일하면 -1 을 가진다. 결정계수 (coefficient of determination) 는 r^2 로 계산하며 이것은 X 로부터 Y 를 예측할 수 있는 정도를 의미한다. 일반적으로 r이 -1.0과 -0.7 사이이면, 강한 음적 선형관계, r이 -0.7과 -0.3 사이이면, 뚜렷한 음적 선형관계, r이 -0.3과 -0.1사이이면, 약한 음적..

    [Python] 콘솔입출력

    4. 콘솔입출력 4.1 실습예제 콘솔 입력 처리 함수 a = input("입력하세요: ") print("결과: ", a) eval(expression[, globals[, locals]]) # input 함수는 기본적으로 문자열로 입력받음 dan = input("단을 입력하세요: ") print(type(dan)) # eval() 함수로 감싸면 숫자로 처리됨 dan = eval(input("단을 입력하세요: ")) print(type(dan)) print(*objects, sep=' ', end='\n', file=sys.stdout, flush=False) # print() 함수 # 문자열 연결 # 따옴표로 감싼 문자열은 + 연산과 동일하다 print("good" "morning") print("goo..

    [Hadoop] 데이터분석 실습(항공운항데이터)

    5. 데이터분석 실습(항공운항데이터) 5.1 분석용 데이터 다운로드 http://stat-computing.org/dataexpo/2009 1987~2008 21년간 미국 항공 운항 데이터를 활용하여 항공기 출발 지연, 도착 지연, 결항 등의 통계를 분석 전체자료는 11GB이며 전체 자료를 모두 분석하려면 많은 시간이 소요되므로 2006~2008 3년간의 자료만 다운로드하여 실습 다운로드받은 파일의 압축을 해제한 후 /home/centos/data/airline 디렉토리에 복사(2006.csv, 2007.csv, 2008.csv 3개의 파일) 5.2 mysql 설치(윈도우즈에서 작업) HDFS에서 분석하는 방법과 비교하기 위하여 다운로드받은 csv 파일을 mysql 데이터베이스 테이블로 import my..

    [PHP] 게시판 만들기

    5. 게시판 만들기 5.1 실습예제 5.1.1 board.sqlCREATE TABLE board ( id int(11) NOT NULL auto_increment,name); 5.1.2 board.csstd { font-size: 12px; } a:link { font: 12px; color: black; text-decoration: none; font-family: 굴림; font-size: 12px; } a:visited { text-decoration: none; color: black; font-size: 12px; } a:hover { text-decoration: underline; color: black; font-size: 12px; } 5.1.3 list.php 5.1.4 write.p..

    [Python] List, Tupple, Dictionary

    3. List, Tupple, Dictionary 3.1 리스트(List) 3.1.1 임의의 객체를 순차적으로 저장하는 집합적 자료형 3.1.2 각 값에 대해 인덱스가 부여됨 3.1.3 변경 가능 3.1.4 대괄호 [ ] 사용 3.1.5 range() 함수를 통한 인덱스 리스트 생성 가능 range(k): 0부터 k-1까지의 숫자의 리스트를 반환함 3.2 튜플(Tupple) 3.2.1 리스트와 유사하지만 튜플 내의 값을 변경할 수 없음 3.2.2 각 값에 대해 인덱스가 부여됨 3.2.3 변경 불가능 3.2.4 소괄호 ( ) 사용 3.3 사전(Dictionary) 3.3.1 정수형 인덱스가 아닌 키를 이용하여 값을 저장 및 조회하는 자료 구조 3.3.2 저장된 각 자료에 대한 순서는 의미 없음 3.3.3 ..

    [Hadoop] 맵리듀스

    4. 맵리듀스 4.1 MapReduce의 실행 과정 맵 : (k1, v1) → list(k2, v2) 리듀스 : (k2, list(v2)) → list(k3, v3) 4.1.1 입력데이터 read a book write a book 4.1.2 맵으로 변환(key: line number, value: 문장) 1, read a book 2, write a book 4.1.3 정렬과 병합(key: 단어, value: 단어수) 4.1.4 Reduce(key: 단어, value: 단어수의 리스트) 4.1.5 실행 결과(key: 단어, value: 리스트의 합계) 4.2 맵리듀스 프로그래밍 요소 4.2.1 데이터 타입 맵리듀스 프로그램에서 키와 값으로 사용되는 모든 데이터 타입은 반드시 WritableCompara..

    [R] 가설 검정

    7. 가설 검정 7.1 통계 분석 7.1.1 모집단과 표본 7.1.1.1 모집단: 우리가 알고자 하는 대상 전체, 조사 대상의 범위 7.1.1.2 표본: 모집단으로부터 조사하기 위해 선택된 조사대상 7.1.2 전수조사와 표본조사 7.1.2.1 전수조사: 모집단을 구성하는 대상 전부를 조사하는 것 가장 정확하지만, 비용과 시간이 많이 들게 됨 전수조사가 불가능한 경우도 있음(예를 들어 감기약의 경우 모두 복용을 해야만 효과를 알 수 있음) 7.1.2.2 표본조사: 표본을 대상으로 조사 7.1.3 통계 분석 기법 7.1.3.1 어떤 그룹, 집단, 형태 등의 차이를 검정 1개, 2개 또는 그 이상의 데이터 차이가 있다고 볼 수 있는지를 검정하는 것 독립표본 t 검정, 대응표본 t 검정, ANOVA 등 7.1...

    [Python] 기본문법

    2. 기본문법 파이썬 표준 라이브러리 문서 IPython Notebook에서의 실행 방법 Cell에 코드 입력 후 Shift + Enter 예약어(Reserved Words) 파이썬에서 이미 문법적인 용도로 사용되고 있기 때문에 변수명 등의 식별자로 사용하면 안 되는 단어들 파이썬에서 이미 사용되고 있는(용도가 예약된) 단어들 예약어를 변수에 사용하면 에러는 없으나 고유 기능은 사라짐 Python 3.6에서는 33개의 예약어가 사용됨 (Python 3.7에서는 35개의 예약어가 사용됨) # 기본 모듈이 아닌 경우 import 해야 함 import keyword # 키워드(예약어) 목록 print(keyword.kwlist) # len() 개수, 키워드의 개수 print(len(keyword.kwlist)..