programming

[Python] List, Tupple, Dictionary

3. List, Tupple, Dictionary 3.1 리스트(List) 3.1.1 임의의 객체를 순차적으로 저장하는 집합적 자료형 3.1.2 각 값에 대해 인덱스가 부여됨 3.1.3 변경 가능 3.1.4 대괄호 [ ] 사용 3.1.5 range() 함수를 통한 인덱스 리스트 생성 가능 range(k): 0부터 k-1까지의 숫자의 리스트를 반환함 3.2 튜플(Tupple) 3.2.1 리스트와 유사하지만 튜플 내의 값을 변경할 수 없음 3.2.2 각 값에 대해 인덱스가 부여됨 3.2.3 변경 불가능 3.2.4 소괄호 ( ) 사용 3.3 사전(Dictionary) 3.3.1 정수형 인덱스가 아닌 키를 이용하여 값을 저장 및 조회하는 자료 구조 3.3.2 저장된 각 자료에 대한 순서는 의미 없음 3.3.3 ..

[Hadoop] 맵리듀스

4. 맵리듀스 4.1 MapReduce의 실행 과정 맵 : (k1, v1) → list(k2, v2) 리듀스 : (k2, list(v2)) → list(k3, v3) 4.1.1 입력데이터 read a book write a book 4.1.2 맵으로 변환(key: line number, value: 문장) 1, read a book 2, write a book 4.1.3 정렬과 병합(key: 단어, value: 단어수) 4.1.4 Reduce(key: 단어, value: 단어수의 리스트) 4.1.5 실행 결과(key: 단어, value: 리스트의 합계) 4.2 맵리듀스 프로그래밍 요소 4.2.1 데이터 타입 맵리듀스 프로그램에서 키와 값으로 사용되는 모든 데이터 타입은 반드시 WritableCompara..

[R] 가설 검정

7. 가설 검정 7.1 통계 분석 7.1.1 모집단과 표본 7.1.1.1 모집단: 우리가 알고자 하는 대상 전체, 조사 대상의 범위 7.1.1.2 표본: 모집단으로부터 조사하기 위해 선택된 조사대상 7.1.2 전수조사와 표본조사 7.1.2.1 전수조사: 모집단을 구성하는 대상 전부를 조사하는 것 가장 정확하지만, 비용과 시간이 많이 들게 됨 전수조사가 불가능한 경우도 있음(예를 들어 감기약의 경우 모두 복용을 해야만 효과를 알 수 있음) 7.1.2.2 표본조사: 표본을 대상으로 조사 7.1.3 통계 분석 기법 7.1.3.1 어떤 그룹, 집단, 형태 등의 차이를 검정 1개, 2개 또는 그 이상의 데이터 차이가 있다고 볼 수 있는지를 검정하는 것 독립표본 t 검정, 대응표본 t 검정, ANOVA 등 7.1...

[Python] 기본문법

2. 기본문법 파이썬 표준 라이브러리 문서 IPython Notebook에서의 실행 방법 Cell에 코드 입력 후 Shift + Enter 예약어(Reserved Words) 파이썬에서 이미 문법적인 용도로 사용되고 있기 때문에 변수명 등의 식별자로 사용하면 안 되는 단어들 파이썬에서 이미 사용되고 있는(용도가 예약된) 단어들 예약어를 변수에 사용하면 에러는 없으나 고유 기능은 사라짐 Python 3.6에서는 33개의 예약어가 사용됨 (Python 3.7에서는 35개의 예약어가 사용됨) # 기본 모듈이 아닌 경우 import 해야 함 import keyword # 키워드(예약어) 목록 print(keyword.kwlist) # len() 개수, 키워드의 개수 print(len(keyword.kwlist)..

[PHP] 쿠키와 세션

4. 쿠키와 세션 4.1 쿠키 실습예제 4.1.1 /cookie/count.txt - 쿠키 카운터에서 참조하는 파일 # cd/var/www/html # mkdir cookie # cd /var/www/html/cookie # touch count.txt # chmod 777 count.txt count.txt 파일에 대한 보안설정 변경(SELinux 설정) # chcon -t httpd_sys_script_rw_t /var/www/html/source/cookie/count.txt SELinux (Security-Enhanced Linux, 보안 강화 리눅스) 미국 국가안보국이 개발한 보안 커널을 리눅스에 이식한 커널 레벨의 보안 모듈 2003년부터 리눅스 커널에 포함됨 chcon (CHange CONt..

[Hadoop] 하둡 분산 파일 시스템(HDFS)

3. 하둡 분산 파일 시스템(HDFS) 3.1 하둡 분산 파일 시스템(Hadoop Distributed File System) 3.1.1 대용량의 파일을 분산된 서버에 저장하고 저장된 데이터를 빠르게 처리할 수 있게 하는 파일 시스템 3.1.2 저사양의 서버를 이용해서 구성할 수 있음 3.1.3 블록 구조의 파일 시스템 블록의 크기는 기존에는 64MB였으나 하둡 2.0부터 128MB로 증가됨 3.2 하둡 분산 파일 시스템의 시작과 종료 3.2.1 하둡 분산 파일 시스템을 시작하는 명령어 start-dfs.sh - HDFS를 구동함 start-yarn.sh - 맵리듀스를 구동함start-dfs.shstart-yarn.sh 3.2.2 하둡 분산 파일 시스템을 중지시키는 명령어stop-dfs.shstop-ya..

쉽게 뚝딱 만드는 GUI, WindowBuilder 설치!

쉽게 뚝딱 만드는 GUI, WindowBuilder 설치! 1. WindowBuilder 설치 링크 주소를 가져옵니다. eclipse 홈페이지에서 Projects 카테고리에 들어가 WindowBuilder로 검색합니다. 이후 Eclipse WindowBuilder - Downloads 탭으로 가서 최신 버전의 링크 주소 복사를 합시다. 2. Eclipse 접속 후 새 소프트웨어 설치 링크 복사를 했다면 Eclipse를 실행하고 Help - Install New Software... 항목을 클릭합니다. 3. Add Repository Work with: 옆에 있는 Add... 버튼을 클릭해서 다음과 같이 입력합니다. Name: Window Builder (자유롭게 기입해도 무방합니다.) Location: ..

[PHP] 방명록

3. 방명록 3.1 실습예제 3.1.1 dbconn.php 3.1.2 list.php 3.1.3 tag.php 3.1.1 delete.php 3.1.8 update.php

[Hadoop] 하둡 설치

2. 하둡 설치 2.1 VMPlayer 설치 VMPlayer에는 Hadoop Multi Cluster 구축 실습에 필요한 네트워크 설정 기능이 없으므로 VMware workstation Pro의 30일 평가판을 다운로드받아 실습 VMware workstation Pro(정식버전)을 설치하면 기존에 설치한 VMPlayer는 삭제됨(VMPlayer가 포함되어 있음) 멀티 클러스터를 구축해야 하므로 에러가 나거나 가상머신을 복제하여 작업해야 할 경우가 생기므로 Centos를 설치한 후 백업본을 만들어둘 것 2.2 하둡 개발 환경 설정 2.2.1 VMWare player를 이용하여 가상머신에 Centos 7 설치 2.2.2 Multi Cluster를 구성하기 위해 가상머신 복제 CPU i5, RAM 16GB 기..

[R] 기초통계량

6. 기초통계량 6.1 데이터 분석 과정 6.1.1 정의 단계: 문제의 정의 고객으로부터 최대한의 정보를 얻어내야 함 6.1.2 분해 단계: 작은 단위로 분할한 후에 단계별로 해결 확보한 데이터를 분할된 단위에 맞추어 수집하거나 재구성 고객이 제공한 문제의 본질을 이해하고 분석 가능한 작은 단위로 문제를 분할한 후에 분석 수행 문제의 분해는 결과에 대한 예측을 기반으로 실행함 6.1.3 평가 단계 주어진 문제와 고객이 알고자 하는 것을 기준으로 현재의 시점에서 결과를 평가하는 단계 6.1.4 결정 단계 평가가 완료된 후 분석가의 결정을 전달하는 과정 데이터 분석 모델을 확정하고 데이터를 분석하여 최종적인 분석가의 의견을 확정하는 단계 6.1.5 반복 단계 새로운 자료나 상황이 발생할 경우 이미 실행한 단..

[PHP] 기본문법

2. PHP 기본문법 2.1 pdt 설치 2.1.1 php용 이클립스 다운로드 https://eclipse.org/pdt 에서 Windows 64비트용 다운로드 pdt 설치 후 기본 인코딩을 utf-8로 변경 PDT(Php Development Tool) https://eclipse.org/pdt 2.1.2 기존에 사용중인 이클립스에 php 플러그인 추가 이클립스 실행 Help 메뉴 - Install New Software Name : php Location : https://projects.eclipse.org/projects/tools.pdt/releases/6.2 설치 → 라이센스 질문 → 동의 → 설치 완료 후 이클립스 재시작 2.2 PHP 기본 문법 - 변수 선언 : $변수명 = 값; 자료형이 ..

[Hadoop] 빅데이터와 하둡

1. 빅데이터와 하둡 1.1 Big Data의 정의 1.1.1 서버 한 대로 처리할 수 없는 규모의 데이터(2012, John Rauser, 아마존 수석 엔지니어) 1.1.2 기존의 소프트웨어(DBMS 등)로 처리할 수 없는 규모의 데이터 1.1.3 3V 가) Volume - 데이터의 크기(Tera Byte, Peta Byte 단위) 1 Tera Byte = 1024 GB 1 Pera Byte : 약 100만 GB(6GB DVD 영화를 17만 4000편을 저장할 수 있는 분량) 나) Velocity - 데이터의 생성 속도 다) Variety - 데이터의 다양성 구조화, 비구조화된 데이터를 모두 포함 1.2 Big Data의 예 1.2.1 웹 검색엔진 데이터 1.2.2 웹 페이지 데이터 구글의 경우 수 조..