programming
[Hadoop] 데이터분석 실습(항공운항데이터)
5. 데이터분석 실습(항공운항데이터) 5.1 분석용 데이터 다운로드 http://stat-computing.org/dataexpo/2009 1987~2008 21년간 미국 항공 운항 데이터를 활용하여 항공기 출발 지연, 도착 지연, 결항 등의 통계를 분석 전체자료는 11GB이며 전체 자료를 모두 분석하려면 많은 시간이 소요되므로 2006~2008 3년간의 자료만 다운로드하여 실습 다운로드받은 파일의 압축을 해제한 후 /home/centos/data/airline 디렉토리에 복사(2006.csv, 2007.csv, 2008.csv 3개의 파일) 5.2 mysql 설치(윈도우즈에서 작업) HDFS에서 분석하는 방법과 비교하기 위하여 다운로드받은 csv 파일을 mysql 데이터베이스 테이블로 import my..
[PHP] 게시판 만들기
5. 게시판 만들기 5.1 실습예제 5.1.1 board.sqlCREATE TABLE board ( id int(11) NOT NULL auto_increment,name); 5.1.2 board.csstd { font-size: 12px; } a:link { font: 12px; color: black; text-decoration: none; font-family: 굴림; font-size: 12px; } a:visited { text-decoration: none; color: black; font-size: 12px; } a:hover { text-decoration: underline; color: black; font-size: 12px; } 5.1.3 list.php 5.1.4 write.p..
[Hadoop] 맵리듀스
4. 맵리듀스 4.1 MapReduce의 실행 과정 맵 : (k1, v1) → list(k2, v2) 리듀스 : (k2, list(v2)) → list(k3, v3) 4.1.1 입력데이터 read a book write a book 4.1.2 맵으로 변환(key: line number, value: 문장) 1, read a book 2, write a book 4.1.3 정렬과 병합(key: 단어, value: 단어수) 4.1.4 Reduce(key: 단어, value: 단어수의 리스트) 4.1.5 실행 결과(key: 단어, value: 리스트의 합계) 4.2 맵리듀스 프로그래밍 요소 4.2.1 데이터 타입 맵리듀스 프로그램에서 키와 값으로 사용되는 모든 데이터 타입은 반드시 WritableCompara..
[PHP] 쿠키와 세션
4. 쿠키와 세션 4.1 쿠키 실습예제 4.1.1 /cookie/count.txt - 쿠키 카운터에서 참조하는 파일 # cd/var/www/html # mkdir cookie # cd /var/www/html/cookie # touch count.txt # chmod 777 count.txt count.txt 파일에 대한 보안설정 변경(SELinux 설정) # chcon -t httpd_sys_script_rw_t /var/www/html/source/cookie/count.txt SELinux (Security-Enhanced Linux, 보안 강화 리눅스) 미국 국가안보국이 개발한 보안 커널을 리눅스에 이식한 커널 레벨의 보안 모듈 2003년부터 리눅스 커널에 포함됨 chcon (CHange CONt..
[Hadoop] 하둡 분산 파일 시스템(HDFS)
3. 하둡 분산 파일 시스템(HDFS) 3.1 하둡 분산 파일 시스템(Hadoop Distributed File System) 3.1.1 대용량의 파일을 분산된 서버에 저장하고 저장된 데이터를 빠르게 처리할 수 있게 하는 파일 시스템 3.1.2 저사양의 서버를 이용해서 구성할 수 있음 3.1.3 블록 구조의 파일 시스템 블록의 크기는 기존에는 64MB였으나 하둡 2.0부터 128MB로 증가됨 3.2 하둡 분산 파일 시스템의 시작과 종료 3.2.1 하둡 분산 파일 시스템을 시작하는 명령어 start-dfs.sh - HDFS를 구동함 start-yarn.sh - 맵리듀스를 구동함start-dfs.shstart-yarn.sh 3.2.2 하둡 분산 파일 시스템을 중지시키는 명령어stop-dfs.shstop-ya..
쉽게 뚝딱 만드는 GUI, WindowBuilder 설치!
쉽게 뚝딱 만드는 GUI, WindowBuilder 설치! 1. WindowBuilder 설치 링크 주소를 가져옵니다. eclipse 홈페이지에서 Projects 카테고리에 들어가 WindowBuilder로 검색합니다. 이후 Eclipse WindowBuilder - Downloads 탭으로 가서 최신 버전의 링크 주소 복사를 합시다. 2. Eclipse 접속 후 새 소프트웨어 설치 링크 복사를 했다면 Eclipse를 실행하고 Help - Install New Software... 항목을 클릭합니다. 3. Add Repository Work with: 옆에 있는 Add... 버튼을 클릭해서 다음과 같이 입력합니다. Name: Window Builder (자유롭게 기입해도 무방합니다.) Location: ..
[PHP] 방명록
3. 방명록 3.1 실습예제 3.1.1 dbconn.php 3.1.2 list.php 3.1.3 tag.php 3.1.1 delete.php 3.1.8 update.php
[Hadoop] 하둡 설치
2. 하둡 설치 2.1 VMPlayer 설치 VMPlayer에는 Hadoop Multi Cluster 구축 실습에 필요한 네트워크 설정 기능이 없으므로 VMware workstation Pro의 30일 평가판을 다운로드받아 실습 VMware workstation Pro(정식버전)을 설치하면 기존에 설치한 VMPlayer는 삭제됨(VMPlayer가 포함되어 있음) 멀티 클러스터를 구축해야 하므로 에러가 나거나 가상머신을 복제하여 작업해야 할 경우가 생기므로 Centos를 설치한 후 백업본을 만들어둘 것 2.2 하둡 개발 환경 설정 2.2.1 VMWare player를 이용하여 가상머신에 Centos 7 설치 2.2.2 Multi Cluster를 구성하기 위해 가상머신 복제 CPU i5, RAM 16GB 기..
[PHP] 기본문법
2. PHP 기본문법 2.1 pdt 설치 2.1.1 php용 이클립스 다운로드 https://eclipse.org/pdt 에서 Windows 64비트용 다운로드 pdt 설치 후 기본 인코딩을 utf-8로 변경 PDT(Php Development Tool) https://eclipse.org/pdt 2.1.2 기존에 사용중인 이클립스에 php 플러그인 추가 이클립스 실행 Help 메뉴 - Install New Software Name : php Location : https://projects.eclipse.org/projects/tools.pdt/releases/6.2 설치 → 라이센스 질문 → 동의 → 설치 완료 후 이클립스 재시작 2.2 PHP 기본 문법 - 변수 선언 : $변수명 = 값; 자료형이 ..
[Hadoop] 빅데이터와 하둡
1. 빅데이터와 하둡 1.1 Big Data의 정의 1.1.1 서버 한 대로 처리할 수 없는 규모의 데이터(2012, John Rauser, 아마존 수석 엔지니어) 1.1.2 기존의 소프트웨어(DBMS 등)로 처리할 수 없는 규모의 데이터 1.1.3 3V 가) Volume - 데이터의 크기(Tera Byte, Peta Byte 단위) 1 Tera Byte = 1024 GB 1 Pera Byte : 약 100만 GB(6GB DVD 영화를 17만 4000편을 저장할 수 있는 분량) 나) Velocity - 데이터의 생성 속도 다) Variety - 데이터의 다양성 구조화, 비구조화된 데이터를 모두 포함 1.2 Big Data의 예 1.2.1 웹 검색엔진 데이터 1.2.2 웹 페이지 데이터 구글의 경우 수 조..
[PHP] 개발환경 구축
1. PHP 개발환경 구축 1.1 PHP 웹서버 구축 1.1.1 PHP-아파치(apache) 설치 아파치 설치 # yum -y install httpd httpd-devel php 설치 # yum -y install php php-mysqlnd 아파치 서비스 시작 # systemctl start httpd 아파치 서비스 상태 확인 # systemctl status httpd 아파치 서비스 자동 시작 # systemctl enable httpd 아파치 환경설정 파일 # gedit /etc/httpd/conf/httpd.conf 42번 라인 : 포트번호 설정(기본값 : 80) 119번 라인 : 홈 디렉토리 설정(기본값 : /var/www/html) 웹브라우저 주소창에 http://localhost 입력 크기..
PhotoScape로 이미지에 워터마크를 넣어보자!
PhotoScape로 이미지에 워터마크를 넣어보자! IT 블로그를 시작하고 포스팅을 할 때 내용을 보다 이해하기 쉽게 전달하기 위해서 많은 고민을 합니다. 단순한 글을 풀어 적는 것에 그치는 것이 아닌, 이미지와 함께 설명하는 글은 이 고민을 어느 정도 충족시켜주곤 합니다. 하지만 하나하나 이미지를 캡처하고 다듬는 과정이 여간 짧은 작업이 아닙니다. 내가 정성껏 이미지를 모두 캡처해서 완전한 포스팅을 내놓았는데, 아무 얘기도 없이 본인의 포스팅처럼 가져가는 행위(불펌)를 보면 허탈감을 느끼기도 합니다. 이번 포스팅에서는 워터마크라는 것을 통해 본인의 노력을 통해 만들어진 산물을 지키고, 그것을 편리하게 할 수 있게 제공하는 포토스케이프(PhotoScape)의 설치부터 적용까지 알아보도록 하겠습니다. 1...