본문 바로가기

자료분석 및 코딩22

[리눅스] 서버 접속 터미널 mobaXterm, 리눅스 기초 자료분석과 관련된 업무를 하다보면 리눅스를 사용해야 할 상황이 자주 생긴다. 대용량 데이터를 처리하거나 수치모델을 다루거나 코웍을 위해 사용하거나 등 다양한 이유로 익숙하지 않은 리눅스를 사용해야할 상황이 생긴다. 그래서 이번엔 리눅스와 이를 조금이라도 쉽게 사용하기 위한 팁에 대해 다뤄보려한다. 1. 리눅스 운영체제 리눅스(linux)는 윈도우와 같은 컴퓨터의 운영체제이다. 윈도우같은 편리한 운영체제를 두고 굳이 리눅스를 사용하는 이유는 다수의 사용자가 사용하기 용이하며, 다중의 연산 및 작업을 하기에 매우 용이하다. 직관적인 명령과 출력으로 연산속도가 매우 빨라 방대한 양의 계산이나 연산이 필요한 수치자료 분석에 적합하다. 물론, 윈도우에서도 모두 가능하지만 윈도우는 사용자 편의에 초점을 맞춰 그래픽.. 2023. 4. 13.
[파이썬] 4-1. 조위 자료 분석 (3) - datetime을 활용한 문자 숫자 날짜변환, 날짜/시간 연산, 수치모델 시간 변환 이번에는 datetime을 활용해서 시간 데이터를 변환하고 처리하는 방법에 대해 다뤄보도록 하겠다. 대부분의 txt파일 또는 csv형식의 ascii 파일 데이터는 문자열로 정보가 입력되어 있기 때문에 이를 숫자, 값, 날짜형식으로 변환하는 과정이 필요하다. matlab에서는 datenum, datevec을 주로 활용했지만 파이썬에서는 보통 datetime 모듈을 활용한다. datetime 모듈은 문자열 또는 숫자열로 되어 있는 날짜/시간 정보를 다룰 때 활용하는 모듈이다. 날짜 연산이나 표기 형식 변환 등 다양한 목적으로 사용할 수 있다. 이번에는 문자/숫자를 날짜정보로 변환, 날짜정보를 문자/숫자열로 변환, 날짜 연산 등의 필수적인 기능에 대해서 논해보도록 하겠다. 지난번 글에서는 아래그림처럼 data.. 2023. 4. 13.
[파이썬] 4-1. 조위 자료 분석 (2) - dataframe의 칼럼명/열이름/헤더 수정 rename, 결측값 숫자변환 지난번 글에서는 판다스(pandas)의 read_csv를 활용해 데이터를 읽어오는 부분까지 진행했었다. 오늘은 읽은 데이터 중 특정 열을 뽑아내서 분석하기 위한 전 단계인 데이터 추출 및 칼럼명(헤더) 수정, 문자열의 숫자변환 등에 대해 설명해보도록 하겠다. 1. columns 이름 수정 (칼럼명, 헤더 수정) 지난번에 pandas의 read_csv로 읽은 데이터는 아래와 같다. 전체 데이터 중 분석할 데이터는 '관측시간'과 '조위(cm)'이다. 하지만 리눅스의 스파이더에서는 한글 입력이 안되기 때문에 데이터를 처리하기에 앞서 각 열이름을 영어로 변환해줘야 한다. 따라서, 먼저 칼럼명(열이름)을 먼저 바꿔보도록 하겠다. 칼럼명 변경은 dataframe의 columns 또는 rename 속성을 활용한다. .. 2023. 4. 12.
[파이썬] 4-1. 조위 자료 분석 - 텍스트 읽기, pandas, read_csv, 인코딩 및 옵션 파이썬으로 실제 데이터를 읽고 처리하는 방법에 대해 소개해볼텐데, 첫번째로 해양데이터 중 가장 기초적인 정보에 해당하는 조위정보를 읽어오는 과정을 진행해보려한다. 조위정보는 국립해양조사원에서 무료로 제공해주는데, 국립해양조사원 바다누리 해양정보 서비스에 가면 다운로드 받을 수 있다. 로그인이 필요하며, 해양정보다운로드 페이지로 가서 관측자료, 월별/년별, 관측소유형(조위관측소), 관측소 선택, 연도를 선택하여 검색한 뒤 다운받으면 된다. 텍스트 자료 읽기 - text read (판다스, Pandas, read_csv) Pandas를 이용해서 텍스트 데이터를 읽을텐데, 판다스는 시계열(time series)이나 표(table) 형태의 데이터를 처리할 때 매우 유용하게 쓰이는 파이썬 패키지이다. 자연과학 분.. 2023. 4. 4.

티스토리툴바