Charming ['ㅡ'] Ham !

데이터 크롤러 만들기¶ 크롤링이란 말을 한번쯤은 들어봤을 수 있는데, 크롤링은 바로 웹에서 데이터를 긁어오는 작업을 의미하며, 이 작업을 수행하는 모델을 크롤러라 한다. 머신러닝, 데이터 분석에서 원본 데이터를 모르는 것은 매우 중요한 일이며, 이 원본 데이터를 크롤링하는 크롤러 프로그램을 만들어 데이터를 수집하고 있다. 크롤러의 아키텍처는 멀티 스레드를 이용해 웹과 HTTP 통신을 하고,Queue (큐) 형태의 자료구조를 이용해서 구현한다. 또한 데이터는 URL 을 통해 전달되는데 이렇게 전문적인 데이터 크롤러 구현은 간단하지만은 안으므로 오늘은 파이썬을 이용한 데이터 크롤러를 구현해보자. 파이썬 크롤링 라이브러리¶ 크롤링 작업을 위해서는 웹 페이지를 불러오고, 해당 웹 페이지에서 원하느나 데이터가 어..

HTTP 메세지¶ 웹은 통신 규약으로 HTTP를 사용하는데, HTTP는 요청(Request)하고, 응답(Response)하는 서버/클라이언트 모델을 따른다. HTTP 의 메세지는 request / status line 과 header, body 로 이루어져있다. request line 은 데이터 좀 주세요 하는 요청의 내용을 포함하고 있어 요청 메소드와 타겟 주소 (어디서 데이터를 가져오고자 하는지) 가 포함되어야 한다. Request Method (요청 메소드) 는 다음과 같다.¶ GET: read, 정보를 요청 HEAD: 헤더 정보만 요청 POST: create, 정보를 생성, 변형 할 때 사용 PUT: update, 정보를 수정 DELETE: delete, 정보를 삭제 OPTIONS : 사용 가능한..

누구든지 진로에 대한 고미을 할 것이라고 생각한다. 나의 경우에는 이를 위해 엄청나게 많은 경험이라고 할 순 없지만 다양한 분야의 직무를 경험해 보았다. 그 과정에서 잘 하는 것과 좋아하는 것에 대핸 고민과 무엇을 선택해야하는지에 대한 고민이 컸었다. 현재 나는 좋아하는 일, 평소 관심을 가졌었던 일을 해보기로 결정했고, 지금 그 과정에 있다. 이 책, 달의 조각 중에서 트로피의 무게의 내용은 이런 나에게 하는 말이 아닌가 싶을 정도로 크게 다가왔다. 유년시절 남자 아이들은 태권도를 다니는 것 처럼 여자 아이는 피아노 학원을 다니는 것이 필수 코스였던 시절, 피아노 학원을 다니며 기분 좋은 울렁거림과, 가슴이 뛰었다. 몇 년이 지나고 학원 친구들과 나간 콩굴에서 최우수상을 받았다. 반짝이는 금 빛 트로피..

텍스트 데이터의 변환과 교환¶ 흔히 사용하는 데이터를 컴퓨터가 이해할 수 있는 형태로 만드는 것으 인코딩이라고 한다. 데이터는 텍스트 - 문자열 - 인코딩 - 0,1 로 인코딩을 통해 데이터로 변환이 이루어진다. 이렇게 컴퓨터가 이해할 수 있는 형태인 0, 1 은 여러 규약이 있는데, 파이썬은 UTF-8 을 사용한다. 이러한 데이터의 변환 (인코딩 / 디코딩) 은 컴퓨터 간 데이터를 교환하거나 온라인(서버) 로부터 데이터를 얻는 과정에서도 적용되고 있다. 이렇게 인터넷을 통해 데이터를 주고 받을 때 역시 어떤 약속이 존재하며, 이를 프로토콜 (protocol) 이라 한다. 웹은 HTTP 라는 프로토콜에 따라 데이터를 교환하고 있으며, 우리는 필요한 데이터를 인터넷 상 어딘가에서 찾아서 사용한다. 이렇게 ..

선형 회귀와 로지스틱 회귀¶ 회귀 (Regression), 회귀분석 (Regression Analysis) 란 ?¶ 회귀분석 (Regression Analysis) 란 통계학에서 주로 사용되는 방법으로 수집된 여러 데이터를 통해 각 연속형 변수간의 상관관계를 모델링하고, 적합도를 측정하는 분석 방법이다. 회귀 분석은 특정 조건 x 가 변하면 y 도 함께 변하는 형태의 문제를 분석하는데 주로 활용되며, 예를 들면 부모님의 키와 자식의 키 사이의 관계, 위치와 집 값의 관계 등이 있다. 즉, 독립변수 (independent variable) 와 종속변수 (dependent variable) 사이의 상관을 설명하는 문제들이다. 독립변수는 설명변수 (explanatory variable), 종속변수는 반응변수 ..

예외처리 (try, except)¶ 코딩을 하다보면 정말 많은 에러와 마주하게되는데, 이러한 에러를 바로 잡기위한 방법 중 하나로 예외처리를 들 수 있다. 바로 try, except 방법이 그 중 하나인데, 에러를 무시하거나, 발생가능한 에러에 대한 조취를 취할 수 있게 해주는 방법이다. 코드 말 그대로 코드를 try 해보고, 에러가 날 경우 except, 즉 예외로 빼두는 것이다. 에러가 나지 않는 부분에 대해서는 정상 작동하게 된다. 예를 들면 다음과 같다. try 입력 후 실행하고자하는 코드를 입력해주고, except 입력 후 에러가 발생 시 취하고자하는 행동을 입력, 혹은 발생 가능한 에러를 예상할 수 있을 경우 그 에러에 대한 조취 코드를 입력해주면된다. a = 10 b = 0 try: #실행 ..