업무 자동화 제주도 코딩캠프
-
대학 캡스톤 프로젝트업무 자동화 제주도 코딩캠프 2019. 3. 17. 18:04
이번 캡스톤 프로젝트 주제를 '인스타그램 해시태그 분석으로 인한 최신 트렌드 분석' 으로 잡고 코딩을 시작하였다. 그 결과 업무 자동화 캠프에서 배웠던 내용들이 아주 큰 도움이 되었다. 우선, 데이터 마이닝 성공사례로 유명한 맥주와 기저귀의 예를 살펴보자. 여러 기사에서 최근, 페이스북 사용자가 점점 줄고, 인스타그램의 사용자가 늘어나는 경향을 볼 수 있다. 인스타그램의 해시태그를 분석하는 것만으로 기저귀와 맥주 같은 상업 연계성 및 광고 향상에 영향을 미칠 수 있지 않을까 하는생각으로 프로젝트를 구성하였다. 인스타그램에 혹시 모를 DDoS 와 같은 실례를 범하지 않을까하여 Sleep 아주아주 충 ~~ 분히 걸어서 테스트를 진행해보았다. 먹스타그램의 검색결과를 csv 파일로 만든 그..
-
업무 자동화 코딩캠프 #02 Selenium_inputData업무 자동화 제주도 코딩캠프 2019. 2. 20. 12:41
#1. Selenium 확장 Selenium 을 실행 했을 때 브라우저를 통한 DOM 정보를 가져오는 것을 알 수 있었다. 브라우저를 활용하기에 좋은 점은 로그인이나 인증과정 또한 코딩으로 가능하다는 점이다. 그리하여, 특정사이트에 로그인을 하거나 특정 아이콘을 클릭하는 등의 작업도 가능하다. driver.find_element_by_class_name( ) driver.find_elements_by_css_selector( ) driver.find_element_by_tag_name( ) driver.find_element_by_name( ) driver.find_element_by_xpath( ) driver.find_element_by_id( ) 다음의 메소드들을 통해 요소에 접근한 뒤, .send..
-
업무 자동화 코딩캠프 #02 Selenium업무 자동화 제주도 코딩캠프 2019. 2. 19. 21:14
#1. Selenium 개요 Javascript 를 이용하면 웹 사이트에 HTML 문법을 적용시켜 넣어줄 수 있는데, 태그를 사용하여 작성된다. 이런 동적인 웹 사이트는 보통의 크롤러들이 접근하기 힘들다. 로그인이 포함되는 경우, 그리고 동적인 웹 페이지의 경우에 Selenium 을 주로 사용한다. 웹 브라우저는 JavaScript 코드를 실행 시킨 후 HTML 을 DOM 으로 나타낸다.DOM 이란 HTML 을 시각적으로 쉽게 표현하기 위해 만든 객체를 일컫는다. 즉 문서를 구조화 시킨 것이다. 다시 말해서 웹 브라우저는 HTML 코드를 그대로 가져온 후 JavaScript 를 실행시킨 결과를 보여준다. 크롤러는 HTML 코드 자체를 긁어오기 때문에 편의상 개발자 도구로 분석하지만, ..
-
업무 자동화 코딩캠프 #02 Crawling업무 자동화 제주도 코딩캠프 2019. 2. 18. 20:59
캠프 두번째 날은 Crawling 에 대해 배웠다. 크게 두 가지의 라이브러리를 사용했다. #1. requests library 그 중 하나가 requests 였다. 우선, 라이브러리를 설치하고 !! requests - python 에서 HTTP 요청을 보내는 라이브러리Lord SQL Injection 에서 Blind Injection 을 시도했을 때와 같은 라이브러리이다. 캠프에서 받았던 자료를 통해 작성한 코드이다.paullab.co.kr 에 Get 방식으로 접근하여 그 내용을 test.html 에 저장하는 코드이다.utf-8 을 해주어야만 한글이 제대로 출력된다.예제에서는 utf-8 을 적용해주지 않았습니다. .text 외에도 header 내용을 볼 수 있는 response.headers, HTTP..
-
업무 자동화 코딩캠프 #01 Access CSV Data업무 자동화 제주도 코딩캠프 2019. 2. 16. 09:48
#1 os 와 glob 우선 sample 파일들을 준비한다. os.listdir('[path]') 파일리스트를 볼 수 있는 명령어 glob('[ file to find ]') 원하는 파일을 찾을 때 사용하는 명령어 이 두 가지 명령어는 각각 리스트로 저장이 되며, 잘만 다룬다면 유용하게 쓰일 것 같다. #2 How to Access csv file 실습시간에는 csv 파일에 접근했다. 즉, csv 파일은 데이터가 일반 텍스트로 저장되어 있기때문에 가공하기 편하다 (Excel 또한 csv 로 변환할 수 있다.) 출처 : http://www.hanbit.co.kr/media/channel/view.html?cms_code=CMS5222957204 Pandas 의 read_csv 를 통해 데이터에 접근할 수 ..