파이썬을 이용하여 웹 크롤러 만들기 #1 - Python 설치 및 환경 설정
안녕하세요. 남산돈가스 입니다.
얼마 전 한국정보기술연구원 재직자교육을 통해 "파이썬으로 웹 크롤러 만들기" 교육을 수강했습니다.
내용이 어렵지 않아 누구든지 쉽게 따라할 수 있어서 저는 내용들을 상기 시킬 겸, 내용을 소개드릴 겸 해서 이 포스팅을 시작하게 되었습니다.
이번 포스팅은 2회에 걸쳐서 진행될 예정이며, 회차 별 내용은 다음과 같습니다.
- #1 - Python 설치 및 환경 설정
- #2 - BeautifulSoup4을 활용하여 크롤링하기
그렇다면 1회차인 Python 설치 및 환경 설정 부터 시작하도록 하겠습니다.
현재 저는 맥북을 사용 중이므로, mac OS 기준으로 설명 드리겠습니다.
먼저 Python을 설치하기 전 mac os 에서 패키지 관리를 할 수 있는 프로그램으로 "homebrew"라는 패키지 관리도구가 있습니다.
gimseongsin@gimseongsin-ui-MacBook-Pro:~:>/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
위 명령어를 실행하면 homebrew를 다운 받을 수 있습니다.
homebrew 패키지가 설치되었는지 확인하시려면,
/usr/local/bin 폴더로 이동하여 ls 명령어를 이용하여 homebrew가 있는 지 확인해주시면 됩니다.
homebrew가 설치되었는지도 확인을 하셨다면, 이제 본격적으로 python을 설치해보겠습니다.
방법은 아주 간단합니다.
gimseongsin@gimseongsin-ui-MacBook-Pro:~:>brew install python3 See: https://docs.brew.sh/Homebrew-and-Python ==> Summary 🍺 /usr/local/Cellar/python/3.6.5: 4,705 files, 99.4MB
brew install python3 명령어를 통해 python을 설치할 수 있습니다.
저렇게 마지막에 python이 어떤 경로에 설치되었는지 summary가 확인되고,
명령줄에 python이라고 실행시켰을 때 아래와 같은 화면이 보이면 설치에 성공하신 것입니다.
gimseongsin@gimseongsin-ui-MacBook-Pro:~:> python3 Python 3.6.3 (v3.6.3:2c5fed86e0, Oct 3 2017, 00:32:08) [GCC 4.2.1 (Apple Inc. build 5666) (dot 3)] on darwin Type "help", "copyright", "credits" or "license" for more information. >>>
추가적으로, python 기반의 프로젝트를 진행하시면서, python의 다양하고 유용한 패키지를 손쉽게 설치할 수 있도록 도와주는 툴입니다.
pip 또한 따로 설치해줘야하는데, 명령줄에 easy_install pip 이라는 명령어를 통해 쉽게 설치가 가능합니다.
gimseongsin@gimseongsin-ui-MacBook-Pro:~:> sudo easy_install pip Installed /Library/Python/2.7/site-packages/pip-10.0.1-py2.7.egg Processing dependencies for pip Finished processing dependencies for pip
이렇게 python과 pip 을 설치하고나면 파이썬을 이용하여 웹크롤링하는 기본 설정은 마치셨습니다.
다음 포스팅에서는 실제 간단한 Python 프로젝트를 생성하고 웹 크롤링하는 방법에 대해서 소개해드리도록 하겠습니다.
감사합니다.
댓글
댓글 쓰기