파이썬을 이용하여 웹 크롤러 만들기 #1 - Python 설치 및 환경 설정

작성자: -

안녕하세요. 남산돈가스 입니다.

얼마 전 한국정보기술연구원 재직자교육을 통해 "파이썬으로 웹 크롤러 만들기" 교육을 수강했습니다.

 내용이 어렵지 않아 누구든지 쉽게 따라할 수 있어서 저는 내용들을 상기 시킬 겸, 내용을 소개드릴 겸 해서 이 포스팅을 시작하게 되었습니다.

 이번 포스팅은 2회에 걸쳐서 진행될 예정이며, 회차 별 내용은 다음과 같습니다.
  • #1 - Python 설치 및 환경 설정
  • #2 - BeautifulSoup4을 활용하여 크롤링하기


 그렇다면 1회차인 Python 설치 및 환경 설정 부터 시작하도록 하겠습니다.
현재 저는 맥북을 사용 중이므로, mac OS 기준으로 설명 드리겠습니다.

 먼저 Python을 설치하기 전 mac os 에서 패키지 관리를 할 수 있는 프로그램으로 "homebrew"라는 패키지 관리도구가 있습니다. 

 

gimseongsin@gimseongsin-ui-MacBook-Pro:~:>/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

위 명령어를 실행하면 homebrew를 다운 받을 수 있습니다.

homebrew 패키지가 설치되었는지 확인하시려면,

/usr/local/bin 폴더로 이동하여 ls 명령어를 이용하여 homebrew가 있는 지 확인해주시면 됩니다.

homebrew가 설치되었는지도 확인을 하셨다면, 이제 본격적으로 python을 설치해보겠습니다.

방법은 아주 간단합니다.

gimseongsin@gimseongsin-ui-MacBook-Pro:~:>brew install python3

See: https://docs.brew.sh/Homebrew-and-Python
==> Summary
🍺  /usr/local/Cellar/python/3.6.5: 4,705 files, 99.4MB

brew install python3 명령어를 통해 python을 설치할 수 있습니다.

저렇게 마지막에 python이 어떤 경로에 설치되었는지 summary가 확인되고,

명령줄에 python이라고 실행시켰을 때 아래와 같은 화면이 보이면 설치에 성공하신 것입니다.

gimseongsin@gimseongsin-ui-MacBook-Pro:~:> python3
Python 3.6.3 (v3.6.3:2c5fed86e0, Oct  3 2017, 00:32:08)
[GCC 4.2.1 (Apple Inc. build 5666) (dot 3)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>>

추가적으로, python 기반의 프로젝트를 진행하시면서, python의 다양하고 유용한 패키지를 손쉽게 설치할 수 있도록 도와주는 툴입니다.

pip 또한 따로 설치해줘야하는데, 명령줄에 easy_install pip 이라는 명령어를 통해 쉽게 설치가 가능합니다.
gimseongsin@gimseongsin-ui-MacBook-Pro:~:> sudo easy_install pip

Installed /Library/Python/2.7/site-packages/pip-10.0.1-py2.7.egg
Processing dependencies for pip
Finished processing dependencies for pip

이렇게 python과 pip 을 설치하고나면 파이썬을 이용하여 웹크롤링하는 기본 설정은 마치셨습니다.

다음 포스팅에서는 실제 간단한 Python 프로젝트를 생성하고 웹 크롤링하는 방법에 대해서 소개해드리도록 하겠습니다.

감사합니다.

댓글

댓글 쓰기

주간 인기글

카드뉴스 마케팅 팁

작성자: -
이미지
아이프렌즈펫의 카드뉴스 최근 SNS에서 가장 핫한 콘텐츠 유형 카드뉴스! 아이프렌즈펫은 현재 홍보 예산을 쓰지 않는 방법으로 인스타그램, 페이스북으로 카드뉴스 콘텐츠 마케팅을 하고 있습니다. 일주일에 1개씩 올리다보니 어느덧 6개월 정도의 시간이 흘렀습니다. 짧은 기간이지만 운영한 경험을 공유하고자 합니다. ㅎㅎ 아이프렌즈펫 페이스북 페이지 >  https://www.facebook.com/ifriendspetpage/ 아이프렌즈펫 인스타그램 >  http://picbear.com/ifriendspet 카드뉴스란? 카드뉴스는 짧은 글과 이미지로 구성된 여러 장의 카드입니다. 단순한 홍보에서부터 언론사까지 다양한 곳에서 활용되고 있는 컨텐츠입니다. 카드뉴스 마케팅의 장점 * 모바일 환경에서 가장 최적화된 콘텐츠 유형이며, * 제작 방법도 다른 홍보 수단에 비해 비교적 간단하고 * 홍보 효과가 빠릅니다. (블로그 - 약 6개월, 카드뉴스 - 3개월) 재미있는 카드뉴스 마케팅 예 옥션 #어서옥션 인스타그램 >  https://www.instagram.com/ebayauction/ 제가 인스타그램에서 가장 재미있게 구경하는 피드 중 하나입니다. 홍보 느낌이 하나도 안나요~ 오레오 #오레오 페이스북 >  http://bit.ly/2gA4MDw 오레오는 제가 마케팅의 ㅁ자도 모를때부터 구경하고 있던 페이스북인데요 과자 하나가지고 이렇게 창의적인 작품들을 꾸준히 업데이트 할 수 있다니 놀랍더라구요 ㅎㅎ 카드뉴스 만들기 1. 주제 선정 카드뉴스를 통해 얻을 목표와 타겟이 명확해야 합니다. 그에 맞춰 전달하려는 정보나 메시지 등을 리서치해서 기획을 하고 제작합니다. 처음 해보시는 분들에게 실패를 줄이기 위한 팁을 드리자면 (여기서 실패란 그냥..묻히는 것 말입니다 ㅠ) 1. 비슷한 주제의 페이스북 페이지 운영하는 곳을 되도
자세한 내용 보기

[정보] 인스타그램은 당신의 소리를 '듣고' 있을 수도 있습니다

작성자: -
이미지
[그림출처]  https://medium.com/@damln/instagram-is-listening-to-you-97e8f2c53023 인스타그램은 당신의 소리를 '듣고' 있을 수도 있습니다. 문자 그대로. SNS는 사용자들이 자발적으로 공유하는 글, 사진 등의 정보를 모아서 그 데이터를 기반으로 어떤 사용자가 무엇에 관심이 있는지 파악하여 사용자들에게 가장 관심 있을 만한 광고를 보여주곤 합니다. 몇 년 전부터 페이스북은 앱의 마이크 접근 권한 을 사용하여 핸드폰 주위의 모든 대화 등의 소리를 수집.파악하여 폰 사용자가 무엇에 관심 있는지 데이터를 얻고, 타겟 맞춤 광고에 이 정보를 활용한다고 하는 의혹을 받아왔습니다. 페이스북에 인수된 인스타그램도 마찬가지로요. 저도 가끔 의아했습니다. 어떻게 내가 검색창에서 검색한 적도 없고, 사진도 찍은 적 없고, 글로 쓴 적도 없는 어떤 것에 대해서 인스타그램이 나에게, 그것에 관해 얘기한 지 10분 만에 정확히 그와 관련된 상품을 광고로 보여줄 수가 있지? 그런데 동일한 의문을 품은 유저들이 여러 명 있었던 것 같습니다. (관련글  https://www.imore.com/how-stop-facebook-accessing-your-microphone https://medium.com/@damln/instagram-is-listening-to-you-97e8f2c53023  ) 물론  페이스북이나 인스타그램은 공식적으로 '절대로 그렇지 않다' 고 발표하지만, 그렇다고 하더라도 혹시 있을 수 있는 사생활 침해에서 앱의 마이크 접근 권한을 차단하는 것은 나쁘지 않은 것 같습니다. 만약을 위해 사생활을 보호하려면, 페이스북이나 인스타그램 앱 설정 부분에서 페이스북 앱, 인스타그램 앱의 마이크 접근 권한을 비활성화 하시면 됩니다. 1. 아이폰 또는 설정에서 아래로 스크롤해서, 인스타그램 앱을 선택한 다음, 해당 앱의 마이크 권한 비활성화를 해도 됩니
자세한 내용 보기

[AWS] WinSCP 를 이용해 Linux 인스턴스로 파일 전송하기

작성자: -
이미지
지난 포스팅에서는 Putty 를 활용한 Linux 인스턴스 접속 방법에 대해 알아 보았습니다. 오늘은 이어서  Linux 인스턴스에 파일을 전송할수 있는 WinSCP 활용법에 대해 알아보겠습니다. WinSCP 를 사용하기 위해서는 우선 지난 포스팅에서 Puttygen 을 통해 생성한 PPK 파일이 필요합니다. PPK 파일생성 방법은 [AWS] Windows 에서 Linux 인스턴스 연결을 위한 PuTTY 사용방법 을 참고. 1.  개인 key 를 활용한 서버 접속 방법 아래 링크를 통해 WinSCP 프로그램을 다운로드 합니다. WinSCP 다운로드 -> https://winscp.net/eng/download.php WinSCP 를 설치하고 프로그램을 실행 합니다. 프로그램을 실행하면 바로 로그인 입력 화면이 표출됩니다. 호스트 이름 에 Ec2 인스턴스의 Public IP 또는 Public DNS 를 입력합니다. 사용자 이름 에 접속할 계정 정보 를 입력 합니다. 인증키를 통해 서버에 접속할 예정이므로 설정을 위해 고급버튼 을 선택합니다. * 인스턴스 접속계정 정보는 아래와 같이 구성됩니다. Amazon Linux AMI의 경우 사용자 이름은 ec2-user RHEL AMI의 경우 사용자 이름은 ec2-user 또는 root Ubuntu AMI의 경우 사용자 이름은 ubuntu 또는 root Centos AMI의 경우 사용자 이름은 centos Fedora AMI의 경우 사용자 이름은 ec2-user SUSE의 경우 사용자 이름은 ec2-user 또는 root SSH – 인증 메뉴를 통해 개인키 파일을 등록할 수 있습니다.  SSH 접속을 위해 생성했던 PPK 파일을 선택한 후 확인 을 선택 합니다. 다시 로그인 화면으로 돌아와 로그인 버튼을 선택 합니다. 아래와 같이 인증 절차가 진행됩니다. 인증 완료 후 서버에 접속되고 ec2-user 디렉토리
자세한 내용 보기

[ubuntu] 신규 계정에 sudo 권한 추가하기

작성자: -
이미지
NCP 에서 신규 서버를 생성하면  AWS 와는 다르게 root 계정과 패스워드를 발급해 줍니다. 해당 계정정보를 잘 보관한 후 실제 사용할 계정을 생성해서 서버를 관리하게 됩니다. 1. 우선 ubunbu 에서 신규 계정을 생성  합니다. # adduser namsan cs namsan 이라는 계정을 생성하고 패스워드를 설정하였습니다. 2. 신규 생성된 계정으로 전환 후 명령어를 실행해 봅니다. su 명령어를 통해 신규 생성 계정으로 전환 합니다. # su namsan cs sudo 명령어를 실행해 보겠습니다. # sudo date cs “namsan is not in the sudoers file.  This incident will be reported.” cs sudoers file 에 해당계정이 포함 되어있지 않다는 메시지가 출력됩니다. /etc/sudoers 에 신규 계정이 추가 되어 있지 않아 표출되는 에러 메시지 입니다. 다시 root 계정으로 전환하여 sudoers 파일을 수정해보겠습니다. su 명령어를 통해 다시 root 계정으로 전환 합니다. # su root cs 3. vi 명령어를 통해  /etc/sudoers 파일을 편집합니다. # vi /etc/sudoers cs # User privilege specification 항목에 아래와 같이 신규 생성된 계정 정보를 추가합니다. root  ALL=(ALL:ALL) ALL namsan  ALL=(ALL:ALL) ALL cs 이제 신규 생성된 사용자로 전환하여 sudo 명령어 실행 시 정상적으로 작동하는 것을 확인 할 수 있습니다.
자세한 내용 보기

(ios) NSMutableAttributedString 이용하여, 특정 텍스트 옵션 변경하기

작성자: -
NSMutableAttributedString는 특정 텍스트의 색상 및 폰트를 변경할 때 사용됩니다. 1. 초기화, 객체를 초기화 하고 변경한 text를 넣어줍니다. NSMutableAttributedString *attributedString = [[ NSMutableAttributedString alloc ] initWithString :text]; ---------------------------------------------------------------------------------------- 2. addAttribute이용하여, 폰트를 변경할 수 있는 NSFontAttributeName 설정해주고,  value 에 변경할 폰트를 적용해 줍니다. range는 변경을 원하는 범위를 적용해주면, 사용자가 원하는 텍스트에 폰트를 변경할수 있습니다   // 폰트 [attributedString addAttribute : NSFontAttributeName                              value : [ UIFont fontWithName : FONT_NanumBarunGothic size : m_contentTextView . font . pointSize ]                               range : NSMakeRange ( 0 , m_contentTextView . text . length )]; ---------------------------------------------------------------------------------------- 3. 폰트 이외에도 다양한 옵션들을 변경할수 있습니다. UIKIT_EXTERN NSAttributedStringKey const NSFontAttributeName NS_AVAILABLE ( 10 _0, 6 _0)
자세한 내용 보기