전체 글72 python beautifulSoup를 이용해 crawling 한 정보 db저장하기 오늘은 python library beautifulSoup를 이용하여 필요한 정보를 crawling 후, db에 저장하는 방법에 대해 적어보겠습니다. python : 3.8 mysql : 8.0 1. 필요한 라이브러리 install pip install requests pip install beautifulsoup4 pip install pymysql requests : http 요청처리를 위해 사용하는 모듈 beautifulsoup4 : html 및 xml 문서 구문 분석을위한 Python 패키지 pymysql : python과 mysql을 이어주는 패키지 2. html 크롤링하기 저는 영화와 평점이 있는 웹페이지 url을 선언해주고, 해당 웹페이지의 html을 가져왔습니다. 실제로 print(soup.. 2020. 8. 4. ec2 ppk 파일 없이 접속하기 putty를 사용하여 ec2 에 접속하고 있는데 어느순간 ppk파일을 넣어야 하는게 귀찮아 졌습니다. 또 다른컴퓨터에서 잠시 접속할 때 ppk파일을 같이 전송해야 접속할 수 있으니까 너무 불편했습니다. 그래서 ppk파일 없이 ip 주소 + 비밀번호로 접속할 수 있는 방법에 대해 작성 하겠습니다. 간편하지만 보안으로는 조금 약해 진다는 점은 감안해야 합니다! 먼저 설정해주려면 ip주소+ppk파일로 접속해야합니다. 1. 비밀번호 설정 제가 접속하는 user 는 ubuntu 입니다. ubuntu 계정의 비밀번호를 설정해줍니다. sudo passwd ubuntu root 계정으로 로그인하시려면 ubuntu 대신 root를 넣어주세요. 그러고 비밀번호를 설정해줍니다. 2. 비밀번호 접속 허락해주기 ~$ sudo .. 2020. 8. 2. java/python 진수변환 scpc 연습문제 113번. 입력받은 정수를 이진수로 변환하여 1의 갯수를 출력하는 문제 알고리즘문제에서 종종 진수변환을 요구하는 문제가 있다. 오늘 딱정리! int num = 12; String toBinary = Integer.toBinaryString(num); //2진수 String toOctal = Integer.toOctalString(num); //8진수 String toHex = Integer.toHexString(num); //16진수 to[진수]String(int)!! 2진수는 Binary, 8진수는 Octal, 16진수는 Hex 이다. 변환한 결과의 타입은 String이다. n진수를 다시 10진수로 변환하는 방법은 int binToDec = Integer.parseInt(toBinar.. 2020. 7. 31. jsp 복습하기(1) 지난 겨울, 학교에서 배우는 것에 한계를 느껴서 학원을 등록하여 jsp에 대해 한달동안 배웠다. 이후에 개강하고 복습해야지 하던걸 미뤄서 여름방학까지.. 학교강의에서는 django, php를 배웠는데 그러다보니 jsp 에 대해서 조금 까먹은 느낌!ㅜㅜ eclipse 설치+설정, apache-tomcat 연결과 mysql 연동(CRUD 구현), html,css,js 까지 학원에서 배웠던걸 혼자 복습해볼 예정!! 추가로 부트스트랩도 적용해볼 예정이다. 그냥 혼자 공부한 내용을 일기처럼 적을예정이다. 일단 컴퓨터에 이클립스는 설치되어있다. 원래 사용하던 이클립스는 웹개발 전용이 아니었어서 web 개발전용 eclipse를 다시 설치했던 기억이 있다. 1. eclipse 설치하기 https://www.eclips.. 2020. 7. 31. mysql 기본 문법 mysql은 가장 널리 사용되고 있는 관계형 데이터베이스 관리시스템(RDBMS)입니다. 관계형 데이터베이스란 table로 이루어져 있으며, 이 테이블은 key와 value의 관계를 나타냅니다. mysql에서 db에 대한 작업명령은 sql구문을 이용하여 처리하는데, 간단하고 많이 쓰이는 구문을 알아보겠습니다! mysql은 대소문자를 구분하지 않지만(테이블, 필드 명은 구분함) 대문자로 쓰는게 관례입니다. 1. db 생성하기(CREATE) mysql> CREATE DATABASE market; market이라는 데이터베이스를 하나 만들었습니다. 2. db선택하기(USE) mysql> SHOW databases; +--------------------+ | Database | +-----------------.. 2020. 7. 31. ubuntu 에 mysql 설치하기 오늘은 ubuntu에 mysql을 설치해보도록 하겠습니다. mysql 을 install 해줍니다.(update가 필요하다고 하면 터미널에 나오는 sudo apt-get update를 입력해주세요.) $ sudo apt-get install mysql-server 설치가 끝난 후 mysql을 실행해줍니다. $ sudo systemctl start mysql ubuntu 서버가 재시작 되더라도 mysql이 자동으로 실행될 수 있도록 명령어를 입력해줍니다. $ sudo systemctl enable mysql mysql에 접속합니다. $ sudo /usr/bin/mysql -u root -p 비밀번호 설정을 위해 아래 명령어를 입력합니다. (mysql 5.7.6 이후 버전) mysql> ALTER USER '.. 2020. 7. 30. 이전 1 ··· 8 9 10 11 12 다음
