네이버 최신 뉴스 헤드라인을 추출해 보자. 일반적으로 웹 데이터를 추출하는 것을 웹크롤링이라 한다. 주로 파이썬을 이용해 웹 페이지 분석 후 필요한 데이터를 가져오는 코드를 작성하는데, 웹 페이지 소스코드 분석과 파이썬 크롤링 코드 작성이란 쉽지 않은 관문이 있다. 물론 웹 개발 경험이 있다면 쉽게 코드를 구현할 수 있겠지만 그렇지 않을 경우는 자동화 코드를 만들기 쉽지 않다. 이런 어렵고 복잡한 부분은 인공지능에게 작업하게 하고 우리는 그 결과에 피드백을 제공하면 원하는 결과물을 얻을 수 있지 않을까 생각한다. 인공지능과의 채팅은 누구든 할 수 있으니 말이다. 1. 어떤 데이터를 추출할 것인가? 네이버 뉴스 기사 웹 페이지에 접속해 URL 을 카피하자 > https://news.naver.com/section/104 네이버 뉴스 헤드랑ㄴ 2. 웹 페이지 정보 추출 지..

Docker를 언제 어디서든 사용하려면 공유 공간에 이미지를 올려야 한다. 디폴트는 도커허브다. https://hub.docker.com/ Docker Hub Container Image Library | App Containerization Increase your reach and adoption on Docker Hub With a Docker Verified Publisher subscription, you'll increase trust, boost discoverability, get exclusive data insights, and much more. hub.docker.com 도커허브에 사용자 계정을 만들고 이미지 저장소를 이용해 보자. 1. docker hub login 하기 (1) docker hub에 사용자 계정을 만든다. (2) CLI로 docker credential을 생성한다. docker hub id/pwd 인증을 하는 단계로 성공하면 credential이 생성된다. 그다음부터는 인증창 없이 바로 접속된다. docker login docker login 위 docker 사이트 링크를 띄워 인증한다. ctrl + click -> 브라우저 실행하고 입력창에 코드를 넣고 엔터를 친다. 맞으면 login이 성공한다. docker login 2. docker images ..

Docker 이해하기 위한 세상에서 제일 간단한 프로그램을 만들어 보자. "Hello, Docker World!" 출력하기 Docker를 한 줄로 정의하면, 개발, 실행 환경과 관계없이 언제 어디서든 프로그램을 실행할 수 있고 같은 결과를 가져오는 일종의 가상환경이다. 개발환경과 실행가능한 바이너리/라이브러리까지 모두 하나의 이미지로 만들고 필요할 때 도커에 컨테이너로 구성해 사용한다. 일반적인 가상화 컴퓨팅보다 훨씬 효율적으로 자원을 사용하며 사용법이 간단한다. 실제 만들어 보자. 1. Docker 설치하기 https://www.docker.com/ 접속해 자신의 OS에 맞는 설치파일을 다운로드하여 설치한다. docker 설치 2. docker에서 실행할 간단한 프로그램을 만들자. print("Hello, Docker World!") 파이썬 소스로 만든 "Hello~" 출력문이다. hello.py로 저장하고 py hello.py로 실행해 보자. 3. docker 이미지 설..

네이버 뉴스에 접속해 오늘의 헤드라인을 추출해 도커에서 관리해 보자. 파이썬 크롤러를 소스코드를 작성하고 도커로 이미지화하고 필요할 때 컨테이너로 가져와 사용하는 컨셉이다. 물론, 간단한 파이썬 크롤링을 도커로 둘러살 필요는 없지만 어디까지나 도커실습이다. 응용 프로그램을 만들기 위한 실습이라고 보면 될 것이다. 1. 파이썬 코드 (뉴스 크롤링) import requests from bs4 import BeautifulSoup def fetch_headlines(): url = "https://news.naver.com/section/104" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36" } response = requests.get(url, headers=headers) response.raise_for_status() # HTTP 요청이 성공했는지 확인 soup = BeautifulSoup(response.text, "html.parser") # 결과를 저장할 리스트 news_headlines = [] ..

지난 시간에 쿠바네티스 환경 구축 및 간단한 서비스를 만들어 보았다. 이번에는 한 걸음 더 들어가서 웹 사이트에 접속해 hello world가 출력되는 페이지를 만들어 보자. 함께 따라 해보면 쿠바네티스 돌아가는 원리가 보일 것이다. 쿠바네티스트 환경 구축은 이전 포스트 참고하시라. 2024.12.01 - [코드리뷰] - 내 PC에 도커와 쿠바네티스 구축하기 내 PC에 도커와 쿠바네티스 구축하기 가상화 개발이 기본인 세상이다. 도커와 쿠바네티스를 모른다면 클라우드 개발이 불가능하다는 인식을 가져야 한다. 쉬운 이해를 위해 내 pc에 도커와 쿠바네티스를 설치하고 nginx 웹서버를 구 iamgus.tistory.com 로컬에 쿠바네티스를 올리고 hello world 페이지를 위한 서비스를 등록하자. 1. Deployment 생성 nginx-deployment.yaml 파일로 저장한다. 쿠바네티스에 올라갈 deploy yaml파일이다...

가상화 개발이 기본인 세상이다. 도커와 쿠바네티스를 모른다면 클라우드 개발이 불가능하다는 인식을 가져야 한다. 쉬운 이해를 위해 내 pc에 도커와 쿠바네티스를 설치하고 nginx 웹서버를 구축해보았다. [Kubernetesnginx 웹서버 구성하기] 내 노트북에 Kubernetes 환경 구성.pdf 0.25MB

초보자를 위한 나만의 쿠팡 크롤러 UI 만들기 다섯번 영상입니다. 이 영상을 끝까지 보고나면 파이썬이 설치되어 있지 않은 컴퓨터에서도 프로그램을 실행할 수 있습니다. 바로 exe 실행 파일이 만들어 집니다. https://youtu.be/oLWZoKGpznw 웹 크롤러 소스코드입니다. 조금씩 고도화하고 있어요. import tkinter as tk from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.chrome.options import Options import tkinter.messagebox as msg from datetime import datetime from tkinter import ttk import csv from threading import Thread # 키보드(엔터) 입력 처리 def on_enter_key(event): btnSearch.invoke() # Selenium 설정 함수 def setup_selenium(): chrome_options = Options() chrome_options.add_argument("--headless") # 헤드리스 모드 설정 chrome_options.add_argument("--no-sandbox") # 리눅스 환경에서 필요할 수 있는 옵..

초보자도 10분 만에 나만의 쿠팡 크롤링 UI를 만들 수 있는 방법을 소개합니다. 네 번째 강좌로 폼나는 UI 만드는 5단계 비법을 알려 드릴게요. https://youtu.be/jcY0NrvbXWI