Python Programming (12) 썸네일형 리스트형 Automation System for Crawling Information from Sustainalytics 1. Imports import pandas as pd import numpy as np import re import requests import bs4 from bs4 import BeautifulSoup from selenium import webdriver from selenium.common.exceptions import * from selenium.webdriver.common.keys import Keys import time data = pd.read_excel(r'C:\dataset\crawling_url_total_.xlsx') data company main_url sub_url 0 Novo Nordisk A/S https://www.novonordisk.com/ https://ww.. WebPage Content Crawling & Preprocessing Imports import pandas as pd import numpy as np import re import requests import bs4 from bs4 import BeautifulSoup from selenium import webdriver from selenium.common.exceptions import * from selenium.webdriver.common.keys import Keys import time 1. Data Load data = pd.read_csv(r'C:\dataset\URLS_1_75.csv') del data['Unnamed: 0'] data ETF Company base_url main_url ESG_related 0 EDEN Novo Nordisk h.. 기업의 ESG 요소와 수익률 간의 상관관계 분석(2) - Clustering Analysis Data Load from google.colab import drive drive.mount('/gdrive') Mounted at /gdrive import pandas as pd import numpy as np from sklearn.metrics import silhouette_score as sil from sklearn.cluster import KMeans import seaborn as sns from sklearn.manifold import TSNE import matplotlib.pyplot as plt Unnamed: 0 company code esg e s g AV ret sector sector_class AV_log ret_group sector_num sector_count.. 기업의 ESG 요소와 수익률 간의 상관관계 분석(1) - Data Prep & Exploration Data Preparation !pip install yfinance from google.colab import drive drive.mount('/gdrive') 먼저, 한국기업지배구조원에서 공개한 각 기업들의 ESG의 평가등급과 각 기업들의 수익률, 시가총액, 산업군을 column으로 한 데이터를 불러온다. ESG의 평가등급이 기업의 규모에 따라 상이할 수 있다는 가능성을 배제하지 못하기 때문에 독립변수로 로그화된 시가총액을 고려할 예정이다. 또한, ESG와 무관하게 특정 섹터의 수익률이 다른 산업군에 비해 상대적으로 높거나 낮을 수 있으므로 섹터의 영향 유무에 대한 분석을 함께 실시하고자 한다. 기업의 수는 약 560개이며, Data Preparation & Exploration 단계에서 변수들의.. CRISP-DM 공공자전거 데이터 분석 CRISP-DM Cross-industry standard process for data mining CRISP-DM이란, 데이터로부터 의미를 도출해내는 일반적인 접근법이자 표준 절차다. 분야/산업군을 막론하고 가장 널리 사용되고 있는 분석 모델이라고 볼 수 있다. 해당 모델에서는, 데이터 마이닝 프로세스를 총 6가지 단계로 나누어 분석한다. 1) Business Understanding:대상분야 이해단계 (비즈니스 로직 이해, 도메인 이해) 2) Data Understanding: 데이터 이해단계 (가용 데이터 품질, 형태, 정보 등 확인) 3) Data Exploration: 데이터 탐색단계 (그래프 그리는 단계) 4) Data Preparation: 데이터 준비단계, 학습(데이터에 들어 있는 패턴을.. Web_Crawler(3)_HTML HTML Crawling 해당 포스팅은 kgitbank의 웹크롤링 수업에 대한 내용을 일부 발췌하여 정리한 내용이다. 지난 Web Crawler(1), (2) 포스팅에서 JSON과 XML 형식 파일을 크롤링하는 방법에 대해 다루었다. HTML은 XML과 어떻게 다를까? XML은 태그 이름이 태그 안 정보의 제목 역할을 할 수 있다. HTML의 경우 태그 이름이 태그 안에 있는 정보와 관련이 없다는 특징이 있다. 이를 "HTML 태그"라고 부르며, 내용적 의미보다는 디자인/기능적 의미를 지닌다. 따라서, 태그 이름이 같은 여러 개의 정보 중에서 내가 관심 있는 것을 가져올 수 있어야 한다. Best Seller 50 오늘 사용할 URL은 알라딘 중고서점 사이트이다. 먼저, 베스트셀러 책 50권에 대한 정보.. 금융데이터 다루기 - 패키지 설치와 Plotting 금융데이터 다루기 금융데이터를 불러오기 위해 필요한 Library 설치 yahoo 에서 제공하는 금융 데이터를 활용할 것이다. yfinance 를 설치한 후 yf라는 이름으로 불러온다. 명칭 yahoo finance 사이트에 접속하여 (https://finance.yahoo.com/) 회사 이름을 검색하면 종목에 어떤 명칭을 사용해야 할 지 알 수 있다. 아래 예시로부터, tesla 의 경우 TSLA라는 명칭을 사용하고 있음을 알 수 있다. !pip install yfinance import yfinance as yf Collecting yfinance Downloading https://files.pythonhosted.org/packages/7a/e8/b9d7104d3a4bf39924799067592.. Web Crawler(2) - XML 뉴스 정보 가져오기 해당 포스팅은 kgitbank의 웹크롤링 수업에 대한 내용을 일부 발췌하여 정리한 내용이다. 지난 Web Crawler(1) 포스팅에서는 웹 크롤링의 종류에 대해 설명하고, JSON 파일을 불러오는 방법에 대해 다루었다. JSON 파일은 Dictionary 형식으로 구성되어 있어 url을 request 모듈로 받은 후, 원하는 정보가 들어 있는 Key 값을 직접적으로 지정하여 접근할 수 있었다. 한편, XML 파일을 불러오는 경우, 파일을 Dictionary 형식으로 변환해 주는 모듈을 추가적으로 사용해야 한다. 그 중 xmltodict와 BeautifulSoup 모듈을 사용하여 최신 뉴스 정보를 불러오는 방법에 대해 알아볼 것이다. I. XML - Using Dictionary 우선 url을 불러오기 .. 이전 1 2 다음
