본문 바로가기
728x90
반응형

머신러닝17

[머신러닝] 특성공학과 규제 #4 적절한 alpha 값 찾기 개발 환경 --------------------------------- OS : Mac 개발 툴 : colab 개발 언어 : python --------------------------------- import pandas as pd import numpy as np from sklearn.model_selection import train_test_split df = pd.read_csv('https://bit.ly/perch_csv_data') perch_full = df.to_numpy() fish_weight = np.array([5.9, 32.0, 40.0, 51.5, 70.0, 100.0, 78.0, 80.0, 85.0, 85.0, 110.0, 115.0, 125.0, 130.0, 120.0,.. 2023. 3. 23.
[머신러닝] 특성공학과 규제 #3 규제가 필요한 이유, 릿지 라쏘 회귀 개발 환경 --------------------------------- OS : Mac 개발 툴 : colab 개발 언어 : python --------------------------------- https://jpointofviewntoe.tistory.com/146 [머신러닝] 특성공학과 규제 #1 개발 환경 --------------------------------- OS : Mac 개발 툴 : colab 개발 언어 : python --------------------------------- 특성 공학 기계 학습 및 패턴인식 분야에서 중요한 개념 중 하나로, 원시 데이터로부터 유용 jpointofviewntoe.tistory.com https://jpointofviewntoe.tistory.com.. 2023. 3. 22.
[머신러닝] 특성공학과 규제 #2 개발 환경 --------------------------------- OS : Mac 개발 툴 : colab 개발 언어 : python --------------------------------- https://jpointofviewntoe.tistory.com/146 [머신러닝] 특성공학과 규제 #1 개발 환경 --------------------------------- OS : Mac 개발 툴 : colab 개발 언어 : python --------------------------------- 특성 공학 기계 학습 및 패턴인식 분야에서 중요한 개념 중 하나로, 원시 데이터로부터 유용 jpointofviewntoe.tistory.com import pandas as pd import numpy as .. 2023. 3. 22.
[머신러닝] 특성공학과 규제 #1 개발 환경 --------------------------------- OS : Mac 개발 툴 : colab 개발 언어 : python --------------------------------- 특성 공학 기계 학습 및 패턴인식 분야에서 중요한 개념 중 하나로, 원시 데이터로부터 유용한 특성을 추출하거나 생성하는 과정을 말한다. 기계학습 모델은 입력 데이터로부터 특성을 추출하여 출력을 예측하는데, 이때 입력 데이터의 특성이 어떻게 추출되느냐에 따라 모델의 성능이 크게 달라질 수 있다. 특성 공학의 과정 데이터 수집 : 데이터를 수집하여 데이터의 특성을 분석 특성 추출 : 분석된 데이터를 기반으로 유용한 특성을 추출한다. 기계 학습 모델이 잘 학습할 수 있도록 특성을 선택하고 변형하는 과정이 포함될 수.. 2023. 3. 21.
[머신러닝] 사이킷 런 변환기, PolynomialFeatures 개발 환경 --------------------------------- OS : Mac 개발 툴 : colab 개발 언어 : python --------------------------------- 사이킷 런의 변환기 사이킷 런은 파이썬에서 사용할 수 있는 머신 러닝 라이브러리 중 하나로, 다양한 머신 러닝 모델을 쉽게 구현하고 평가할 수 있는 다양한 기능을 제공한다. 변환기(Transformer)는 사이킷 런에서 제공하는 중요한 기능 중 하나다. 변환기는 입력 데이터를 변환하여 출력 데이터를 생성하는 객체를 말하며, 대게 데이터 전처리 과정에서 사용된다. 변환 작업은 전처리 과정중 하나로, 데이터의 특성을 정규화, 스케일링, 인코딩 등의 방식으로 수정하여 머신 러닝 모델에 적용할 수 있는 형태로 만듭니.. 2023. 3. 21.
회귀 분석(Regression analysis) - 선형회귀의 예제 #2 https://jpointofviewntoe.tistory.com/140 회귀 분석(Regression analysis) - 선형회귀의 예제#1 개발 환경 --------------------------------- OS : Mac 개발 툴 : colab 개발 언어 : python --------------------------------- 회귀분석이 무엇인가 구글에 회귀분석이라고 검색하면 아래와 같이 나온다. 회귀 분석은 둘 jpointofviewntoe.tistory.com 이전 소스까지 가져왔습니다. 혹시나 이 편부터 보실 분도 있기에,, import numpy as np from sklearn.model_selection import train_test_split from sklearn.neigh.. 2023. 3. 17.
회귀 분석(Regression analysis) - 선형회귀의 예제#1 개발 환경 --------------------------------- OS : Mac 개발 툴 : colab 개발 언어 : python --------------------------------- 회귀분석이 무엇인가 구글에 회귀분석이라고 검색하면 아래와 같이 나온다. 회귀 분석은 둘 이상의 변수 간의 관계를 보여주는 통계적 방법 입니다. 일반적으로 그래프로 표현되는 이 방법은 종속 변수와 독립 변수 간의 관계를 테스트합니다. 일반적으로 독립 변수는 종속 변수에 따라 변경되며 회귀 분석은 해당 변경에서 가장 중요한 요소에 대한 답을 찾으려고 시도합니다. 블라블라 ~ 머라고 하고 있군요. 머신러닝에서 회귀란 임의의 어떤 숫자를 예측하는 문제입니다. 예를들어 내년도 경제 성장률을 예측하거나 배달이 도착할 시.. 2023. 3. 17.
[머신러닝] 과대적합 vs 과소적합 과대적합(overfitting) 과대적합은 모델의 훈련 세트 성능이 테스트 세트 성능보다 훨신 높을 때 일어납니다. 과대적합이란 머신러닝 모델을 학습할 때 훈련 데이터셋에 지나치게 최적화하여 발생하는 문제입니다. 과대적합 발생 원인은 - 훈련 데이터를 지나치게 복잡하게 학습 - 데이터 셋 내 데이터가 충분치 못함 - 데이터 셋 내 분산이 크거나 노이즈가 심한 경우 이런 경우 모델은 훈련 세트 내 모든 데이터를 섭렵하여 오차를 줄이려 하므로 학습 데이터 셋에서는 모델 성능이 높게 나타나지만 새로운 데이터가 들어오면 낮은 정확도를 보여줍니다. 모델을 학습시킬 때 어느 순간 이후로 모델의 훈련세트에 대한 손실 값은 작아지고 검증 세트에 대한 손실값이 커진다면 이는 훈련세트에 밀착하여 모델이 학습하고 있다는 것.. 2023. 3. 13.
[python] reshape() 메서드와 예제 개발 환경 --------------------------------- OS : Mac 개발 툴 : colab 개발 언어 : python --------------------------------- 이번 포스팅은 reshape() 메서드를 공부해보겠습니다. 파이썬 언어는 신기한게 많습ㄴ디ㅏ... reshape() 메서드는 Numpy 패키지에서 제공하는 메서드입니다. 배열의 크기를 바꿀 수 있습니다. 예를들어 import numpy as np test_arr = np.array([1,2,3,4]) test_arr라는 이름의 (4,) 배열이 있습니다. test_arr은 1차원 배열입니다. reshape() 메서드를 사용해 2차원 배열로 변형시키겠습니다. 1. (2,2)로 바꿔볼거에요. import numpy.. 2023. 3. 13.
[머신러닝] 데이터 전처리 개념과 예제 #2 개발 환경 --------------------------------- OS : Mac 개발 툴 : colab 개발 언어 : python --------------------------------- 지난 포스팅에 이어 데이터 전처리 예제를 다뤄보겠다. https://jpointofviewntoe.tistory.com/13 표준편차와 표준점수를 계산해보자 계산하는 방법은 데이터에서 평균을 빼고 표준편차를 나누어주면 된다. np.mean() 함수는 평균을 계산하고 np.std() 함수는 표준편차를 계산한다. 특성마다 값의 스케일이 다를 경우엔 평균과 표준편차를 각 특성별로 계산해야한다. 이를 위해 axis = 0 으로 셋팅했다. 이렇게 하면 행을 따라 열의 통계값을 셋팅한다. mean = np.mean(tr.. 2023. 3. 12.
[머신러닝] 데이터 전처리 개념과 예제 #1 개발 환경 --------------------------------- OS : Mac 개발 툴 : colab 개발 언어 : python --------------------------------- 올바른 결과 도출을 위해서 데이터를 사용하기 전에 데이터 전처리 과정을 거쳐야한다. 데이터 전처리란 데이터를 분석 및 처리에 적합한 형태로 만드는 과정을 총칭한다. 데이터 전처리 단계 데이터 수집 – > 데이터 정제 -> 데이터 통합 -> 데이터 축소 -> 데이터 변환의 가정을 거치게 된다. 데이터 전처리를 해야하는 이유 대부분의 머신러닝 알고리즘은 특성의 스케일이 다르면 잘 작동하지 않는다. 특히 알고리즘이 거리기반일 때는 올바르게 예측하기가 어렵다. k-최근접 이웃 알고리즘도 마찬가지이다. 이런 알고리즘은.. 2023. 3. 12.
[python] np.random.seed 란? 개발 환경 --------------------------------- OS : Mac 개발 툴 : colab 개발 언어 : python --------------------------------- 이번 포스팅에서는 np.random.seed에 대해 보겠다. np.random.seed를 검색해서 들어왔으면 np를 알겠지만 혹시나 모르는 사람이 있을 수 있으니! np는 numpy를 줄여서 말한다. 아래와 같이 import하여 줄여 np로 사용한다. import numpy as np np.random.seed(0)은 일정한 결과를 얻기 위해 사용한다. 예제 np.random.rand() 에 값을 넣어 난수를 생성해보겠다. np.random.seed() 생략 [첫번째 시도] np.random.rand(10) .. 2023. 3. 11.
728x90
반응형

티스토리툴바