전체 글
-
[AI] Optimization(최적화)AI 2023. 4. 3. 22:08
Optimization최적화는 신경망 분야에서 손실함수의 값을 최소화하는 Hyper Paramter의 값을 찾는 것을 말합니다.(Hyper Parameter : 사용자가 직접 정의하는 Parameter)Batch Size, Learning rate 등 모델에 관한 Hyper Paramter를 말합니다. 최적화 방법으로 대표적으로 확률적 경사하강법(Stochastic Gradient Descent, SGD)가 있습니다. 2차 함수가 있을 때, Learning rate(lr)을 따라 하강합니다.Learning rate는 Hyper Paramter로, Learning rate가 작으면 하강하는 속도가 느려져 학습을 시키는데 시간이 많이 걸리고, Learning rate가 너무 크면 하강하는 폭이 커져서 학습이..
-
[AI] Neural Network, 활성 함수, MLPAI 2023. 4. 3. 19:42
Neural Network (신경망)인공신경망 뉴런 모델은 생물학적인 뉴런을 수학적으로 모델링한 것입니다.여러개의 뉴런으로부터 입력 값을 받아서 세포체(cell body)에 저장하다가 자신의 용량을 넘어서면 외부로 출력 값을 내보내는 것처럼, 인공신경망 뉴런은 여러 입력값을 받아서 일정 수준을 넘어서면 활성화되어 출력값을 내보냅니다.신경망은 선형 모델과 활성함수를 합성한 함수입니다.활성화 함수활성화 함수는 선형 함수가 아닌 비선형 함수여야 합니다.선형 함수란 출력이 입력의 상수배만큼 변하는 함수입니다.예를 들어 f(x) = wx + b 일 때, (w, b는 상수) 직선 그래프가 나옵니다.반대로 비선형 함수는 직선 1개로 그릴 수 없는 함수입니다.인공 신경망의 능력을 높이기 위해서는 은닉층을 계속 추가해야..
-
[AI] 딥러닝 기초AI 2023. 3. 31. 23:25
Key Components of Deep Learning▶Data▶Model▶Loss▶AlgorithmDatamodel이 학습하는 dataModelData를 변환(transform)하는 방법Model의 성질에 따라 결과가 달라진다.종류▶ AlexNet▶ GoogLeNet▶ ResNet▶ DenseNet▶ LSTM▶ DeepAutoEncoders▶ GANLossLoss Function(=cost function)Model 성능의 "나쁨"을 나타내는 지표 → "현재 Model이 Data를 얼마나 잘 처리하지 못하냐"를 나타내는 지표.(데이터를 토대로 산출한 model의 예측 값과 실제 값의 차이를 표현하는 지표)달성하고자 하는 것의 근사치(proxy).위 그림은 간단하게 그린 학습 로직입니다.Input1이 ..
-
[AI] seabornAI 2023. 3. 27. 14:22
SeabornMatplotlib 기반 통계 시각화 라이브러리 Categorical API데이터의 기본 통계량 Countplot 함수countplot함수는 seaborn의 Categorical API에서 대표적인 시각화로 범주를 이산적으로 세서 막대 그래프로 그려주는 함수입니다. Parameter-x : data frame(pandas)의 feature, x축 범주 지정-y : data frame(pandas)의 feature, y축 범주 지정-data-hue : data frame(pandas)의 feature, 색상 적용할 attribute name(=head)지정 - hue_order : 색 구분을 위한 색 순서 지정-order : data 순서 지정-palette : 색상 지정-c..
-
[AI] Week3 학습 정리AI 2023. 3. 23. 17:59
RNNRNN은 Short-Term dependency를 잘 잡지만, Long-Term dependency는 잘 못잡는다.→해결하기 위해 LSTM 나옴LSTM은 Gate 3개 사용 → Parameter 많이 필요→ Parameter 줄이기 위해 Gate하나 없앤 Gated Recurrent Unit 나옴AttentionAttention이란?Decoder에서 출력 단어를 예측하는 시점마다 Encoder에서의 전체 입력 문장을 다시 한 번 참고하는 것 Self-Attention이란?단어 간의 관계성 연산 결과를 활용하여 연관성이 높은 단어끼리 연결해주기 위해 활용하는 것 Attention 과 Self-Attention 의 차이Attention과 Transformer의 Self-Attention는 비슷하지만 차..
-
[프로그래머스] 연속 펄스 부분 수열의 합 c++Coding Test/programmers 2023. 3. 16. 11:19
문제 설명 어떤 수열의 연속 부분 수열에 같은 길이의 펄스 수열을 각 원소끼리 곱하여 연속 펄스 부분 수열을 만들려 합니다. 펄스 수열이란 [1, -1, 1, -1 …] 또는 [-1, 1, -1, 1 …] 과 같이 1 또는 -1로 시작하면서 1과 -1이 번갈아 나오는 수열입니다. 예를 들어 수열 [2, 3, -6, 1, 3, -1, 2, 4]의 연속 부분 수열 [3, -6, 1]에 펄스 수열 [1, -1, 1]을 곱하면 연속 펄스 부분수열은 [3, 6, 1]이 됩니다. 또 다른 예시로 연속 부분 수열 [3, -1, 2, 4]에 펄스 수열 [-1, 1, -1, 1]을 곱하면 연속 펄스 부분수열은 [-3, -1, -2, 4]이 됩니다. 정수 수열 sequence가 매개변수로 주어질 때, 연속 펄스 부분 수열..
-
[프로그래머스] N으로 표현 c++Coding Test/programmers 2023. 3. 16. 08:46
문제 설명 아래와 같이 5와 사칙연산만으로 12를 표현할 수 있습니다. 12 = 5 + 5 + (5 / 5) + (5 / 5) 12 = 55 / 5 + 5 / 5 12 = (55 + 5) / 5 5를 사용한 횟수는 각각 6,5,4 입니다. 그리고 이중 가장 작은 경우는 4입니다. 이처럼 숫자 N과 number가 주어질 때, N과 사칙연산만 사용해서 표현 할 수 있는 방법 중 N 사용횟수의 최솟값을 return 하도록 solution 함수를 작성하세요. 제한 사항 N은 1 이상 9 이하입니다. number는 1 이상 32,000 이하입니다. 수식에는 괄호와 사칙연산만 가능하며 나누기 연산에서 나머지는 무시합니다. 최솟값이 8보다 크면 -1을 return 합니다. 입출력 예 N number return 5 ..
-
[프로그래머스] 덧칠하기 c++Coding Test/programmers 2023. 3. 11. 17:11
문제 설명 한 구역에 페인트를 여러 번 칠해도 되고 다시 칠해야 할 구역이 아닌 곳에 페인트를 칠해도 되지만 다시 칠하기로 정한 구역은 적어도 한 번 페인트칠을 해야 합니다. 예산을 아끼기 위해 다시 칠할 구역을 정했듯 마찬가지로 롤러로 페인트칠을 하는 횟수를 최소화하려고 합니다. 정수 n, m과 다시 페인트를 칠하기로 정한 구역들의 번호가 담긴 정수 배열 section이 매개변수로 주어질 때 롤러로 페인트칠해야 하는 최소 횟수를 return 하는 solution 함수를 작성해 주세요. 제한 사항 1 ≤ m ≤ n ≤ 100,000 1 ≤ section의 길이 ≤ n 1 ≤ section의 원소 ≤ n section의 원소는 페인트를 다시 칠해야 하는 구역의 번호입니다. section에서 같은 원소가 두..