AI챗봇 교육

AI의 기원

 

인공지능(Artificial Intelligence, AI)는 인간의 지능적 행동을 모사하여 자동화하는 컴퓨터 과학의 한 분야
인공지능은 두 번의 황금기와 암흑기를 거쳐, 세 번째 황금기를 맞이함
1956년 : 인공지능의 대부 존 매카시가 개최한 다트머스 회의에서 인공지능에 대한 정의와 개념을 정립하면서 인간의 지능을 대체할 학문분야로 인정
1970년(첫 번째 황금기) : 특정 분야에 전문적인 지식을 탑재한 전문가 시스템(Expert System)에 막대한 연구자금이 투입
• 1980년대 중반(첫 번째 암흑기) : 그러나 전문가 시스템이 목표문제를 해결하지 못함에 따라 인공지능에 대한 뜨거운 관심이 약화
1985년(두 번째 황금기) : 인공신경망의 한 종류인 다층 퍼셉트론(Multi-Layer Perceptron)의 학습방법인 오류역전파법(Error Back-propagation Method)이 지능적 문제를 해결할 수 있는 가능성 제시
• 2000년대 중반(두 번째 암흑기) : 세간의 조명을 받았던 오류역전파법 역시 제한적인 데이터, 컴퓨팅파워 부족 등 물리적인 한계로 인해 빛을 발하지 못함
2006년(세 번째 황금기) : 인공지능의 부침의 역사에도 불구하고 지속적으로 연구를 수행한 토론토 대학의 제프리 힌튼 교수는 인공신경망의 혁신적인 학습 기법인 자율 학습(unsupervised learning)을 발표

1️⃣ 인공지능의 첫 번째 겨울: "XOR의 벽"

1969년, 초기 인공신경망 모델인 '단층 퍼셉트론'의 한계가 드러나며 연구는 긴 침체기에 빠집니다.

• 문제점: 입력값 두 개가 서로 다를 때만 1을 출력하는 XOR 문제와 같은 비선형 문제를 해결하지 못함.
• 결과: "인공지능은 단순한 문제밖에 못 푼다"는 비판과 함께 연구 지원이 끊김.

---

2️⃣ 힌튼 교수의 등장과 '역전파'의 혁명

1986년, '딥러닝의 대부' 제프리 힌튼 교수는 퍼셉트론을 여러 겹 쌓은 '다층 퍼셉트론(MLP)'에 역전파(Backpropagation) 알고리즘을 도입하며 반전을 꾀합니다.

• 역전파란? * 결과값의 오차를 확인한 뒤, 이를 줄이기 위해 거꾸로(출력층 → 입력층) 가중치를 조절하는 방식입니다.
  • 쉽게 말해, "틀린 답을 보고 문제 풀이 과정을 뒤에서부터 고쳐나가는 학습법"이죠.
• 한계: 신경망이 너무 깊어지면 오히려 학습이 안 되는 새로운 난관에 봉착합니다.

---

3️⃣ 2006년, '딥러닝'의 시대가 열리다

힌튼 교수는 20년 뒤인 2006년, 심층 신뢰 신경망(DBN)을 발표하며 마침내 현대 딥러닝의 기초를 세웁니다.

• 해결책: 비지도학습(Unsupervised Learning)
  • 정답(레이블)이 없는 데이터의 패턴을 먼저 스스로 익히는 '사전 훈련' 과정을 도입했습니다.
  • 이후 전체 네트워크를 미세하게 조정(Fine-tuning)하여 학습 효율을 극대화했습니다.
• 역사적 의미: 이 연구는 단순히 기술적 진보를 넘어, 오늘날 AI의 핵심인 '딥러닝(Deep Learning)'이라는 개념을 정립하는 계기가 되었습니다.

 

 

Alexnet 딥러닝의 아버지

AI의 전환점은 2012년이었습니다.힌턴의 제자 연구팀(알렉스 크리제프스키 등)은 이미지넷 대회(ImageNet, 이미지 인식 대회)에서 압도적인 성능을 기록합니다.ㅍ이때 사용된 모델이 바로 알렉스넷(AlexNet)인데요.

대규모 데이터와 GPU 연산, 깊은 신경망을 결합한 이 모델은 딥러닝이 실제로 쓸 수 있는 기술임을 전 세계에 증명했습니다.
이 사건 이후, 인공지능 연구의 중심은 급격히 딥러닝으로 이동해요.

1️⃣ 데이터를 처리하는 방식 (순차 vs 병렬)

가장 큰 차이는 데이터를 읽어들이는 '순서'에 있습니다.

• RNN (Recurrent Neural Network): 데이터를 하나씩 순차적으로 처리합니다. 첫 번째 단어를 읽고 그 정보를 다음 단계로 전달하는 방식이죠. 마치 사람이 책을 한 글자씩 읽어 내려가는 것과 비슷합니다.
• 트랜스포머 (Transformer): 문장 전체를 한꺼번에(병렬) 입력받습니다. 모든 단어 사이의 관계를 동시에 계산하기 때문에 학습 속도가 RNN보다 압도적으로 빠릅니다.

2️⃣ 기억력의 한계 (장기 의존성 문제)

문장이 길어질 때 두 모델의 실력이 극명하게 갈립니다.

• RNN: 이전 정보를 계속 다음 단계로 넘겨주다 보니, 문장이 길어지면 앞부분의 내용을 잊어버리는 '기울기 소실(Vanishing Gradient)' 문제가 발생합니다.
• 트랜스포머: '어텐션(Attention)' 메커니즘을 사용합니다. 문장이 아무리 길어도 모든 단어를 직접 연결해서 보기 때문에, 문장 맨 앞의 단어와 맨 뒤의 단어 사이의 관계도 놓치지 않고 정확히 파악합니다.

3️⃣ 위치 정보의 처리

• RNN: 순서대로 데이터를 입력받기 때문에 자연스럽게 단어의 위치를 알 수 있습니다.
• 트랜스포머: 한꺼번에 데이터를 넣기 때문에 별도로 위치 정보를 알려주어야 합니다. 이를 위해 '포지셔널 인코딩(Positional Encoding)'이라는 기술을 사용하여 각 단어가 문장에서 몇 번째에 있는지 알려줍니다.