第十一周TRANSFORMERS

學號: 1111310012

姓名: 蘇明心

 

LLM COURSE

URL :https://huggingface.co/

URL: https://huggingface.co/learn/llm-course/chapter1/2

Colab Google---ransformers, what can they do?

sentiment-analysis

I've been waiting for a HWU1111310012 course my whole life

"zero-shot-classification"

"text-generation"

"text-generation", model="distilgpt2"

"fill-mask"

"ner", grouped_entities=True

"question-answering"

"summarization"

"translation", model="Helsinki-NLP/opus-mt-fr-en"

 

Image classification

 

\ matplotlib.pyplot

 

貓資料


LLM 課程學習心得報告

今天參加了這堂非常精彩的「LLM Course」，從 Hugging Face 生態系入門，一路講到大型語言模型（LLM）、Transformer 原理，再到親手用 TensorFlow 訓練影像分類模型，整個內容扎實又充滿實作樂趣，收穫真的非常多！

重要觀念總結（作業要求重點）

1.      什麼是 Hugging Face？ Hugging Face 是目前全球最大的開源 AI 社群平台，提供了：

·         超過 50 萬個預訓練模型（Model Hub）

·         Transformers 函式庫（一行程式碼就能呼叫各種任務）

·         Pipeline 超簡單 API

·         Inference API、Spaces、Datasets 等完整生態系 簡直是現代 AI 開發者的「GitHub + PyPI + Docker Hub」的綜合體！

2.      什麼是 Natural Language Processing（NLP）？ 讓電腦理解、處理、產生人類語言的領域。常見任務包含：

·         情感分析（sentiment-analysis）

·         命名實體辨識（NER）

·         機器翻譯、摘要、問答、文字生成等 現在幾乎都靠 Transformer 架構一統江湖。

3.      什麼是 Large Language Models（LLMs）？ 參數量動輒數十億到千億以上的巨型語言模型（如 Llama、GPT、Claude、Gemma 等），具有「預訓練 + 微調」的能力，能做到：

·         Zero-shot / Few-shot 學習（不用額外訓練就能做新任務）

·         理解上下文、邏輯推理、寫程式、翻譯、創作 真正實現了「通才型 AI」。

4.      什麼是 Transformers？ 2017 年 Google 提出的《Attention Is All You Need》架構，完全取代了傳統 RNN/LSTM，核心特色：

·         Self-Attention 機制：可以同時看到序列中所有位置的關係

·         多頭注意力（Multi-Head Attention）

·         位置編碼（Positional Encoding）

·         Encoder-Decoder 結構 支援高度平行運算，讓模型可以做到又大又快！

5.      TensorFlow / Keras Google 推出的深度學習框架，Keras 是它的上層 API，語法簡潔好上手。今天用 Keras 搭配 MobileNetV2 做貓狗分類、自己從頭訓練人臉辨識模型，讓我真正感受到「自己動手訓練 AI」的成就感！