Bảng thuật ngữ máy học

Bảng thuật ngữ này định nghĩa các thuật ngữ chung về máy học, cộng với các cụm từ dành riêng cho TensorFlow.

A

loại bỏ

Kỹ thuật đánh giá tầm quan trọng của một tính năng hoặc thành phần bằng cách tạm thời xoá nó khỏi mô hình. Sau đó bạn huấn luyện lại mô hình mà không có tính năng hoặc thành phần đó, cũng như nếu mô hình được huấn luyện lại hoạt động kém hơn đáng kể, thì tính năng hoặc thành phần bị xoá có thể quan trọng.

Ví dụ: giả sử bạn huấn luyện một mô hình phân loại cho 10 tính năng và đạt được độ chính xác 88% trên nhóm kiểm thử. Để kiểm tra tầm quan trọng của tính năng đầu tiên, bạn có thể huấn luyện lại mô hình chỉ bằng 9 các tính năng AI mới. Nếu mô hình được huấn luyện lại có hiệu suất kém hơn đáng kể (ví dụ: 55%), thì tính năng bị xoá có thể đóng vai trò quan trọng. Ngược lại, nếu mô hình được huấn luyện lại hoạt động hiệu quả như nhau, thì tính năng đó có thể không quan trọng lắm.

Việc loại bỏ cũng có thể giúp xác định tầm quan trọng của:

• Các thành phần lớn hơn, chẳng hạn như toàn bộ hệ thống con của một hệ thống học máy lớn hơn
• Quy trình hoặc kỹ thuật, chẳng hạn như bước xử lý trước dữ liệu

Trong cả hai trường hợp, bạn sẽ quan sát cách hiệu suất của hệ thống thay đổi (hoặc không thay đổi) sau khi bạn đã xoá thành phần.

Thử nghiệm A/B

Một phương pháp thống kê để so sánh hai (hoặc nhiều) kỹ thuật – A và nút B. Thông thường, A là một kỹ thuật hiện có và B là một kỹ thuật mới. Thử nghiệm A/B không chỉ xác định kỹ thuật nào hoạt động hiệu quả hơn mà còn xác định liệu sự khác biệt có ý nghĩa thống kê hay không.

Thử nghiệm A/B thường so sánh một chỉ số trên hai kỹ thuật; ví dụ: độ chính xác của mô hình so sánh như thế nào giữa hai kỹ thuật? Tuy nhiên, thử nghiệm A/B cũng có thể so sánh bất kỳ số lượng chỉ số nào có giới hạn.

chip tăng tốc

Một danh mục các thành phần phần cứng chuyên biệt được thiết kế để thực hiện các phép tính chính cần thiết cho thuật toán học sâu.

Khối tăng tốc (hoặc gọi tắt là trình tăng tốc) có thể đáng kể tăng tốc độ và hiệu quả của các tác vụ huấn luyện và suy luận so với một CPU đa năng. Các GPU này rất lý tưởng để huấn luyện mạng nơron và các tác vụ có tính toán chuyên sâu tương tự.

Ví dụ về khối tăng tốc:

• Bộ xử lý tensor (TPU) của Google có phần cứng chuyên dụng cho việc học sâu.
• GPU của NVIDIA, mặc dù ban đầu được thiết kế để xử lý đồ hoạ, được thiết kế để cho phép xử lý song song, điều này có thể đáng kể để tăng tốc độ xử lý.

độ chính xác

Số cụm từ gợi ý phân loại chính xác đã chia với tổng số lần dự đoán. Đó là:

Ví dụ: một mô hình đưa ra 40 dự đoán chính xác và 10 dự đoán không chính xác sẽ có độ chính xác là:

Phân loại nhị phân cung cấp các tên cụ thể cho các loại cụm từ gợi ý chính xác và cụm từ gợi ý không chính xác. Vì vậy, công thức độ chính xác để phân loại nhị phân như sau:

trong đó:

• TP là số dương tính thật (dự đoán chính xác).
• TN là số giá trị âm tính thực (thông tin dự đoán chính xác).
• FP là số dương tính giả (dự đoán không chính xác).
• FN là số lượng dương tính giả (dự đoán không chính xác).

So sánh và đối chiếu độ chính xác với độ chính xác và độ chính xác.

accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (0 + 36499) / (0 + 36499 + 0 + 25) = 0.9993 = 99.93%

Xem phần Phân loại: Độ chính xác, mức độ gợi nhớ, độ chính xác và nội dung liên quan chỉ số trong Khoá học nhanh về máy học để biết thêm thông tin.

hành động

Trong học tăng cường, cơ chế mà tác nhân chuyển đổi giữa trạng thái của môi trường. Tác nhân chọn hành động bằng cách sử dụng một chính sách.

hàm kích hoạt

Hàm cho phép mạng nơron tìm hiểu các mối quan hệ phi tuyến tính (phức tạp) giữa các đặc điểm và nhãn.

Các hàm kích hoạt phổ biến bao gồm:

• ReLU
• Sigmoid

Biểu đồ của các hàm kích hoạt không bao giờ là các đường thẳng đơn. Ví dụ: biểu đồ của hàm kích hoạt ReLU bao gồm hai đường thẳng:

Biểu đồ của hàm kích hoạt sigmoid có dạng như sau:

weighted sum = (2)(-1.3) + (-1)(0.6) + (3)(0.4) = -2.0

Hãy xem phần Mạng nơron: Hàm kích hoạt trong khoá học Học nhanh về học máy để biết thêm thông tin.

học tập tích cực

Phương pháp đào tạo trong đó thuật toán chọn một số dữ liệu mà thuật toán đó học được. Học chủ động đặc biệt có giá trị khi ví dụ được gắn nhãn khan hiếm hoặc tốn kém để có được. Thay vì tìm kiếm một loạt ví dụ được gắn nhãn một cách mù quáng, thuật toán học chủ động sẽ tìm kiếm một cách có chọn lọc một loạt ví dụ cụ thể mà nó cần để học.

AdaGrad

Một thuật toán giảm độ dốc tinh vi để điều chỉnh tỷ lệ độ dốc của từng tham số, cung cấp hiệu quả cho mỗi thông số tốc độ học tập độc lập. Để biết nội dung giải thích đầy đủ, hãy xem bài viết AdaGrad này.

nhân viên hỗ trợ

Trong quá trình học tăng cường, thực thể sử dụng chính sách để tối đa hoá lợi tức dự kiến thu được từ chuyển đổi giữa các trạng thái của môi trường.

Nói chung, tác nhân là phần mềm tự động lập kế hoạch và thực thi một loạt hành động để đạt được mục tiêu, đồng thời có khả năng thích ứng với những thay đổi trong môi trường của nó. Ví dụ: một tác nhân dựa trên LLM có thể sử dụng LLM (mô hình ngôn ngữ lớn) để lập kế hoạch thay vì áp dụng chính sách học tăng cường.

cụm tổng hợp

Xem phần thu thập dữ liệu theo cụm phân cấp.

phát hiện hoạt động bất thường

Quá trình xác định điểm ngoại lai. Ví dụ: nếu giá trị trung bình cho một tính năng nhất định là 100 với độ lệch chuẩn là 10, thì tính năng phát hiện hoạt động bất thường sẽ gắn cờ giá trị 200 là đáng ngờ.

Thực tế tăng cường (AR)

Từ viết tắt cho thực tế tăng cường.

diện tích dưới đường cong PR

Xem PR AUC (Vùng dưới đường cong PR).

diện tích dưới đường cong ROC

Xem AUC (Diện tích dưới đường cong ROC).

trí tuệ nhân tạo tổng quát

Một cơ chế không phải con người thể hiện một phạm vi rộng về khả năng giải quyết vấn đề, sáng tạo và thích ứng. Ví dụ: chương trình minh hoạ trí tuệ thông minh có thể dịch văn bản, soạn bản giao hưởng và chúng rất giỏi trò chơi chưa được phát minh.

trí tuệ nhân tạo

Một mô hình hoặc chương trình không do con người thực hiện có thể giải quyết các công việc phức tạp. Ví dụ: một chương trình hoặc mô hình dịch văn bản, một chương trình hoặc mô hình xác định bệnh từ hình ảnh phóng xạ đều cho thấy trí tuệ nhân tạo.

Về chính thức, máy học là một trường phụ của thông minh. Tuy nhiên, trong những năm gần đây, một số tổ chức đã bắt đầu sử dụng thuật ngữ trí tuệ nhân tạo và học máy thay thế cho nhau.

chú ý

Một cơ chế được dùng trong mạng nơron cho biết tầm quan trọng của một từ hoặc một phần của từ. Tính năng chú ý nén lượng thông tin mà mô hình cần để dự đoán mã thông báo/từ tiếp theo. Một cơ chế chú ý thông thường có thể bao gồm một giá trị tổng trọng số trên một tập hợp đầu vào, trong đó trọng số cho mỗi đầu vào được tính toán bằng một phần khác của mạng nơron.

Hãy tham khảo thêm về tự chú ý và tự chú ý nhiều đầu. Đây là các khối xây dựng của Transformer.

Hãy xem phần LLM: Mô hình ngôn ngữ lớn là gì? trong khoá học Học nhanh về học máy để biết thêm thông tin về tính năng tự chú ý.

phân bổ

Từ đồng nghĩa với tính năng.

Trong tính công bằng của công nghệ học máy, các thuộc tính thường đề cập đến các đặc điểm liên quan đến cá nhân.

lấy mẫu thuộc tính

Một chiến thuật để huấn luyện rừng quyết định, trong đó mỗi cây quyết định chỉ xem xét một tập hợp con ngẫu nhiên của các tính năng có thể có khi học điều kiện. Thông thường, một nhóm nhỏ tính năng khác nhau được lấy mẫu cho mỗi nút. Ngược lại, khi huấn luyện cây quyết định mà không lấy mẫu thuộc tính, tất cả các đặc điểm có thể có sẽ được xem xét cho mỗi nút.

AUC (Diện tích dưới đường cong ROC)

Một số từ 0 đến 1 thể hiện khả năng của mô hình phân loại nhị phân để tách các lớp dương khỏi các lớp âm. AUC càng gần 1.0 thì khả năng phân tách của mô hình càng tốt lớp với nhau.

Ví dụ: hình minh hoạ sau đây cho thấy một mô hình phân loại tách biệt hoàn toàn các lớp dương tính (hình bầu dục màu xanh lục) với các lớp âm tính (hình chữ nhật màu tím). Mô hình hoàn hảo không thực tế này có AUC là 1,0:

Ngược lại, hình minh hoạ sau đây cho thấy kết quả của một thuật toán phân loại tạo ra kết quả ngẫu nhiên. Mô hình này có AUC là 0,5:

Có, mô hình trước có AUC là 0, 5, không phải 0, 0.

Hầu hết các mô hình đều nằm đâu đó giữa hai cực trị. Ví dụ: mô hình sau đây sẽ tách biệt tích cực với phủ định phần nào, và do đó có AUC trong khoảng từ 0,5 đến 1,0:

AUC bỏ qua mọi giá trị mà bạn đã đặt ngưỡng phân loại. Thay vào đó, AUC sẽ xem xét tất cả các ngưỡng phân loại có thể đạt được.

Hãy xem phần Phân loại: ROC và AUC trong Khoá học học máy ứng dụng để biết thêm thông tin.

thực tế tăng cường

Công nghệ phủ hình ảnh do máy tính tạo lên chế độ xem của người dùng về thế giới thực, từ đó cung cấp chế độ xem tổng hợp.

bộ mã hoá tự động

Một hệ thống học cách trích xuất thông tin quan trọng nhất từ đầu vào. Bộ mã hoá tự động là sự kết hợp giữa bộ mã hoá và bộ giải mã. Bộ tự động mã hoá hoạt động theo quy trình hai bước sau đây:

1. Bộ mã hoá ánh xạ đầu vào tới chiều thấp có tổn hao (thường) (trung gian).
2. Bộ giải mã tạo một phiên bản có tổn hao của dữ liệu đầu vào ban đầu bằng cách ánh xạ định dạng chiều thấp hơn với định dạng đầu vào chiều cao hơn ban đầu.

Bộ tự mã hoá được huấn luyện toàn diện bằng cách yêu cầu bộ giải mã cố gắng tái tạo dữ liệu đầu vào ban đầu từ định dạng trung gian của bộ mã hoá gần nhất có thể. Vì định dạng trung gian nhỏ hơn (có kích thước thấp hơn) so với định dạng ban đầu, nên bộ tự mã hoá buộc phải tìm hiểu thông tin nào trong dữ liệu đầu vào là cần thiết và dữ liệu đầu ra sẽ không hoàn toàn giống với dữ liệu đầu vào.

Ví dụ:

• Nếu dữ liệu đầu vào là đồ hoạ, thì bản sao không chính xác sẽ tương tự như đồ hoạ gốc, nhưng có một chút sửa đổi. Có thể bản sao không chính xác sẽ loại bỏ nhiễu khỏi đồ hoạ gốc hoặc lấp đầy một số pixel bị thiếu.
• Nếu dữ liệu đầu vào là văn bản, thì bộ tự mã hoá sẽ tạo văn bản mới mô phỏng (nhưng không giống với) văn bản gốc.

Hãy xem thêm về bộ mã hoá tự động đa dạng.

thiên vị tự động

Khi người đưa ra quyết định ưu tiên các đề xuất do hệ thống tự động đưa ra hơn là thông tin được tạo mà không cần hệ thống tự động, ngay cả khi hệ thống tự động đưa ra quyết định có lỗi.

Hãy xem phần Tính công bằng: Các loại thiên kiến trong khoá học cấp tốc về học máy để biết thêm thông tin.

AutoML

Bất kỳ quy trình tự động nào để xây dựng mô hình học máy . AutoML có thể tự động thực hiện các nhiệm vụ như sau:

• Tìm mô hình phù hợp nhất.
• Điều chỉnh siêu tham số.
• Chuẩn bị dữ liệu (bao gồm cả việc thực hiện kỹ thuật trích xuất đặc điểm).
• Triển khai mô hình thu được.

AutoML rất hữu ích cho các nhà khoa học dữ liệu vì nó có thể giúp họ tiết kiệm thời gian và nỗ lực phát triển quy trình học máy và cải thiện khả năng dự đoán của bạn. Công cụ này cũng hữu ích cho những người không phải chuyên gia, giúp họ dễ dàng tiếp cận các nhiệm vụ học máy phức tạp hơn.

Xem Máy tự động Học tập (AutoML) trong Khoá học nhanh về máy học để biết thêm thông tin.

mô hình hồi quy tự động

Mô hình dự đoán thông tin dự đoán dựa vào thông tin gợi ý trước đó dự đoán. Ví dụ: các mô hình ngôn ngữ tự động hồi quy dự đoán biến thể tiếp theo mã thông báo dựa trên mã thông báo được dự đoán trước đó. Tất cả mô hình ngôn ngữ lớn dựa trên Transformer đều tự hồi quy.

Ngược lại, các mô hình hình ảnh dựa trên GAN thường không tự động hồi quy vì các mô hình này tạo hình ảnh trong một lượt truyền tới và không lặp lại theo các bước. Tuy nhiên, một số mô hình tạo hình ảnh là tự hồi quy vì tạo hình ảnh theo từng bước.

tổn thất phụ trợ

Hàm mất – dùng cùng với Chính của mạng nơron (mô hình) hàm mất – giúp đẩy nhanh quá trình huấn luyện trong quá trình các vòng lặp sớm khi trọng số được khởi tạo ngẫu nhiên.

Các hàm suy hao phụ trợ đẩy độ dốc hiệu quả sang các lớp trước đó. Việc này giúp sự hội tụ trong quá trình đào tạo bằng cách giải quyết vấn đề về độ dốc biến mất.

độ chính xác trung bình

Chỉ số để tóm tắt hiệu suất của một chuỗi kết quả được xếp hạng. Độ chính xác trung bình được tính bằng cách lấy trung bình các giá trị độ chính xác cho mỗi kết quả có liên quan (mỗi kết quả trong danh sách được xếp hạng có tỷ lệ thu hồi tăng lên so với kết quả trước đó).

Xem thêm phần Diện tích dưới đường cong PR.

điều kiện căn chỉnh theo trục

Trong cây quyết định, một điều kiện chỉ liên quan đến một tính năng. Ví dụ: nếu diện tích là một đặc điểm, thì sau đây là một điều kiện được căn chỉnh theo trục:

area > 200

Tương phản với điều kiện xiên.

B

lan truyền ngược

Thuật toán triển khai giảm độ dốc trong mạng nơron.

Việc huấn luyện mạng nơron cần nhiều vòng lặp của chu kỳ hai vòng sau:

1. Trong quá trình truyền thẳng, hệ thống xử lý một lô gồm ví dụ để đưa ra (các) kết quả dự đoán. Hệ thống so sánh từng dự đoán với từng giá trị nhãn. Sự khác biệt giữa thông tin dự đoán và giá trị nhãn là mất cho ví dụ đó. Hệ thống sẽ tổng hợp các tổn thất cho tất cả ví dụ để tính tổng mức hao tổn tổn thất cho lô hiện tại.
2. Trong quá trình truyền ngược (truyền ngược), hệ thống giảm tổn thất bằng cách điều chỉnh trọng số của tất cả neuron trong tất cả lớp ẩn.

Mạng nơron thường chứa nhiều tế bào thần kinh trên nhiều lớp ẩn. Mỗi nơron này góp phần gây ra tình trạng mất mát tổng thể theo những cách khác nhau. Tính năng lan truyền ngược xác định xem nên tăng hay giảm trọng số áp dụng cho các nơron cụ thể.

Tốc độ học là một hệ số kiểm soát độ mà mỗi lượt lùi sẽ tăng hoặc giảm từng trọng số. Tốc độ học lớn sẽ làm tăng hoặc giảm mỗi trọng số nhiều hơn so với tốc độ học nhỏ.

Về mặt giải tích, kỹ thuật lan truyền ngược triển khai quy tắc chuỗi. của đại số. Tức là, phương pháp truyền ngược tính toán đạo hàm riêng của lỗi theo từng tham số.

Cách đây nhiều năm, những người làm việc trong lĩnh vực học máy phải viết mã để triển khai phương pháp hồi quy. Giờ đây, các API học máy hiện đại như Keras sẽ triển khai kỹ thuật lan truyền ngược cho bạn. Chà!

Hãy xem phần Mạng nơron trong Khoá học học máy ứng dụng để biết thêm thông tin.

hành lý

Một phương thức để huấn luyện một bộ mô hình, trong đó mỗi mô hình thành phần được huấn luyện trên một tập hợp con ngẫu nhiên của các ví dụ huấn luyện được lấy mẫu có thay thế. Ví dụ: khu rừng ngẫu nhiên là tập hợp cây quyết định được huấn luyện bằng cách đóng bao.

Thuật ngữ bagging là viết tắt của bootstrap aggregating.

Hãy xem phần Rừng ngẫu nhiên trong khoá học Rừng quyết định để biết thêm thông tin.

túi từ

Biểu thị các từ trong một cụm từ hoặc đoạn văn, bất kể thứ tự. Ví dụ: túi từ đại diện cho ba cụm từ sau đây giống hệt nhau:

• con chó nhảy
• nhảy lên chó
• chó nhảy

Mỗi từ được liên kết với một chỉ mục trong vectơ thưa, trong đó vectơ có một chỉ mục cho mỗi từ trong từ vựng. Ví dụ: cụm từ the dog jumps (con chó nhảy) được ánh xạ vào một vectơ đặc trưng có giá trị khác 0 tại 3 chỉ mục tương ứng với các từ the (cái), dog (chó) và jumps (nhảy). Giá trị khác 0 có thể là bất kỳ giá trị nào sau đây:

• Số 1 để cho biết có một từ.
• Số lần một từ xuất hiện trong túi. Ví dụ: nếu cụm từ chó nâu sẫm là chó có lông màu nâu sẫm, thì cả hai maroon và dog sẽ được biểu thị là 2, trong khi các từ khác sẽ được biểu diễn dưới dạng 1.
• Một số giá trị khác, chẳng hạn như lôgarit của số đếm số số lần một từ xuất hiện trong túi.

đường cơ sở

Mô hình được dùng làm điểm tham chiếu để so sánh hiệu quả của (thường là một mô hình phức tạp hơn) đang hoạt động hiệu quả. Ví dụ: một mô hình hồi quy logistic có thể đóng vai trò là đường cơ sở phù hợp cho mô hình sâu.

Đối với một vấn đề cụ thể, đường cơ sở giúp nhà phát triển mô hình định lượng hiệu suất tối thiểu dự kiến mà mô hình mới phải đạt được để mô hình mới đó hữu ích.

lô

Tập hợp ví dụ được sử dụng trong một lặp lại huấn luyện. Kích thước lô xác định số lượng ví dụ trong một lô.

Hãy xem phần thời gian bắt đầu để biết nội dung giải thích về mối quan hệ giữa một lô với thời gian bắt đầu.

Xem Hồi quy tuyến tính: Siêu tham số trong Khoá học nhanh về máy học để biết thêm thông tin.

suy luận hàng loạt

Quá trình suy luận các dự đoán về nhiều ví dụ không có nhãn chia thành các phần nhỏ hơn các tập hợp con ("lô sản phẩm").

Suy luận theo lô có thể tận dụng tính năng song song hoá của khối tăng tốc. Tức là có nhiều trình tăng tốc có thể đồng thời dự đoán các dự đoán về nhiều lô không được gắn nhãn khác nhau làm tăng đáng kể số lượng suy luận mỗi giây.

Hãy xem phần Hệ thống ML thương mại: Suy luận tĩnh so với động trong khoá học cấp tốc về học máy để biết thêm thông tin.

chuẩn hoá theo lô

Chuẩn hoá đầu vào hoặc đầu ra của hàm kích hoạt trong một lớp ẩn. Phương pháp chuẩn hoá theo lô có thể mang lại các lợi ích sau:

• Giúp mạng nơron ổn định hơn bằng cách bảo vệ các trọng số bị lệch.
• Áp dụng tốc độ học tập cao hơn, điều này có thể huấn luyện tốc độ.
• Giảm quá trình kết hợp.

kích thước lô

Số lượng ví dụ trong một gói. Ví dụ: nếu kích thước lô là 100 thì mô hình sẽ xử lý 100 ví dụ cho mỗi vòng lặp.

Sau đây là các chiến lược kích thước lô phổ biến:

• Giảm độ dốc ngẫu nhiên (SGD), trong đó kích thước lô là 1.
• Toàn bộ lô, trong đó kích thước lô là số lượng ví dụ trong toàn bộ nhóm huấn luyện. Ví dụ: nếu tập huấn luyện chứa một triệu ví dụ, thì kích thước lô sẽ là một triệu ví dụ. Toàn bộ lô thường là một chiến lược không hiệu quả.
• tập hợp nhỏ, trong đó kích thước lô thường nằm trong khoảng từ 10 đến 1000. Lô nhỏ thường là chiến lược hiệu quả nhất.

Hãy xem những nội dung sau để biết thêm thông tin:

• Hệ thống ML sản xuất: Suy luận tĩnh so với suy luận động trong Khoá học học máy ứng dụng.
• Cẩm nang điều chỉnh công nghệ học sâu.

Mạng nơron Bayes

Mạng nơron có tính xác suất, tính đến độ không chắc chắn trong trọng số và đầu ra. Mô hình hồi quy mạng nơron tiêu chuẩn thường dự đoán một giá trị vô hướng; ví dụ: mô hình tiêu chuẩn dự đoán giá nhà là 853.000. Ngược lại, mạng nơron Bayes dự đoán sự phân phối của values; ví dụ: mô hình Bayes dự đoán giá nhà là 853.000 với độ lệch chuẩn 67.200.

Mạng nơron Bayesian dựa vào Định lý Bayes để tính toán độ không chắc chắn trong các trọng số và dự đoán. Mạng nơron Bayes có thể hữu ích khi cần định lượng độ không chắc chắn, chẳng hạn như liên quan đến dược phẩm. Mạng nơron Bayesian cũng có thể giúp ngăn chặn việc đưa ra mô hình quá phù hợp.

Tối ưu hoá Bayesian

Mô hình hồi quy xác suất kỹ thuật tối ưu hoá chi phí tính toán hàm mục tiêu bằng cách tối ưu hoá giá trị thay thế để định lượng độ không chắc chắn bằng cách sử dụng kỹ thuật học của Bayes. Từ Phương pháp tối ưu hoá Bayes rất tốn kém, phương pháp này thường được dùng để tối ưu hoá công việc tốn kém để đánh giá công việc có một số ít tham số, chẳng hạn như chọn hyperparameters.

Phương trình Bellman

Trong học tăng cường, hàm-Q tối ưu thỏa mãn bản sắc sau:

\[Q(s, a) = r(s, a) + \gamma \mathbb{E}_{s'|s,a} \max_{a'} Q(s', a')\]

Thuật toán Học tăng cường áp dụng mô hình này danh tính để tạo Q- Learning thông qua quy tắc cập nhật sau đây:

\[Q(s,a) \gets Q(s,a) + \alpha \left[r(s,a) + \gamma \displaystyle\max_{\substack{a_1}} Q(s',a') - Q(s,a) \right] \]

Ngoài việc học tăng cường, phương trình Bellman còn có ứng dụng cho lập trình động. Xem bài viết trên Wikipedia về phương trình Bellman.

BERT (Bộ mã hoá hai chiều Thông tin đại diện từ Transformers)

Cấu trúc mô hình cho phần trình bày văn bản. Mô hình BERT đã huấn luyện có thể đóng vai trò là một phần của mô hình lớn hơn để phân loại văn bản hoặc các nhiệm vụ khác về máy học.

BERT có các đặc điểm sau:

• Sử dụng cấu trúc Transformer nên dựa vào về hoạt động tự chú ý.
• Sử dụng phần bộ mã hoá của Bộ chuyển đổi. Công việc của bộ mã hoá là thể hiện rõ ràng nội dung dưới dạng văn bản, thay vì trình bày một nội dung cụ thể nhiều công việc như phân loại.
• Có tính hai chiều.
• Sử dụng tính năng mặt nạ cho quá trình huấn luyện không giám sát.

Các biến thể của BERT bao gồm:

• ALBERT! là từ viết tắt của A Light BERT.
• LaBSE.

Hãy xem bài viết BERT nguồn mở: Công nghệ huấn luyện trước tiên tiến để xử lý ngôn ngữ tự nhiên để biết thông tin tổng quan về BERT.

thiên kiến (đạo đức/công bằng)

1. Định kiến, định kiến hoặc thiên vị đối với một số thứ, con người, hoặc nhóm nhiều hơn các dịch vụ khác. Những thành kiến này có thể ảnh hưởng đến việc thu thập và diễn giải dữ liệu, thiết kế hệ thống và cách người dùng tương tác với hệ thống. Các hình thức của loại thiên vị này bao gồm:

• thiên kiến tự động hoá
• thiên kiến xác nhận
• sự thiên vị của người nghiên cứu
• thiên vị quy cho nhóm
• thiên kiến ngầm
• thiên vị trong nhóm
• thiên vị khác nhóm

2. Lỗi hệ thống do quy trình lấy mẫu hoặc báo cáo gây ra. Sau đây là một số hình thức của loại thiên kiến này:

• thiên vị về tin tức
• thiên vị khi không trả lời
• thiên vị tham gia
• thiên vị trong báo cáo
• độ lệch của việc lấy mẫu
• thiên vị lựa chọn

Đừng nhầm lẫn với thuật ngữ độ lệch trong các mô hình học máy hoặc thiên kiến dự đoán.

Hãy xem bài viết Công bằng: Các loại thiên kiến về Khoá học nhanh về học máy để biết thêm thông tin.

thiên kiến (toán học) hoặc thuật ngữ thiên kiến

Giá trị cắt hoặc độ dời từ một gốc. Sai số là một tham số trong các mô hình học máy, được biểu thị bằng một trong các ký hiệu sau:

• b
• t₀

Ví dụ: độ lệch là b trong công thức sau:

Trong một đường hai chiều đơn giản, độ lệch chỉ có nghĩa là "giao điểm y". Ví dụ: độ lệch của đường trong hình minh hoạ sau là 2.

Sự thiên lệch tồn tại vì không phải tất cả mô hình đều bắt đầu từ gốc (0,0). Ví dụ: giả sử một công viên giải trí có giá vé vào cửa là 2 Euro và phí thêm 0,5 Euro cho mỗi giờ khách hàng lưu trú. Do đó, mô hình liên kết tổng chi phí có độ lệch là 2 vì chi phí thấp nhất là 2 Euro.

Không nên nhầm lẫn giữa thiên vị với thiên vị trong đạo đức và công bằng hoặc thiên kiến dự đoán.

Hãy xem phần Phương pháp hồi quy tuyến tính trong khoá học Học máy ứng dụng để biết thêm thông tin.

hai chiều

Thuật ngữ dùng để mô tả một hệ thống đánh giá văn bản trước và sau một phần văn bản mục tiêu. Ngược lại, hệ thống một chiều chỉ đánh giá văn bản trước một phần văn bản mục tiêu.

Ví dụ: hãy xem xét một mô hình ngôn ngữ bị che phải xác định xác suất cho từ hoặc các từ đại diện cho dấu gạch dưới trong câu hỏi sau:

_____ ở đâu với bạn?

Mô hình ngôn ngữ một chiều sẽ chỉ dựa trên xác suất vào ngữ cảnh được cung cấp qua các từ "What", "is" và "the". Ngược lại, mô hình ngôn ngữ hai chiều cũng có thể lấy ngữ cảnh từ "với" và "bạn", điều này có thể giúp mô hình tạo ra kết quả dự đoán tốt hơn.

mô hình ngôn ngữ hai chiều

Mô hình ngôn ngữ xác định xác suất một mã thông báo nhất định xuất hiện ở một vị trí nhất định trong một đoạn văn bản dựa trên văn bản trước đó và sau đó.

bigram

N-gram trong đó N=2.

phân loại nhị phân

Một loại tác vụ phân loại dự đoán một trong hai lớp loại trừ lẫn nhau:

• lớp dương
• lớp phủ định

Ví dụ: hai mô hình học máy sau đây đều hoạt động phân loại nhị phân:

• Mô hình xác định xem thư email là thư rác (lớp dương) hay không phải thư rác (lớp âm).
• Mô hình đánh giá các triệu chứng y tế để xác định xem một người có mắc một bệnh cụ thể hay không (lớp dương tính) hoặc không mắc bệnh đó (lớp âm tính).

Trái ngược với phương thức phân loại nhiều lớp.

Xem thêm về biến hồi quy logistic và ngưỡng phân loại.

Hãy xem phần Phân loại trong Khoá học học máy ứng dụng để biết thêm thông tin.

điều kiện nhị phân

Trong cây quyết định, điều kiện chỉ có thể có hai kết quả, thường là có hoặc không. Ví dụ: sau đây là một điều kiện nhị phân:

temperature >= 100

Tương phản với điều kiện không nhị phân.

Hãy xem phần Các loại điều kiện trong khoá học Rừng quyết định để biết thêm thông tin.

phân thùng

Từ đồng nghĩa với nhóm.

BLEU (Bilingual Evaluation Understudy – Thử nghiệm đánh giá song ngữ)

Điểm số từ 0 đến 1, cho biết chất lượng của bản dịch giữa hai ngôn ngữ của con người (ví dụ: giữa tiếng Anh và tiếng Nga). BLEU (BLEU) điểm 1.0 cho biết bản dịch hoàn hảo; điểm BLEU là 0.0 cho thấy bản dịch rất tệ.

tăng cường

Một kỹ thuật học máy kết hợp lặp lại một nhóm gồm các không chính xác lắm (được gọi là thuật toán phân loại "yếu") thành một bộ lọc thuật toán phân loại với độ chính xác cao (một thuật toán phân loại "mạnh") bằng cách tăng trọng số cho các ví dụ mà mô hình hiện đang phân loại sai.

Xem phần Cây quyết định tăng cường theo độ dốc trong khoá học về Rừng quyết định để biết thêm thông tin.

hộp giới hạn

Trong một hình ảnh, tọa độ (x, y) của một hình chữ nhật xung quanh một khu vực quan tâm, chẳng hạn như chú chó trong hình ảnh bên dưới.

đang phát sóng

Mở rộng hình dạng của toán hạng trong phép toán ma trận thành phương diện tương thích với phép toán đó. Ví dụ: Đại số tuyến tính yêu cầu hai toán hạng trong phép cộng ma trận phải có cùng kích thước. Do đó, bạn không thể thêm ma trận hình dạng (m, n) thành vectơ có độ dài n. Tính năng truyền tin cho phép thao tác này bằng cách mở rộng ảo vectơ có độ dài n thành ma trận có hình (m, n) bằng cách sao chép cùng các giá trị xuống mỗi cột.

Ví dụ: với các định nghĩa sau đây, đại số tuyến tính cấm A+B vì A và B có phương diện khác nhau:

A = [[7, 10, 4],
     [13, 5, 9]]
B = [2]

Tuy nhiên, tính năng phát sóng cho phép hoạt động A+B bằng cách mở rộng ảo B thành:

 [[2, 2, 2],
  [2, 2, 2]]

Do đó, A+B hiện là một phép toán hợp lệ:

[[7, 10, 4],  +  [[2, 2, 2],  =  [[ 9, 12, 6],
 [13, 5, 9]]      [2, 2, 2]]      [15, 7, 11]]

Hãy xem nội dung mô tả sau đây về tính năng truyền tin trong NumPy để biết thêm thông tin chi tiết.

phân giỏ

Chuyển đổi một tính năng duy nhất thành nhiều đối tượng nhị phân được gọi là ô hoặc thùng, thường dựa trên phạm vi giá trị. Tính năng cắt thường là một tính năng liên tục.

Ví dụ: thay vì biểu thị nhiệt độ dưới dạng một tính năng dấu phẩy động liên tục, bạn có thể cắt các phạm vi nhiệt độ thành các bộ chứa riêng biệt, chẳng hạn như:

• <= 10 độ C sẽ là nhiệt độ "lạnh" bộ chứa.
• 11 – 24 độ C sẽ là nhóm "trung bình".
• >= 25 độ C sẽ là nhiệt độ "ấm" bộ chứa.

Mô hình sẽ xử lý mọi giá trị trong cùng một nhóm giống nhau. Để Ví dụ: giá trị 13 và 22 đều nằm trong bộ chứa ôn hoà, do đó mô hình xử lý hai giá trị giống hệt nhau.

Xem Dữ liệu số: Kết hợp trong Khoá học nhanh về máy học để biết thêm thông tin.

C

tầng hiệu chỉnh

Giá trị điều chỉnh sau khi dự đoán, thường là để tính đến tính thiên vị của kết quả dự đoán. Các dự đoán được điều chỉnh và xác suất phải khớp với phân phối của tập hợp nhãn quan sát được.

tạo đề xuất

Bộ đề xuất ban đầu do hệ thống đề xuất. Ví dụ: hãy cân nhắc hiệu sách cung cấp 100.000 đầu sách. Giai đoạn tạo đề xuất tạo một danh sách sách phù hợp nhỏ hơn nhiều cho một người dùng cụ thể, giả sử là 500 cuốn. Nhưng ngay cả khi 500 cuốn sách là quá nhiều để giới thiệu cho người dùng. Các giai đoạn tiếp theo, tốn kém hơn của hệ thống đề xuất (chẳng hạn như đánh giá và xếp hạng lại) sẽ giảm 500 đề xuất đó xuống một nhóm đề xuất nhỏ hơn và hữu ích hơn nhiều.

Xem bài viết Tạo ứng viên tổng quan trong khoá học Hệ thống đề xuất để biết thêm thông tin.

lấy mẫu đề xuất

Tối ưu hoá tại thời gian huấn luyện để tính xác suất cho tất cả tích cực, chẳng hạn như softmax, nhưng chỉ dành cho người dùng ngẫu nhiên mẫu nhãn âm. Ví dụ: với một ví dụ được gắn nhãn beagle và dog (chó săn sục và chó), tính năng lấy mẫu đề xuất sẽ tính toán xác suất dự đoán và các thuật toán tổn thất tương ứng cho:

• beagle
• chó
• một tập hợp con ngẫu nhiên các lớp phủ định còn lại (ví dụ: mèo, lollipop, hàng rào).

Ý tưởng là các lớp phủ định có thể học hỏi từ những lớp học ít thường xuyên hơn tăng cường âm, miễn là các lớp tích cực luôn nhận được kết quả tích cực đúng và điều này thực sự được quan sát theo kinh nghiệm.

Việc lấy mẫu ứng viên có hiệu quả tính toán hơn so với thuật toán huấn luyện để tính toán các dự đoán cho tất cả các lớp phủ định, đặc biệt là khi số lượng lớp phủ định là rất lớn.

dữ liệu phân loại

Tính năng có một tập hợp giá trị có thể có. Ví dụ: hãy xem xét một tính năng phân loại có tên là traffic-light-state. Tính năng này chỉ có thể có một trong ba giá trị sau:

• red
• yellow
• green

Bằng cách biểu thị traffic-light-state dưới dạng một đối tượng phân loại, một mô hình có thể học những tác động khác nhau của red, green và yellow đối với hành vi của người lái xe.

Đôi khi, các tính năng phân loại được gọi là tính năng rời.

Tương phản với dữ liệu dạng số.

Xem Làm việc với danh mục phân loại bằng nhiều dữ liệu trong Khoá học nhanh về máy học để biết thêm thông tin.

mô hình ngôn ngữ nhân quả

Từ đồng nghĩa với mô hình ngôn ngữ một chiều.

Xem mô hình ngôn ngữ hai chiều để đối chiếu các cách tiếp cận định hướng khác nhau trong mô hình ngôn ngữ.

tâm

Tâm của một cụm do thuật toán k-means hoặc k-median xác định. Ví dụ: nếu k là 3, thì thuật toán k-means hoặc k-median sẽ tìm thấy 3 tâm điểm.

Xem bài viết Thuật toán phân cụm trong khoá học Phân cụm để biết thêm thông tin.

phân cụm dựa trên tâm

Một danh mục thuật toán cụm giúp sắp xếp dữ liệu thành các cụm không phân cấp. k-means là phương thức phổ biến nhất đã sử dụng thuật toán phân cụm dựa trên trọng tâm.

Trái ngược với tính năng phân cụm phân cấp các thuật toán.

Hãy xem phần Thuật toán phân cụm trong khoá học Phân cụm để biết thêm thông tin.

câu lệnh gợi ý theo chuỗi suy nghĩ

Kỹ thuật kỹ thuật câu lệnh khuyến khích mô hình ngôn ngữ lớn (LLM) giải thích từng bước lý do của nó. Ví dụ: hãy xem xét lời nhắc sau đây, thanh toán đặc biệt chú ý đến câu thứ hai:

Người lái xe có bao nhiêu lực g trong một chiếc ô tô đi từ 0 đến 60 số dặm trên một giờ trong 7 giây? Trong câu trả lời, hãy trình bày tất cả các phép tính liên quan.

Câu trả lời của LLM có thể là:

• Hiển thị một chuỗi các công thức vật lý với các giá trị 0, 60 và 7 ở các vị trí thích hợp.
• Giải thích lý do chọn những công thức đó và ý nghĩa của các biến.

Việc nhắc chuỗi suy nghĩ buộc LLM thực hiện tất cả các phép tính, để có thể đưa ra câu trả lời chính xác hơn. Ngoài ra, chuỗi suy nghĩ Tính năng nhắc cho phép người dùng kiểm tra các bước của LLM để xác định xem hoặc không thì câu trả lời đều có ý nghĩa.

trò chuyện

Nội dung của cuộc trò chuyện qua lại với một hệ thống học máy, thường là một mô hình ngôn ngữ lớn. Lượt tương tác trước đó trong một cuộc trò chuyện (nội dung bạn đã nhập và cách mô hình ngôn ngữ lớn phản hồi) trở thành cho các phần tiếp theo của cuộc trò chuyện.

Chatbot là một ứng dụng của mô hình ngôn ngữ lớn.

chốt kiểm tra

Dữ liệu ghi lại trạng thái tham số của mô hình trong khi đào tạo hoặc sau khi đào tạo xong. Ví dụ: trong quá trình huấn luyện, bạn có thể:

1. Dừng huấn luyện, có thể là do chủ ý hoặc do một số lỗi nhất định.
2. Ghi lại điểm kiểm tra.
3. Sau đó, hãy tải lại điểm kiểm tra, có thể là trên phần cứng khác.
4. Khởi động lại quá trình huấn luyện.

lớp

Danh mục có thể thuộc về nhãn. Ví dụ:

• Trong mô hình phân loại nhị phân phát hiện thư rác thì hai loại này có thể là thư rác và không phải thư rác.
• Trong mô hình phân loại nhiều lớp để xác định các giống chó, các lớp có thể là poodle, beagle, pug, và cứ tiếp tục như vậy.

Mô hình phân loại dự đoán một lớp. Ngược lại, mô hình hồi quy dự đoán số lượng thay vì một lớp.

Xem phần Phân loại trong Khoá học nhanh về máy học để biết thêm thông tin.

mô hình phân loại

Một mô hình có dự đoán là một lớp. Ví dụ: sau đây là tất cả các mô hình phân loại:

• Mô hình dự đoán ngôn ngữ của một câu đầu vào (tiếng Pháp? Tiếng Tây Ban Nha? Tiếng Ý?).
• Một mô hình dự đoán các loài cây (Maple? Cây sồi? Baobab?).
• Mô hình dự đoán lớp dương tính hoặc âm tính cho một tình trạng bệnh cụ thể.

Ngược lại, mô hình hồi quy dự đoán số liệu thay vì lớp.

Hai loại mô hình phân loại phổ biến là:

• phân loại nhị phân
• phân loại đa lớp

ngưỡng phân loại

Trong phân loại nhị phân, từ 0 đến 1 để chuyển đổi đầu ra thô của Mô hình hồi quy logistic thành một thông tin dự đoán cho nhóm giá trị dương hoặc lớp phủ định. Xin lưu ý rằng ngưỡng phân loại là một giá trị do con người chọn, không phải là giá trị được chọn bởi quá trình huấn luyện mô hình.

Mô hình hồi quy logistic đưa ra giá trị thô trong khoảng từ 0 đến 1. Sau đó:

• Nếu giá trị thô này lớn hơn ngưỡng phân loại, thì lớp dương tính sẽ được dự đoán.
• Nếu giá trị thô này nhỏ hơn ngưỡng phân loại, thì lớp âm được dự đoán.

Ví dụ: giả sử ngưỡng phân loại là 0, 8. Nếu giá trị thô là 0,9, thì mô hình dự đoán lớp dương. Nếu giá trị thô là 0, 7 thì mô hình dự đoán lớp âm.

Lựa chọn ngưỡng phân loại ảnh hưởng rất lớn đến số lượng dương tính giả và âm tính giả.

Xem Ngưỡng và sự nhầm lẫn ma trận trong Khoá học nhanh về máy học để biết thêm thông tin.

tập dữ liệu bất cân bằng về lớp

Tập dữ liệu cho một bài toán phân loại trong đó tổng số nhãn của mỗi lớp khác nhau đáng kể. Ví dụ: hãy xem xét một tập dữ liệu phân loại nhị phân có hai nhãn được chia như sau:

• 1.000.000 nhãn phủ định
• 10 nhãn khẳng định

Tỷ lệ nhãn âm so với nhãn dương là 100.000 trên 1, vì vậy, đây là một tập dữ liệu bất cân đối về loại.

Ngược lại, tập dữ liệu sau đây không mất cân bằng lớp vì tỷ lệ nhãn âm so với nhãn dương tương đối gần với 1:

• 517 nhãn phủ định
• 483 nhãn dương

Tập dữ liệu nhiều lớp cũng có thể không cân bằng về lớp. Ví dụ: như sau tập dữ liệu phân loại nhiều lớp cũng không cân bằng về lớp vì một nhãn có nhiều ví dụ hơn nhiều so với hai ví dụ còn lại:

• 1.000.000 nhãn có lớp "green"
• 200 nhãn có lớp "purple"
• 350 nhãn có loại "cam"

Xem thêm entropy, lớp đa số và lớp thiểu số.

cắt bớt

Một kỹ thuật để xử lý điểm ngoại lai bằng cách làm một hoặc cả hai việc sau:

• Giảm các giá trị feature lớn hơn giá trị tối đa xuống đến ngưỡng tối đa đó.
• Tăng giá trị tính năng nhỏ hơn ngưỡng tối thiểu, lên tới ngưỡng đó ngưỡng tối thiểu.

Ví dụ: giả sử <0,5% giá trị của một tính năng cụ thể nằm ngoài phạm vi 40–60. Trong trường hợp này, bạn có thể làm như sau:

• Cắt tất cả các giá trị trên 60 (ngưỡng tối đa) thành chính xác 60.
• Cắt tất cả các giá trị dưới 40 (ngưỡng tối thiểu) thành chính xác 40.

Giá trị ngoại lai có thể làm hỏng mô hình, đôi khi khiến trọng số tràn trong quá trình huấn luyện. Một số giá trị ngoại lai cũng có thể làm hỏng đáng kể các chỉ số như độ chính xác. Cắt là một kỹ thuật phổ biến để hạn chế thiệt hại.

Lực cắt độ dốc Các giá trị gradient trong phạm vi được chỉ định trong quá trình huấn luyện.

Hãy xem phần Dữ liệu số: Bình thường hoá trong khoá học cấp tốc về học máy để biết thêm thông tin.

Cloud TPU

Một trình tăng tốc phần cứng chuyên biệt được thiết kế để tăng tốc khối lượng công việc của máy học trên Google Cloud.

phân cụm

Nhóm các ví dụ có liên quan, đặc biệt là trong học không giám sát. Sau khi tất cả các ví dụ được nhóm lại, người dùng có thể tuỳ ý cung cấp ý nghĩa cho mỗi cụm.

Có nhiều thuật toán phân cụm. Ví dụ: thuật toán k-means phân cụm các ví dụ dựa trên khoảng cách của các ví dụ đó với trung tâm trọng lực, như trong sơ đồ sau:

Sau đó, nhà nghiên cứu có thể xem xét các cụm này và ví dụ: gắn nhãn cụm 1 là "cây lùn" và cụm 2 là "cây kích thước đầy đủ".

Ví dụ khác: hãy xem xét thuật toán phân cụm dựa trên khoảng cách của một ví dụ từ một điểm trung tâm, minh hoạ như sau:

Xem khoá học về Phân cụm để biết thêm thông tin.

đồng thích ứng

Khi nơ-ron dự đoán các mẫu trong dữ liệu huấn luyện bằng cách dựa vào hầu như chỉ dựa vào đầu ra của các nơron cụ thể khác thay vì dựa vào về hành vi của mạng nói chung. Trường hợp các mẫu gây ra hiện tượng đồng thích ứng không có trong dữ liệu xác thực, thì quá trình đồng thích ứng sẽ gây ra hiện tượng quá mức. Điều chỉnh tỷ lệ bỏ ngang giúp giảm khả năng đồng thích ứng vì sự sụt giảm đảm bảo các nơron không thể chỉ dựa vào các nơron cụ thể khác.

lọc cộng tác

Dự đoán mối quan tâm của một người dùng dựa trên mối quan tâm của nhiều người dùng khác. Lọc cộng tác thường được dùng trong hệ thống đề xuất.

Xem phần Cộng tác lọc trong khoá học Hệ thống đề xuất để biết thêm thông tin.

độ trôi của khái niệm

Thay đổi trong mối quan hệ giữa các tính năng và nhãn. Theo thời gian, sự dịch chuyển khái niệm sẽ làm giảm chất lượng của mô hình.

Trong quá trình huấn luyện, mô hình sẽ tìm hiểu mối quan hệ giữa các tính năng và nhãn của họ trong tập huấn luyện. Nếu nhãn trong tập huấn luyện là giá trị đại diện tốt cho thế giới thực, thì mô hình sẽ đưa ra dự đoán tốt về thế giới thực. Tuy nhiên, do sự trôi dạt khái niệm, nên khả năng gợi ý có xu hướng suy giảm theo thời gian.

Ví dụ: hãy xem xét một mô hình phân loại nhị phân dự đoán xem một mẫu xe nhất định có "tiết kiệm nhiên liệu" hay không. Tức là các tính năng có thể:

• trọng lượng ô tô
• nén động cơ
• loại truyền dữ liệu

trong khi nhãn là:

• tiết kiệm nhiên liệu
• không tiết kiệm nhiên liệu

Tuy nhiên, khái niệm "xe tiết kiệm nhiên liệu" liên tục thay đổi. Một mẫu ô tô được gắn nhãn tiết kiệm nhiên liệu vào năm 1994 gần như chắc chắn sẽ được gắn nhãn không tiết kiệm nhiên liệu vào năm 2024. Một mô hình bị ảnh hưởng bởi sự trôi dạt khái niệm có xu hướng đưa ra các dự đoán ít hữu ích và ít hữu ích hơn theo thời gian.

So sánh và đối chiếu với tính không ổn định.

điều kiện

Trong cây quyết định, mọi nút đều đánh giá một biểu thức. Ví dụ: phần sau của cây quyết định chứa hai điều kiện:

Điều kiện còn được gọi là phần phân tách hoặc kiểm thử.

Điều kiện tương phản với lá.

Xem thêm:

• điều kiện nhị phân
• điều kiện phi nhị giới.
• axis-aligned-condition
• oblique-condition

Hãy xem phần Các loại điều kiện trong khoá học Rừng quyết định để biết thêm thông tin.

hoang tưởng

Từ đồng nghĩa với ảo giác.

Có lẽ ảo tưởng là thuật ngữ chính xác hơn về mặt kỹ thuật so với hoang tưởng. Tuy nhiên, ảo giác đã trở nên phổ biến trước.

cấu hình

Quá trình chỉ định giá trị thuộc tính ban đầu được dùng để huấn luyện một mô hình, bao gồm:

• lớp thành phần của mô hình
• vị trí của dữ liệu
• các siêu tham số, chẳng hạn như:
  • tốc độ học tập
  • vòng lặp
  • trình tối ưu hoá
  • hàm mất

Trong các dự án học máy, việc định cấu hình có thể được thực hiện thông qua một hoặc sử dụng các thư viện cấu hình như sau:

• HParam
• Gin
• Đàn vĩ cầm

thiên kiến xác nhận

Xu hướng tìm kiếm, diễn giải, ưu tiên và nhớ lại thông tin trong xác nhận niềm tin hoặc giả thuyết có sẵn của một người. Nhà phát triển công nghệ học máy có thể vô tình thu thập hoặc gắn nhãn theo những cách ảnh hưởng đến kết quả hỗ trợ kết quả hiện có niềm tin của mình. Thiên kiến xác nhận là một dạng thiên kiến ngầm.

Thành kiến của người thử nghiệm là một dạng thiên kiến xác nhận trong đó một người thử nghiệm tiếp tục các mô hình huấn luyện cho đến khi có sẵn một mô hình giả thuyết được xác nhận.

ma trận nhầm lẫn

Bảng NxN tóm tắt số lượng dự đoán chính xác và không chính xác mà mô hình phân loại đưa ra. Ví dụ: hãy xem xét ma trận nhầm lẫn sau đây cho một mô hình phân loại nhị phân:

Ma trận nhầm lẫn trước đó cho thấy những điều sau:

• Trong số 19 dự đoán mà thông tin thực tế là Tumor, mô hình được phân loại chính xác 18 và phân loại không chính xác 1.
• Trong số 458 dự đoán mà theo đó sự thật thực tế là Không phải khối u, mô hình phân loại chính xác 452 và phân loại không chính xác 6.

Ma trận nhầm lẫn cho phân loại nhiều lớp có thể giúp bạn xác định các quy luật sai lầm. Ví dụ: hãy xem xét ma trận nhầm lẫn sau cho lớp 3 mô hình phân loại nhiều lớp phân loại 3 loại mống mắt khác nhau (Virginica, Versicolor và Setosa). Khi sự thật là Virginica, ma trận nhầm lẫn cho thấy mô hình có nhiều khả năng nhầm lẫn dự đoán Versicolor hơn Setosa:

Ví dụ khác: một ma trận nhầm lẫn có thể cho thấy rằng một mô hình được huấn luyện để nhận dạng chữ số viết tay có xu hướng dự đoán nhầm 9 thay vì 4 hoặc dự đoán nhầm 1 thay vì 7.

Ma trận nhầm lẫn chứa đủ thông tin để tính toán nhiều chỉ số hiệu suất, bao gồm cả độ chính xác và ghi nhớ.

phân tích cú pháp khu vực bầu cử

Chia một câu thành các cấu trúc ngữ pháp nhỏ hơn ("thành phần"). Phần sau của hệ thống ML, chẳng hạn như mô hình hiểu ngôn ngữ tự nhiên, có thể phân tích cú pháp các thành phần dễ dàng hơn câu gốc. Ví dụ: hãy xem xét câu sau:

Bạn tôi đã nhận nuôi hai chú mèo.

Một trình phân tích cú pháp khu vực bầu cử có thể chia câu này thành như sau hai thành phần:

• Bạn của tôi là một cụm danh từ.
• nhận nuôi hai chú mèo là một cụm động từ.

Các thành phần này có thể được chia nhỏ hơn nữa thành các thành phần nhỏ hơn. Ví dụ: cụm động từ

nhận nuôi hai chú mèo

có thể được chia nhỏ hơn nữa thành:

• đã cho phép là một động từ.
• hai con mèo là một cụm danh từ khác.

nhúng ngôn ngữ theo ngữ cảnh

Một mã nhúng gần như "hiểu" các từ và cụm từ theo cách mà người bản địa có thể hiểu. Các phần nhúng ngôn ngữ theo ngữ cảnh có thể hiểu được cú pháp, ngữ nghĩa và ngữ cảnh phức tạp.

Ví dụ: hãy xem xét việc nhúng từ tiếng Anh cow. Các mục nhúng cũ hơn chẳng hạn như word2vec có thể biểu thị tiếng Anh sao cho khoảng cách trong không gian nhúng từ bò đến bò cái tương tự như khoảng cách từ bò cái (cừu cái) đến cừu đực (cừu đực) hoặc từ cựu cái sang con đực. Ngôn ngữ theo ngữ cảnh các tính năng nhúng có thể tiến xa hơn nữa bằng cách nhận ra rằng đôi khi, người nói tiếng Anh ngẫu nhiên dùng từ bò để chỉ con bò hoặc bò đực.

cửa sổ ngữ cảnh

Số lượng mã thông báo mà một mô hình có thể xử lý trong một lời nhắc nhất định. Cửa sổ ngữ cảnh càng lớn, thì thông tin càng nhiều mà mô hình đó có thể dùng để đưa ra câu trả lời mạch lạc và nhất quán vào lời nhắc.

tính năng liên tục

Tính năng dấu phẩy động có phạm vi vô hạn các giá trị có thể có, chẳng hạn như nhiệt độ hoặc trọng lượng.

Tương phản với tính năng tách biệt.

lấy mẫu tiện lợi

Sử dụng tập dữ liệu không được thu thập một cách khoa học để chạy nhanh thử nghiệm. Sau đó, bạn cần chuyển sang một tập dữ liệu được thu thập một cách khoa học.

sự hội tụ

Trạng thái đạt khi các giá trị mất thay đổi rất ít hoặc không hề đơn giản với từng vòng lặp. Ví dụ: như sau đường cong mất cho thấy sự hội tụ ở khoảng 700 lần lặp:

Mô hình hội tụ khi việc huấn luyện thêm sẽ không cải thiện mô hình.

Trong học sâu, giá trị tổn thất đôi khi không đổi hoặc gần như vậy cho nhiều lần lặp lại trước khi giảm dần. Trong một khoảng thời gian dài của giá trị tổn hao không đổi, bạn có thể tạm thời hiểu nhầm về sự hội tụ.

Xem thêm phần dừng sớm.

Xem phần Hội tụ và mất mô hình đường cong trong Khoá học nhanh về máy học để biết thêm thông tin.

hàm lồi

Một hàm trong đó vùng phía trên biểu đồ của hàm là một tập hợp lồi. Hàm lồi nguyên mẫu là có hình dạng giống như chữ cái U. Ví dụ: sau đây là tất cả các hàm lồi:

Ngược lại, hàm sau đây không phải là hàm lồi. Hãy lưu ý cách vùng phía trên biểu đồ không phải là tập hợp lồi:

Hàm lồi nghiêm ngặt có đúng một điểm tối thiểu cục bộ, cũng là điểm tối thiểu toàn cầu. Các hàm hình chữ U cổ điển là hàm lồi nghiêm ngặt. Tuy nhiên, một số hàm lồi (ví dụ: các đường thẳng) không phải là hình chữ U.

Hãy xem phần Hàm hội tụ và hàm lồi trong khoá học cấp tốc về học máy để biết thêm thông tin.

tối ưu hoá lồi

Quá trình sử dụng các kỹ thuật toán học như hiệu ứng giảm độ dốc để tìm giá trị nhỏ nhất của hàm lồi. Rất nhiều nghiên cứu trong lĩnh vực học máy đã tập trung vào việc xây dựng nhiều vấn đề dưới dạng vấn đề tối ưu hoá lồi và giải quyết các vấn đề đó hiệu quả hơn.

Để biết toàn bộ thông tin chi tiết, hãy xem Boyd và Vandenberghe, Tối ưu hoá cong.

tập hợp lồi

Một tập hợp con của không gian Euclide sao cho một đường kẻ giữa hai điểm bất kỳ trong tập hợp con vẫn nằm hoàn toàn trong tập hợp con đó. Ví dụ: hai hình dạng sau đây là tập hợp lồi:

Ngược lại, hai hình dạng sau đây không phải là tập hợp lồi:

tích chập

Trong toán học, nói một cách đơn giản, đây là sự kết hợp của hai hàm. Trong máy học tập, một tích chập kết hợp thuật toán tích chập bộ lọc và ma trận đầu vào để huấn luyện trọng số.

Thuật ngữ "convolution" (phương pháp tích chập) trong học máy thường là cách viết tắt để tham chiếu đến toán tử tích chập hoặc lớp tích chập.

Nếu không có tích chập, thuật toán học máy sẽ phải học một trọng số riêng cho mỗi ô trong một tensor lớn. Ví dụ: thuật toán học máy đào tạo hình ảnh 2K x 2K sẽ buộc phải tìm 4M trọng số riêng biệt. Nhờ có tích chập, một công nghệ học máy thuật toán chỉ phải tìm trọng số của mỗi ô trong bộ lọc tích chập, giúp giảm đáng kể bộ nhớ cần thiết để huấn luyện mô hình. Khi bộ lọc tích chập là nó chỉ được sao chép trên các ô sao cho mỗi ô được nhân theo bộ lọc.

Hãy xem phần Giới thiệu về mạng nơron xoáy trong khoá học Phân loại hình ảnh để biết thêm thông tin.

bộ lọc tích chập

Một trong hai thành phần trong một toán tử tích chập. (Thực thể khác là một lát của ma trận đầu vào.) Bộ lọc tích chập là một ma trận có có cùng xếp hạng như ma trận đầu vào nhưng có hình dạng nhỏ hơn. Ví dụ: với ma trận đầu vào 28x28, bộ lọc có thể là bất kỳ ma trận 2D nào nhỏ hơn 28x28.

Khi thao tác với ảnh, tất cả các ô trong bộ lọc tích chập đều thường được thiết lập thành một mẫu không đổi gồm một và 0. Trong học máy, các bộ lọc tích chập thường được tạo bằng số ngẫu nhiên, sau đó mạng huấn luyện các giá trị lý tưởng.

Xem bài viết Tích chập trong khoá học Phân loại hình ảnh để biết thêm thông tin.

lớp tích chập

Một lớp của mạng nơron sâu, trong đó bộ lọc tích chập truyền dọc theo một ma trận đầu vào. Ví dụ: hãy xem xét bộ lọc tích chập 3x3 sau đây:

Ảnh động sau đây cho thấy một lớp convolutional bao gồm 9 phép toán convolutional liên quan đến ma trận đầu vào 5x5. Lưu ý rằng mỗi phép tính tích chập hoạt động trên một lát cắt 3x3 khác nhau của ma trận đầu vào. Ma trận 3x3 thu được (ở bên phải) bao gồm kết quả của 9 phép tích chập:

Hãy xem phần Lớp kết nối đầy đủ trong khoá học Phân loại hình ảnh để biết thêm thông tin.

mạng nơron tích chập

Mạng nơron trong đó có ít nhất một lớp là một lớp lớp tích chập. Tích chập điển hình mạng nơron bao gồm một số tổ hợp của các lớp sau:

• lớp tích chập
• các lớp gộp
• lớp dày đặc

Mạng nơron tích chập đã thành công lớn ở một số loại sự cố, chẳng hạn như nhận dạng hình ảnh.

phép tích chập

Phép toán hai bước sau đây:

1. Phép nhân trên các phần tử của bộ lọc tích chập và một phần của ma trận đầu vào. (Lát cắt của ma trận đầu vào có cùng thứ hạng và kích thước với bộ lọc tích chập.)
2. Tổng của tất cả các giá trị trong ma trận tích thu được.

Ví dụ: hãy xem xét ma trận đầu vào 5x5 sau:

Giờ hãy tưởng tượng bộ lọc tích chập 2x2 sau đây:

Mỗi phép toán tích chập bao gồm một lát cắt 2x2 của ma trận đầu vào. Ví dụ: giả sử chúng ta sử dụng lát cắt 2x2 ở trên cùng bên trái của ma trận đầu vào. Do đó, phép tích chập trên lát cắt này sẽ có dạng như sau:

Lớp tích chập bao gồm một một chuỗi phép tính tích chập, mỗi phép toán hoạt động trên một lát cắt riêng của ma trận đầu vào.

chi phí

Từ đồng nghĩa với mất.

đồng đào tạo

Phương pháp học bán có giám sát đặc biệt hữu ích khi tất cả các điều kiện sau đây đều đúng:

• Tỷ lệ ví dụ chưa được gắn nhãn so với ví dụ được gắn nhãn trong tập dữ liệu là cao.
• Đây là vấn đề phân loại (nhị phân hoặc đa lớp).
• dataset chứa hai tập hợp dữ liệu khác nhau các tính năng dự đoán độc lập với nhau và bổ sung cho nhau.

Về cơ bản, tính năng huấn luyện đồng thời sẽ khuếch đại các tín hiệu độc lập thành một tín hiệu mạnh hơn. Ví dụ: hãy xem xét một mô hình phân loại phân loại từng chiếc xe đã qua sử dụng là Tốt hoặc Kém. Một nhóm tính năng dự đoán có thể tập trung vào các đặc điểm tổng hợp như năm, hãng và mẫu xe; một nhóm tính năng dự đoán khác có thể tập trung vào hồ sơ lái xe của chủ sở hữu trước đó và nhật ký bảo dưỡng của xe.

Bài viết quan trọng về chương trình hợp tác đào tạo là Kết hợp dữ liệu có gắn nhãn và không được gắn nhãn với Bên cùng đào tạo Blum và Mike.

tính công bằng phản thực tế

Chỉ số về tính công bằng kiểm tra xem thuật toán phân loại có tạo ra cùng một kết quả cho một cá nhân như cho một cá nhân khác giống hệt với quy tắc đầu tiên, ngoại trừ một hoặc nhiều thuộc tính nhạy cảm. Đánh giá một bộ phân loại về tính công bằng giả định là một phương pháp để đưa ra các nguồn tiềm ẩn gây ra thiên kiến trong mô hình.

Hãy xem một trong những nội dung sau để biết thêm thông tin:

• Công bằng: Công bằng giả định trong khoá học Học máy ứng dụng.
• When Worlds Collide: Integrating Different Counterfactual Assumptions in Fairness (Khi các thế giới va chạm: Tích hợp các giả định đối chứng khác nhau trong tính công bằng)

thiên kiến bao phủ

Xem phần thiên vị do cách chọn mẫu.

hoa va chạm

Một câu hoặc cụm từ có ý nghĩa mơ hồ. Hoa tai nạn là một vấn đề đáng kể về tự nhiên hiểu ngôn ngữ. Ví dụ: dòng tiêu đề Red Tape Holds Up Skyscraper (Băng đỏ làm chậm toà nhà chọc trời) là một cụm từ hoa mỹ vì mô hình NLU có thể diễn giải dòng tiêu đề theo nghĩa đen hoặc nghĩa bóng.

nhà phê bình

Đồng nghĩa với Mạng Q sâu.

entropy chéo

Thông tin chung về tình trạng Mất nhật ký đối với bài toán phân loại nhiều lớp. Độ chênh lệch entropy định lượng sự khác biệt giữa hai hàm phân phối xác suất. Xem thêm sự phức tạp.

xác thực chéo

Cơ chế ước tính mức độ tổng quát hoá của một mô hình đối với dữ liệu mới bằng cách kiểm thử mô hình đó trên một hoặc nhiều tập hợp con dữ liệu không trùng lặp được giữ lại từ tập dữ liệu huấn luyện.

hàm phân phối tích lũy (CDF)

Một hàm xác định tần suất của các mẫu nhỏ hơn hoặc bằng một giá trị mục tiêu. Ví dụ: hãy xem xét một phân phối chuẩn của các giá trị liên tục. CDF cho bạn biết rằng khoảng 50% mẫu có thể nhỏ hơn hoặc bằng trung bình và khoảng 84% mẫu có thể nhỏ hơn hoặc bằng thành một độ lệch chuẩn trên giá trị trung bình.

D

phân tích dữ liệu

Có được sự hiểu biết về dữ liệu bằng cách xem xét mẫu, đo lường, và trực quan hoá thông tin. Phân tích dữ liệu có thể đặc biệt hữu ích khi nhận được tập dữ liệu đầu tiên, trước khi tạo mô hình đầu tiên. Điều này cũng rất quan trọng trong việc hiểu các thử nghiệm và gỡ lỗi các vấn đề với hệ thống.

tăng cường dữ liệu

Tăng cường giả tạo phạm vi và số lượng Ví dụ về đào tạo bằng cách chuyển đổi tài sản hiện có ví dụ để tạo thêm ví dụ. Ví dụ: giả sử hình ảnh là một trong các tính năng, nhưng tập dữ liệu của bạn không chứa đủ ví dụ về hình ảnh để mô hình có thể học được các mối liên kết hữu ích. Tốt nhất là bạn nên thêm đủ hình ảnh được gắn nhãn vào tập dữ liệu để mô hình của bạn có thể huấn luyện đúng cách. Nếu không thể, tính năng tăng cường dữ liệu có thể xoay, kéo giãn và phản chiếu từng hình ảnh để tạo ra nhiều biến thể của hình ảnh ban đầu, có thể tạo ra đủ dữ liệu được gắn nhãn để cho phép huấn luyện hiệu quả.

DataFrame

Loại dữ liệu pandas phổ biến để biểu thị tập dữ liệu trong bộ nhớ.

DataFrame tương tự như một bảng hoặc bảng tính. Mỗi cột của DataFrame có tên (tiêu đề) và mỗi hàng được xác định bằng số duy nhất.

Mỗi cột trong DataFrame có cấu trúc như một mảng 2D, ngoại trừ việc mỗi cột có thể được chỉ định một loại dữ liệu riêng.

Xem thêm Thông tin tham khảo về pandas.DataFrame .

tính song song dữ liệu

Cách mở rộng quy mô huấn luyện hoặc suy luận sao chép toàn bộ mô hình lên nhiều thiết bị rồi truyền một tập hợp con dữ liệu đầu vào đến mỗi thiết bị. Tính năng song song dữ liệu có thể hỗ trợ việc huấn luyện và suy luận trên kích thước lô rất lớn; tuy nhiên, tính năng song song dữ liệu yêu cầu mô hình phải đủ nhỏ để phù hợp với tất cả thiết bị.

Tính song song dữ liệu thường giúp tăng tốc độ huấn luyện và suy luận.

Xem thêm tính song song của mô hình.

tập dữ liệu hoặc tập dữ liệu

Một tập hợp dữ liệu thô, thường (nhưng không chỉ) được sắp xếp theo một trong các định dạng sau:

• một bảng tính
• tệp ở định dạng CSV (giá trị được phân tách bằng dấu phẩy)

API Tập dữ liệu (tf.data)

API TensorFlow cấp cao để đọc dữ liệu và chuyển đổi dữ liệu đó thành một dạng mà thuật toán học máy yêu cầu. Đối tượng tf.data.Dataset đại diện cho một chuỗi các phần tử, trong đó mỗi phần tử chứa một hoặc nhiều Tensor. Một tf.data.Iterator đối tượng này cung cấp quyền truy cập vào các phần tử của Dataset.

ranh giới quyết định

Dấu phân cách giữa các lớp học được bằng mô hình theo lớp học nhị phân hoặc các bài toán về phân loại nhiều lớp. Ví dụ: trong hình ảnh sau đây thể hiện một vấn đề phân loại nhị phân, ranh giới quyết định là ranh giới giữa lớp màu cam và lớp màu xanh dương:

rừng quyết định

Mô hình được tạo từ nhiều cây quyết định. Nhóm rừng quyết định đưa ra dự đoán bằng cách tổng hợp các dự đoán của cây quyết định. Các loại rừng quyết định phổ biến bao gồm rừng ngẫu nhiên và rừng tăng cường theo độ dốc.

Xem phần Quyết định Rừng trong khoá học Rừng quyết định để biết thêm thông tin.

ngưỡng quyết định

Từ đồng nghĩa với ngưỡng phân loại.

cây quyết định

Mô hình học có giám sát bao gồm một tập hợp điều kiện và lá được sắp xếp theo hệ phân cấp. Ví dụ: sau đây là một cây quyết định:

bộ giải mã

Nhìn chung, bất kỳ hệ thống học máy nào chuyển đổi từ một hệ thống đã xử lý, dày đặc hoặc bản trình bày nội bộ thành bản trình bày thô, thưa thớt hoặc bên ngoài hơn.

Bộ giải mã thường là một thành phần của mô hình lớn hơn, trong đó chúng thường xuất hiện ghép nối với bộ mã hoá.

Trong các tác vụ từ trình tự đến trình tự, bộ giải mã bắt đầu bằng trạng thái nội bộ do bộ mã hoá tạo ra để dự đoán trình tự tiếp theo.

Tham khảo Máy biến áp để biết định nghĩa về bộ giải mã trong cấu trúc Transformer.

Hãy xem phần Mô hình ngôn ngữ lớn trong Khoá học học máy ứng dụng để biết thêm thông tin.

mô hình sâu

Một mạng nơron chứa nhiều hơn một lớp ẩn.

Mô hình sâu còn được gọi là mạng nơron sâu.

Tương phản với mô hình rộng.

mạng nơron sâu

Từ đồng nghĩa với mô hình sâu.

Mạng Q sâu (DQN)

Trong học Q, một mạng nơron sâu sẽ dự đoán hàm Q.

Phê bình là từ đồng nghĩa với Mạng Q-S sâu.

sự tương đồng về nhân khẩu học

Chỉ số công bằng được đáp ứng nếu kết quả phân loại của mô hình không phụ thuộc vào một thuộc tính nhạy cảm nhất định.

Ví dụ: nếu cả người Lilliputian và Brobdingnagian đều áp dụng cho Đại học Glraffdubdrib, mức độ tương đương về nhân khẩu học sẽ đạt được nếu tỷ lệ phần trăm tỷ lệ người Lilliputian được chấp nhận là bằng với tỷ lệ phần trăm người dân Brobdingnagian được chấp nhận, bất kể một nhóm có đủ tiêu chuẩn hơn trung bình hay không đơn vị quảng cáo khác.

Tương phản với tỷ lệ cân bằng và bình đẳng về cơ hội, cho phép kết quả phân loại tổng hợp phụ thuộc vào các thuộc tính nhạy cảm, nhưng không cho phép kết quả phân loại cho một số nhãn đúng thực tế được chỉ định phụ thuộc vào các thuộc tính nhạy cảm. Xem "Tấn công bằng công nghệ học máy thông minh hơn" để trực quan hoá khám phá các ưu điểm, khuyết điểm khi tối ưu hoá sự tương đồng về nhân khẩu học.

Xem bài viết Sự công bằng: thông tin nhân khẩu học ngang hàng trong Khoá học nhanh về máy học để biết thêm thông tin.

loại bỏ nhiễu

Một phương pháp phổ biến để tự học có giám sát trong đó:

1. Tiếng ồn được thêm một cách giả tạo vào tập dữ liệu.
2. Mô hình sẽ cố gắng loại bỏ tạp âm.

Tính năng loại bỏ tạp âm cho phép học từ các ví dụ chưa được gắn nhãn. Tập dữ liệu ban đầu đóng vai trò là mục tiêu hoặc nhãn và dữ liệu nhiễu đóng vai trò là dữ liệu đầu vào.

Một số mô hình ngôn ngữ được che giấu sử dụng tính năng khử nhiễu như sau:

1. Tiếng ồn được thêm một cách giả tạo vào một câu không được gắn nhãn bằng cách che một số mã thông báo.
2. Mô hình sẽ cố gắng dự đoán mã thông báo ban đầu.

tính năng dày đặc

Một tính năng trong đó hầu hết hoặc tất cả các giá trị đều khác 0, thường là một Tensor của các giá trị dấu phẩy động. Ví dụ: như sau Tensor có 10 nguyên tố dày đặc vì 9 giá trị của nó khác 0:

Tương phản với tính năng thưa thớt.

lớp dày đặc

Từ đồng nghĩa với lớp được kết nối hoàn toàn.

chiều sâu

Tổng của các giá trị sau trong một mạng nơron:

• số lượng lớp ẩn
• số lượng lớp đầu ra, thường là 1
• số lượng lớp được nhúng

Ví dụ: một mạng nơron có 5 lớp ẩn và 1 lớp đầu ra có độ sâu là 6.

Lưu ý rằng lớp đầu vào không ảnh hưởng đến chiều sâu.

mạng nơron tích chập phân tách theo chiều sâu (sepCNN)

Mạng nơron tích chập cấu trúc dựa trên Sự khởi đầu, nhưng trong đó các mô-đun Inception được thay thế bằng depthwise có thể phân tách tích chập. Còn gọi là Xception.

Tích chập tách rời theo chiều sâu (còn được viết tắt là tích chập tách biệt) đưa một tích chập 3D chuẩn thành hai phép tích chập riêng biệt hiệu quả hơn về mặt tính toán: trước tiên là tích chập theo chiều sâu, với độ sâu là 1 (n ° n ° 1), và sau đó là tích chập điểm, có chiều dài và chiều rộng là 1 (1 Đường 1 Đường n 1 ).

Để tìm hiểu thêm, hãy xem bài viết Xception: Học sâu bằng phép tích chập có thể tách biệt theo chiều sâu.

nhãn phái sinh

Đồng nghĩa với nhãn đại diện.

thiết bị

Một thuật ngữ nạp chồng có thể có hai định nghĩa sau:

1. Một danh mục phần cứng có thể chạy phiên TensorFlow, bao gồm CPU, GPU và TPU.
2. Khi huấn luyện mô hình học máy trên chip tăng tốc (GPU hoặc TPU), phần hệ thống thực sự thao tác với tensor và nội dung nhúng. Thiết bị chạy trên các khối tăng tốc. Ngược lại, máy chủ lưu trữ thường chạy trên CPU.

sự riêng tư biệt lập

Trong học máy, phương pháp ẩn danh để bảo vệ mọi dữ liệu nhạy cảm (ví dụ: thông tin cá nhân của một cá nhân) có trong tập huấn luyện của mô hình khỏi bị tiết lộ. Phương pháp này đảm bảo rằng mô hình không học hoặc ghi nhớ nhiều về một cá nhân cụ thể. Điều này được thực hiện bằng cách lấy mẫu và thêm nhiễu trong quá trình đào tạo mô hình để làm mờ các điểm dữ liệu riêng lẻ, giảm nguy cơ rò rỉ dữ liệu đào tạo nhạy cảm.

Giải pháp Sự riêng tư biệt lập cũng được sử dụng bên ngoài công nghệ học máy. Ví dụ: đôi khi, nhà khoa học dữ liệu sử dụng sự riêng tư biệt lập để bảo vệ quyền riêng tư khi tính số liệu thống kê sử dụng sản phẩm cho các nhóm nhân khẩu học khác nhau.

giảm kích thước

Giảm số lượng phương diện được sử dụng để đại diện cho một đối tượng cụ thể trong một vectơ đối tượng, thường là chuyển đổi thành vectơ nhúng.

phương diện

Thuật ngữ quá tải có bất kỳ định nghĩa nào sau đây:

• Số lượng toạ độ trong Tensor. Ví dụ:

  • Một đại lượng vô hướng có chiều bằng 0; ví dụ: ["Hello"].
  • Vectơ có một chiều; ví dụ: [3, 5, 7, 11].
  • Ma trận có hai chiều; ví dụ: [[2, 4, 18], [5, 7, 14]]. Bạn có thể chỉ định một ô cụ thể trong vectơ một chiều bằng một toạ độ; bạn cần hai toạ độ để chỉ định một ô cụ thể trong ma trận hai chiều.

• Số mục nhập trong một vectơ đặc trưng.

• Số lượng phần tử trong một lớp nhúng.

nhắc trực tiếp

Từ đồng nghĩa với lời nhắc thực hiện bằng 0.

tính chất rời rạc

Một tính năng có một tập hợp hữu hạn các giá trị có thể có. Ví dụ: một đặc điểm có giá trị chỉ có thể là động vật, rau hoặc khoáng sản là một đặc điểm riêng biệt (hoặc phân loại).

Tương phản với tính năng liên tục.

mô hình phân biệt đối xử

Mô hình dự đoán nhãn từ một tập hợp một hoặc tính năng khác. Nói một cách chính thức hơn, các mô hình phân biệt xác định xác suất có điều kiện của một đầu ra dựa trên các đặc điểm và trọng số; tức là:

p(output | features, weights)

Ví dụ: một mô hình dự đoán liệu một email có phải là thư rác từ các tính năng hay không và trọng số là mô hình phân biệt đối xử.

Phần lớn các mô hình học có giám sát, bao gồm cả mô hình phân loại và hồi quy, đều là mô hình phân biệt.

Tương phản với mô hình tạo sinh.

giá trị phân biệt

Hệ thống xác định xem ví dụ là thật hay giả.

Ngoài ra, hệ thống con trong một mạng đối kháng tạo sinh sẽ xác định xem các ví dụ do trình tạo tạo ra là thật hay giả.

Hãy xem phần Bộ phân biệt trong khoá học GAN để biết thêm thông tin.

tác động riêng rẽ

Quyết định về những người tác động không cân xứng đến các nhóm phụ dân số. Thuật ngữ này thường đề cập đến những tình huống trong đó quy trình ra quyết định theo thuật toán gây hại hoặc mang lại lợi ích cho một số nhóm nhỏ hơn so với các nhóm khác.

Ví dụ: giả sử một thuật toán xác định tham số của Lilliputian khả năng đủ điều kiện cho khoản vay để mua nhà thu nhỏ có nhiều khả năng được phân loại hơn chúng là "không đủ điều kiện" Nếu địa chỉ gửi thư của họ chứa mã bưu chính. Nếu người Lilliputian Big-Endian có nhiều khả năng có địa chỉ gửi thư có mã bưu chính này hơn người Lilliputian Little-Endian, thì thuật toán này có thể dẫn đến tác động khác biệt.

Ngược lại với phương pháp xử lý khác, Tập trung vào sự khác biệt xảy ra khi các đặc điểm của nhóm con là thông tin đầu vào rõ ràng cho quá trình đưa ra quyết định dựa trên thuật toán.

đối xử không công bằng

Tính đến các thuộc tính nhạy cảm của đối tượng vào quy trình ra quyết định bằng thuật toán để các nhóm phụ khác nhau của con người được xử lý theo cách khác nhau.

Ví dụ: hãy xem xét một thuật toán xác định tiếng Lilliputian đủ điều kiện để được vay tiền mua nhà thu nhỏ dựa trên dữ liệu mà họ cung cấp trong hồ sơ vay vốn. Nếu thuật toán sử dụng thông tin liên kết của Lilliputian dưới dạng Big-Endian hoặc Little-Endian làm dữ liệu đầu vào, thì thuật toán đó đang thực hiện cách xử lý khác nhau theo phương diện đó.

Tương phản với tác động khác biệt, tập trung vào về sự khác biệt trong tác động xã hội của các quyết định của thuật toán đối với các nhóm con, bất kể các nhóm con đó có phải là dữ liệu đầu vào cho mô hình hay không.

chưng cất

Quá trình giảm kích thước của một mô hình (được gọi là giáo viên) vào một mô hình nhỏ hơn (gọi là học viên) mô phỏng các dự đoán của mô hình ban đầu một cách trung thực nhất có thể. Chưng cất là rất hữu ích vì mô hình nhỏ hơn có hai lợi ích chính so với mô hình lớn mô hình (giáo viên):

• Thời gian suy luận nhanh hơn
• Giảm mức sử dụng bộ nhớ và năng lượng

Tuy nhiên, dự đoán của học sinh thường không chính xác bằng những dự đoán của giáo viên.

Tính năng chưng cất giúp đào tạo mô hình học sinh để giảm thiểu hàm mất dựa trên sự chênh lệch giữa các kết quả đầu ra dự đoán của các mô hình học sinh và giáo viên.

So sánh và đối chiếu quá trình chưng cất với các thuật ngữ sau:

• tinh chỉnh
• hoạt động học tập dựa trên câu lệnh

Hãy xem phần LLM: Điều chỉnh, chắt lọc và kỹ thuật gợi ý trong khoá học cấp tốc về học máy để biết thêm thông tin.

Phân phối

Tần suất và phạm vi của các giá trị khác nhau cho một tính năng hoặc nhãn nhất định. Phân phối ghi lại khả năng xảy ra một giá trị cụ thể.

Hình ảnh sau đây cho thấy biểu đồ dạng thanh của hai phân phối khác nhau:

• Ở bên trái là sự phân bố theo luật năng lượng của sự giàu có so với số người đang sở hữu sự giàu có đó.
• Ở bên phải là mức phân bổ chuẩn của chiều cao so với số người sở hữu chiều cao đó.

Việc hiểu rõ về phân phối của từng đặc điểm và nhãn có thể giúp bạn xác định cách bình thường hoá các giá trị và phát hiện giá trị ngoại lai.

Cụm từ không thuộc phạm vi phân phối đề cập đến một giá trị không xuất hiện trong tập dữ liệu hoặc rất hiếm. Ví dụ: hình ảnh sao Thổ sẽ được coi là không thuộc phạm vi phân phối của một tập dữ liệu gồm hình ảnh mèo.

phân cụm phân chia

Xem phần thu thập dữ liệu theo cụm phân cấp.

giảm tần số lấy mẫu

Thuật ngữ nạp chồng có thể có một trong những ý nghĩa sau:

• Giảm lượng thông tin trong một tính năng để huấn luyện mô hình hiệu quả hơn. Ví dụ: trước khi huấn luyện mô hình nhận dạng hình ảnh, giảm tần số lấy mẫu ở độ phân giải cao sang định dạng có độ phân giải thấp hơn.
• Được đào tạo về tỷ lệ thấp, không tương xứng lớp ví dụ để cải thiện quy trình huấn luyện mô hình đối với những lớp có ít người tham gia. Ví dụ: trong một tập dữ liệu không cân bằng về lớp, các mô hình có xu hướng học nhiều về lớp đa số và không đủ về lớp thiểu số. Giúp giảm tần số lấy mẫu cân bằng lượng đào tạo dành cho tầng lớp đa số và thiểu số.

Hãy xem phần Tập dữ liệu: Tập dữ liệu bất cân đối trong khoá học Học máy ứng dụng để biết thêm thông tin.

DQN

Từ viết tắt của Deep Q-Network.

điều chỉnh tỷ lệ bỏ ngang

Một hình thức điều chỉnh hữu ích trong việc huấn luyện mạng nơron. Điều chỉnh tỷ lệ bỏ ngang xoá lựa chọn ngẫu nhiên một số đơn vị cố định trong mạng cho một bước chuyển màu. Hạ càng nhiều đơn vị càng mạnh quy trình điều chỉnh. Việc này tương tự như việc huấn luyện mạng để mô phỏng một tập hợp lớn theo cấp số nhân gồm các mạng nhỏ hơn. Để biết toàn bộ thông tin chi tiết, hãy xem Bỏ qua mạng: Một cách đơn giản để ngăn chặn mạng nơron Giao diện quá mức.

linh động

Việc nào đó được thực hiện thường xuyên hoặc liên tục. Các cụm từ động và trực tuyến là các từ đồng nghĩa với công nghệ học máy. Sau đây là những cách sử dụng phổ biến của tính năng động và trực tuyến trong máy đang học:

• Mô hình động (hoặc mô hình trực tuyến) là một mô hình được đào tạo lại thường xuyên hoặc liên tục.
• Đào tạo động (hoặc đào tạo trực tuyến) là quá trình đào tạo một cách thường xuyên hoặc liên tục.
• Suy luận động (hoặc suy luận trực tuyến) là quá trình tạo dự đoán theo yêu cầu.

mô hình linh động

Một mô hình diễn ra thường xuyên (thậm chí có thể liên tục) được đào tạo lại. Mô hình linh động là "học viên suốt đời" để liên tục thích ứng với dữ liệu không ngừng thay đổi. Mô hình động còn được gọi là mô hình trực tuyến.

Tương phản với mô hình tĩnh.

E

thực thi háo hức

Môi trường lập trình TensorFlow trong đó các thao tác chạy ngay lập tức. Ngược lại, các toán tử được gọi trong quá trình thực thi biểu đồ không chạy cho đến khi chúng được nêu rõ ràng đánh giá. Thực thi háo hức là một giao diện bắt buộc, nhiều chẳng hạn như mã trong hầu hết các ngôn ngữ lập trình. Các chương trình thực thi sớm thường dễ gỡ lỗi hơn nhiều so với các chương trình thực thi biểu đồ.

dừng sớm

Một phương thức điều chỉnh liên quan đến việc kết thúc quá trình huấn luyện trước khi tổn thất huấn luyện kết thúc giảm. Trong phương pháp dừng sớm, bạn chủ ý ngừng huấn luyện mô hình khi tổn thất trên dữ liệu tập hợp xác thực bắt đầu tăng lên; tức là khi hiệu suất tổng quát hoá giảm sút.

khoảng cách của máy xúc đất (EMD)

Một chỉ số đo lường mức độ tương đồng tương đối của hai phân phối. Khoảng cách của máy ủi càng thấp thì mức phân phối càng giống nhau.

chỉnh sửa khoảng cách

Một phép đo mức độ tương đồng giữa hai chuỗi văn bản. Trong công nghệ học máy, việc chỉnh sửa khoảng cách rất hữu ích vì có thể và một cách hiệu quả để so sánh hai chuỗi được biết là tương tự hoặc để tìm các chuỗi tương tự với một chuỗi đã cho.

Có một số định nghĩa về khoảng cách chỉnh sửa, mỗi định nghĩa sử dụng các thao tác chuỗi khác nhau. Ví dụ: Khoảng cách Levenshtein xem xét số lượng thao tác xoá, chèn và thay thế ít nhất.

Ví dụ: khoảng cách Levenshtein giữa các từ "tim" và "phi tiêu" là 3 vì 3 nội dung chỉnh sửa sau đây là ít thay đổi nhất để biến một từ thành công cụ khác:

1. trái tim → dấu móc (thay "h" bằng "d")
2. deart → dart (xoá "e")
3. dart → darts (chèn "s")

Ký hiệu Einsum

Một ký hiệu hiệu quả để mô tả cách hoạt động của hai tensor kết hợp. Các tensor được kết hợp bằng cách nhân các phần tử của một tensor theo các phần tử của tensor khác rồi tính tổng của các tích. Ký hiệu Einsum sử dụng các ký hiệu để xác định các trục của mỗi tensor và các ký hiệu đó được sắp xếp lại để chỉ định hình dạng của tensor mới thu được.

NumPy cung cấp cách triển khai Einsum phổ biến.

lớp nhúng

Một lớp ẩn đặc biệt huấn luyện trên một tính năng phân loại có nhiều chiều để dần dần học một vectơ nhúng có chiều thấp hơn. Lớp nhúng cho phép mạng nơron huấn luyện hiệu quả hơn nhiều so với việc chỉ huấn luyện trên tính năng phân loại có nhiều chiều.

Ví dụ: Earth hiện hỗ trợ khoảng 73.000 loài cây. Giả sử loài cây là một tính năng trong mô hình của bạn, do đó, lớp đầu vào của mô hình bao gồm một vectơ một chiều dài 73.000 phần tử. Ví dụ: có thể baobab sẽ được biểu thị như sau:

Mảng 73.000 phần tử là rất dài. Nếu bạn không thêm lớp nhúng vào mô hình, quá trình huấn luyện sẽ mất rất nhiều thời gian do phải nhân 72.999 số 0. Có thể bạn chọn lớp nhúng bao gồm 12 phương diện. Do đó, lớp nhúng sẽ dần học một vectơ nhúng mới cho mỗi loài cây.

Trong một số trường hợp nhất định, thao tác băm là giải pháp thay thế hợp lý vào lớp nhúng.

Xem phần Nhúng trong Khoá học nhanh về máy học để biết thêm thông tin.

không gian nhúng

Không gian vectơ d chiều đặc trưng từ một chiều cao hơn không gian vectơ được ánh xạ tới. Lý tưởng nhất là không gian nhúng chứa một cấu trúc mang lại kết quả toán học có ý nghĩa; ví dụ: trong không gian nhúng lý tưởng, việc cộng và trừ các phần nhúng có thể giải quyết các nhiệm vụ liên tưởng từ.

Tích vô hướng của hai nội dung nhúng là một chỉ số về mức độ tương đồng của chúng.

vectơ nhúng

Nói chung, một mảng số dấu phẩy động được lấy từ bất kỳ lớp ẩn mô tả dữ liệu đầu vào cho lớp ẩn đó. Thông thường, vectơ nhúng là một mảng gồm các số dấu phẩy động được huấn luyện theo một lớp nhúng. Ví dụ: giả sử một lớp nhúng phải tìm hiểu vectơ nhúng cho mỗi loại trong số 73.000 loài cây trên Trái Đất. Có thể mảng sau đây là vectơ nhúng cho cây bao báp:

Vectơ nhúng không phải là một loạt các số ngẫu nhiên. Lớp nhúng xác định các giá trị này thông qua quá trình huấn luyện, tương tự như cách mạng nơron học các trọng số khác trong quá trình huấn luyện. Mỗi phần tử của mảng là xếp hạng theo một số đặc điểm của một loài cây. Mục nào đại diện cho loài cây nào đặc điểm của mình? Rất khó để con người xác định.

Phần đáng chú ý về mặt toán học của một vectơ nhúng là các mục tương tự nhau có các tập hợp số dấu phẩy động tương tự nhau. Ví dụ: tương tự các loài cây có tập hợp số dấu phẩy động giống nhau hơn so với những loài cây không giống nhau. Cây tuyết tùng và cây sequoia là các loài cây có liên quan, vì vậy, chúng sẽ có tập hợp số dấu phẩy động tương tự nhau hơn so với cây tuyết tùng và cây dừa. Các số trong vectơ nhúng sẽ thay đổi mỗi lần huấn luyện lại mô hình, ngay cả khi bạn đào tạo lại mô hình có dữ liệu đầu vào giống hệt nhau.

hàm phân phối tích luỹ kinh nghiệm (eCDF hoặc EDF)

Hàm phân phối tích luỹ dựa trên phép đo thực nghiệm từ một tập dữ liệu thực. Giá trị của thuộc tính hàm tại bất kỳ điểm nào dọc theo trục x là phân số của giá trị quan sát trong tập dữ liệu nhỏ hơn hoặc bằng giá trị đã chỉ định.

giảm thiểu rủi ro theo thực nghiệm (ERM)

Chọn hàm giúp giảm thiểu tổn thất trên tập huấn luyện. Độ tương phản bằng giảm thiểu rủi ro theo cấu trúc.

bộ mã hóa

Nhìn chung, mọi hệ thống học máy chuyển đổi từ dữ liệu thô, thưa thớt hoặc bên ngoài thành cách trình bày được xử lý nhiều hơn, dày đặc hơn hoặc nội bộ hơn.

Bộ mã hoá thường là một thành phần của mô hình lớn hơn, trong đó bộ mã hoá thường xuất hiện ghép nối với bộ giải mã. Một số máy biến áp ghép nối bộ mã hóa với bộ giải mã, mặc dù các Bộ chuyển đổi khác chỉ sử dụng bộ mã hóa hoặc chỉ bộ giải mã.

Một số hệ thống sử dụng đầu ra của bộ mã hoá làm đầu vào cho mạng phân loại hoặc hồi quy.

Trong các nhiệm vụ theo trình tự, một bộ mã hoá nhận một chuỗi đầu vào và trả về trạng thái bên trong (một vectơ). Sau đó, bộ giải mã sử dụng trạng thái nội bộ đó để dự đoán trình tự tiếp theo.

Tham khảo bài viết Transformer để biết định nghĩa về một bộ mã hoá trong cấu trúc Transformer.

Hãy xem phần LLM: Mô hình ngôn ngữ lớn là gì trong khoá học Máy học ứng dụng để biết thêm thông tin.

quần áo

Một tập hợp mô hình được huấn luyện độc lập, trong đó các kết quả dự đoán được tính trung bình hoặc tổng hợp. Trong nhiều trường hợp, bản tổng hợp mang lại kết quả tốt hơn so với một mô hình đơn lẻ. Ví dụ: Rừng ngẫu nhiên là một tập hợp được tạo từ nhiều cây quyết định. Lưu ý rằng không phải tất cả rừng quyết định là tập hợp.

Xem Ngẫu nhiên Rừng trong Khoá học nhanh về máy học để biết thêm thông tin.

entropy

Ngang bằng lý thuyết thông tin, nội dung mô tả về khả năng dự đoán của một xác suất là bao nhiêu. Ngoài ra, entropy còn được định nghĩa là giá trị thông tin mà mỗi ví dụ có. Phân phối có entropy cao nhất có thể khi tất cả các giá trị của một biến ngẫu nhiên là khả năng tương đương.

Entropy của một tập hợp với hai giá trị có thể có là "0" và "1" (ví dụ: các nhãn trong bài toán phân loại nhị phân) có công thức như sau:

H = -p log p - q log q = -p log p - (1-p) * log (1-p)

trong đó:

• H là entropy.
• p là phân số của "1" ví dụ.
• q là phân số của các ví dụ "0". Lưu ý rằng q = (1 - p)
• nhật ký thường là nhật ký₂. Trong trường hợp này, entropy là một bit.

Ví dụ: giả sử những điều sau:

• 100 ví dụ chứa giá trị "1"
• 300 ví dụ chứa giá trị "0"

Do đó, giá trị entropy là:

• p = 0,25
• q = 0,75
• H = (-0,25)nhật ký₂(0,25) - (0,75)nhật ký₂(0,75) = 0,81 bit cho mỗi ví dụ

Một tập hợp được cân bằng hoàn hảo (ví dụ: 200 "0" và 200 "1") sẽ có entropi là 1,0 bit cho mỗi ví dụ. Khi một tập hợp trở nên không cân bằng hơn, entropy của tập hợp đó sẽ chuyển về 0.0.

Trong cây quyết định, entropy giúp xây dựng mức tăng thông tin để giúp trình phân tách chọn các điều kiện trong quá trình phát triển của cây quyết định phân loại.

So sánh entropy với:

• mức độ không tinh khiết theo chỉ số gini
• Hàm mất mát entropy chéo

Entanpi thường được gọi là entanpi của Shannon.

Hãy xem phần Bộ phân tách chính xác để phân loại nhị phân bằng các tính năng số trong khoá học Rừng quyết định để biết thêm thông tin.

môi trường

Trong học tăng cường, thế giới chứa agent và cho phép tác nhân quan sát trạng thái của thế giới đó. Ví dụ: thế giới được biểu thị có thể là một trò chơi như cờ vua hoặc một thế giới thực như mê cung. Khi tác nhân áp dụng một hành động cho môi trường, môi trường sẽ chuyển đổi giữa các trạng thái.

tập

Trong học tăng cường, mỗi lần thử lặp đi lặp lại của agent để tìm hiểu một môi trường.

thời gian bắt đầu của hệ thống

Một lượt huấn luyện đầy đủ cho toàn bộ tập hợp huấn luyện sao cho mỗi ví dụ đã được xử lý một lần.

Một thời gian bắt đầu của hệ thống đại diện cho N/kích thước lô huấn luyện vòng lặp, trong đó N là tổng số ví dụ.

Ví dụ: giả sử như sau:

• Tập dữ liệu này có 1.000 ví dụ.
• Kích thước lô là 50 ví dụ.

Do đó, một epoch cần 20 lần lặp lại:

1 epoch = (N/batch size) = (1,000 / 50) = 20 iterations

Xem Hồi quy tuyến tính: Siêu tham số trong Khoá học nhanh về máy học để biết thêm thông tin.

chính sách tham lam epsilon

Trong học tăng cường, chính sách tuân theo chính sách ngẫu nhiên với xác suất epsilon hoặc chính sách tham lam nếu không. Ví dụ: nếu epsilon là 0.9, thì chính sách tuân theo một chính sách ngẫu nhiên 90% thời gian và tham lam 10% thời gian chính sách.

Qua các tập liên tiếp, thuật toán sẽ giảm giá trị epsilon theo thứ tự chuyển từ việc tuân theo một chính sách ngẫu nhiên sang tuân theo một chính sách tham lam. Theo thay đổi chính sách, trước tiên tác nhân sẽ khám phá ngẫu nhiên môi trường và rồi tham lam khai thác các kết quả khám phá ngẫu nhiên.

bình đẳng về cơ hội

Chỉ số về tính công bằng để đánh giá xem một mô hình có dự đoán kết quả mong muốn như nhau cho tất cả giá trị của thuộc tính nhạy cảm. Nói cách khác, nếu kết quả mong muốn cho một mô hình là nhóm dương, mục tiêu là có tỷ lệ dương thực sự như nhau cho tất cả các nhóm.

Cơ hội bình đẳng liên quan đến tỷ lệ cân bằng, trong đó yêu cầu cả tỷ lệ dương tính thực và tỷ lệ dương tính giả đều giống nhau đối với tất cả các nhóm.

Giả sử Đại học Glraffdubdrib chấp nhận cả người Lilliputian và Brobdingnagian sang một chương trình toán nghiêm ngặt. Trường trung học của người Lilliput cung cấp một chương trình học vững chắc về các lớp học toán và phần lớn học sinh đều đủ điều kiện tham gia chương trình đại học. Các trường trung học của người Brobdingnag không hề cung cấp lớp học toán, do đó, rất ít học sinh đủ điều kiện. Cơ hội bình đẳng được đáp ứng đối với nhãn ưu tiên "được nhận" liên quan đến quốc tịch (Lilliputian hoặc Brobdingnagian) nếu học viên đủ tiêu chuẩn có khả năng được nhận như nhau, bất kể họ là Lilliputian hay Brobdingnagian.

Ví dụ: giả sử 100 người Lilliput và 100 người Brobdingnag đăng ký vào Đại học Glubbdubdrib và quyết định nhận sinh viên được đưa ra như sau:

Bảng 1. Người đăng ký Lilliputian (90% đủ điều kiện)

Bảng 2. Người đăng ký Brobdingnagian (10% đủ điều kiện):

Các ví dụ trước đáp ứng cơ hội bình đẳng để chấp nhận sinh viên đủ điều kiện vì cả người Lilliputian và Brobdingnagian đủ điều kiện đều có 50% cơ hội được nhận vào trường.

Mặc dù đáp ứng được tiêu chí bình đẳng về cơ hội, nhưng hai chỉ số công bằng sau đây lại không đáp ứng được:

• điểm tương đồng về nhân khẩu học: người Lilliputian và Người dân Brobya được nhận vào trường đại học theo các tỷ lệ khác nhau; 48% sinh viên Lilliputian được nhận, nhưng chỉ có 14% Nhận học sinh viên Brobdingnagian.
• tỷ lệ cược bằng: Mặc dù người Lilliputian đủ tiêu chuẩn cả sinh viên và sinh viên Brobdingnagian đều có cơ hội được nhận như nhau, quy tắc ràng buộc bổ sung khiến các Lilliputian và Cả hai người Brazil đều có khả năng bị từ chối như nhau? hài lòng. Những người Lilliputian không đủ điều kiện có tỷ lệ bị từ chối là 70%, trong khi những người Brobdingnag không đủ điều kiện có tỷ lệ bị từ chối là 90%.

Hãy xem phần Tính công bằng: Bình đẳng về cơ hội trong khoá học cấp tốc về học máy để biết thêm thông tin.

tỷ lệ cá cược bị cân bằng

Một chỉ số công bằng để đánh giá xem một mô hình có dự đoán kết quả tốt như nhau cho tất cả các giá trị của một thuộc tính nhạy cảm đối với cả lớp tích cực và lớp tiêu cực hay không, chứ không chỉ một lớp hay lớp kia. Nói cách khác, cả tỷ lệ dương tính thực sự và tỷ lệ âm tính giả phải giống nhau đối với tất cả các nhóm.

Tỷ lệ cân bằng có liên quan đến bình đẳng về cơ hội, chỉ tập trung vào tỷ lệ lỗi của một lớp (dương hoặc âm).

Ví dụ: giả sử Đại học Glubbdubdrib nhận cả người Lilliput và người Brobdingnag vào một chương trình toán học nghiêm ngặt. Trường trung học của người Lilliput cung cấp một chương trình học mạnh mẽ về các lớp học toán và phần lớn học viên đều đủ điều kiện tham gia chương trình đại học. Các trường trung học của Brobdingnag không hề cung cấp các lớp học toán, do đó, rất ít học sinh đủ điều kiện. Tỷ lệ chênh lệch được thoả mãn miễn là không quan trọng là người đăng ký là người Lilliputian hay người Brobdingnagian, nếu họ đều đủ điều kiện, họ đều có khả năng được nhận vào chương trình đồng đều, và nếu không đủ tiêu chuẩn, thì khả năng bị từ chối của họ cũng bằng nhau.

Giả sử 100 Lilliputian và 100 Broddingnagian áp dụng cho Glraffdubdrib Các quyết định về việc nhập học và đại học được đưa ra như sau:

Bảng 3. Ứng viên người Lilliput (90% là đủ điều kiện)

Bảng 4. Ứng viên Bỉ (10% đủ điều kiện):

Điều kiện về tỷ lệ bằng nhau được đáp ứng vì cả học viên Lilliputian và Brobdingnagian đủ điều kiện đều có 50% cơ hội được nhận vào trường, còn học viên Lilliputian và Brobdingnagian không đủ điều kiện đều có 80% cơ hội bị từ chối.

Tỷ lệ cá cược bằng nhau được xác định chính thức trong "Bằng Cơ hội trong chế độ Học có giám sát" như sau: "trình dự đoán khía đáp ứng tỷ lệ chênh lệch tương đương đối với thuộc tính A được bảo vệ và kết quả Y nếu khía và A là độc lập, có điều kiện đối với Y."

Estimator

API TensorFlow không dùng nữa. Thay vào đó, hãy sử dụng tf.keras Công cụ ước tính.

evals

Chủ yếu dùng làm từ viết tắt của các hoạt động đánh giá LLM. Nói rộng hơn, evals là cách viết tắt của mọi dạng đánh giá.

đánh giá

Quy trình đo lường chất lượng của một mô hình hoặc so sánh các mô hình với nhau.

Cách đánh giá công nghệ học máy có giám sát bạn thường đánh giá dựa trên tập hợp xác thực và một tập kiểm thử. Đánh giá một mô hình ngôn ngữ lớn (LLM) thường bao gồm quy trình đánh giá rộng hơn về chất lượng và an toàn.

ví dụ

Giá trị của một hàng tính năng và có thể là một nhãn. Các ví dụ về học có giám sát thuộc hai danh mục chung:

• Ví dụ được gắn nhãn bao gồm một hoặc nhiều đặc điểm và một nhãn. Các ví dụ được gắn nhãn được dùng trong quá trình huấn luyện.
• Một ví dụ chưa được gắn nhãn bao gồm một hoặc nhiều tính năng hơn nhưng không có nhãn. Các ví dụ không được gắn nhãn sẽ được sử dụng trong quá trình suy luận.

Ví dụ: giả sử bạn đang huấn luyện một mô hình để xác định mức độ ảnh hưởng của điều kiện thời tiết đến điểm kiểm tra của học sinh. Dưới đây là 3 ví dụ được gắn nhãn:

Dưới đây là ba ví dụ chưa gắn nhãn:

Hàng của một dataset thường là nguồn thô để lấy ví dụ. Tức là một ví dụ thường bao gồm một tập hợp con các cột trong tập dữ liệu. Hơn nữa, các tính năng trong ví dụ cũng có thể bao gồm các tính năng tổng hợp, chẳng hạn như các điểm giao nhau của tính năng.

Xem phần Học tập có giám sát trong khoá học Giới thiệu về công nghệ học máy để biết thêm thông tin.

phát lại trải nghiệm

Trong học tăng cường, kỹ thuật DQN dùng để giảm mối tương quan về thời gian trong dữ liệu huấn luyện. Tác nhân lưu trữ các chuyển đổi trạng thái trong vùng đệm phát lại, sau đó chuyển đổi mẫu từ vùng đệm phát lại để tạo dữ liệu huấn luyện.

thiên kiến của người nghiên cứu

Hãy xem phần xu hướng xác nhận.

bài toán độ dốc bùng nổ

Xu hướng độ dốc ở mạng nơron sâu (đặc biệt là mạng nơron lặp lại) trở thành dốc (cao) một cách đáng ngạc nhiên. Độ dốc dốc thường gây ra các bản cập nhật rất lớn đối với trọng số của mỗi nút trong một mạng nơron sâu.

Các mô hình gặp phải vấn đề độ dốc bùng nổ trở nên khó khăn hoặc không thể huấn luyện. Tính năng Cắt màu chuyển tiếp có thể giảm thiểu vấn đề này.

So sánh với vấn đề về độ dốc biến mất.

F

F₁

Chỉ số phân loại nhị phân "cuộn lên" dựa vào cả độ chính xác và tỷ lệ thu hồi. Sau đây là công thức:

Ví dụ như sau:

• precision = 0.6
• recall = 0,4

Khi độ chính xác và độ hồi quy khá giống nhau (như trong ví dụ trước), F₁ sẽ gần với giá trị trung bình của chúng. Khi độ chính xác và độ thu hồi khác nhau đáng kể, F₁ gần với giá trị thấp hơn. Ví dụ:

• độ chính xác = 0,9
• recall = 0,1

quy tắc ràng buộc về sự công bằng

• Sau xử lý đầu ra của mô hình.
• Thay đổi hàm tổn thất để đưa vào một hình phạt khi vi phạm chỉ số công bằng.
• Thêm trực tiếp một điều kiện ràng buộc toán học vào một bài toán tối ưu hoá.

chỉ số về tính công bằng

Định nghĩa toán học về "sự công bằng" có thể đo lường được. Sau đây là một số chỉ số thường dùng về tính công bằng:

• tỷ lệ cược bằng nhau
• tính năng so khớp dự đoán
• tính công bằng giả định
• bình đẳng về nhân khẩu học

Có nhiều chỉ số về sự công bằng loại trừ lẫn nhau; xem tính không tương thích của các chỉ số về tính công bằng.

âm tính giả (FN)

Một ví dụ trong đó mô hình dự đoán nhầm lớp phủ định. Ví dụ: mô hình dự đoán rằng một email cụ thể không phải là spam (lớp phủ định), nhưng email đó thực sự là thư rác.

tỷ lệ âm tính giả

Tỷ lệ các ví dụ thực tế dương tính với mô hình bị nhầm lẫn đã dự đoán là lớp phủ định. Công thức sau đây tính giá trị sai tỷ lệ âm:

Hãy xem phần Ngưỡng và ma trận nhiễu trong khoá học Học máy ứng dụng để biết thêm thông tin.

dương tính giả (FP)

Ví dụ về trường hợp mô hình dự đoán nhầm lớp dương tính. Ví dụ: mô hình dự đoán một email cụ thể là thư rác (lớp dương tính), nhưng email đó thực sự không phải là thư rác.

Hãy xem phần Ngưỡng và ma trận nhiễu trong khoá học Học máy ứng dụng để biết thêm thông tin.

tỷ lệ dương tính giả (FPR)

Tỷ lệ các ví dụ phủ định thực tế mà mô hình gặp phải đã dự đoán nhóm có giá trị dương. Công thức sau đây tính tỷ lệ dương tính giả:

Tỷ lệ dương tính giả là trục x trong đường cong ROC.

Hãy xem phần Phân loại: ROC và AUC trong Khoá học học máy ứng dụng để biết thêm thông tin.

đối tượng

Biến đầu vào cho mô hình học máy. Ví dụ bao gồm một hoặc nhiều tính năng. Ví dụ: giả sử bạn đang huấn luyện một mô hình để xác định ảnh hưởng của điều kiện thời tiết đến điểm số của học viên. Bảng sau đây cho thấy 3 ví dụ, mỗi ví dụ chứa 3 tính năng và 1 nhãn:

Tương phản với nhãn.

Hãy xem phần Học có giám sát trong khoá học Giới thiệu về học máy để biết thêm thông tin.

nhân chéo tính chất

Một tính năng tổng hợp hình thành bằng cách "kết hợp" Các tính năng phân loại hoặc phân loại.

Ví dụ: cân nhắc "dự báo tâm trạng" mô hình biểu thị nhiệt độ bằng một trong bốn nhóm sau:

• freezing
• chilly
• temperate
• warm

Và biểu thị tốc độ gió ở một trong ba nhóm sau:

• still
• light
• windy

Nếu không có giao nhau của các đặc điểm, mô hình tuyến tính sẽ huấn luyện độc lập trên từng nhóm trong số 7 nhóm trước đó. Vì vậy, mô hình sẽ huấn luyện trên, chẳng hạn như freezing độc lập với quá trình huấn luyện về, chẳng hạn như windy.

Ngoài ra, bạn có thể tạo một giao điểm đặc điểm của nhiệt độ và tốc độ gió. Tính năng tổng hợp này sẽ có 12 khả năng sau giá trị:

• freezing-still
• freezing-light
• freezing-windy
• chilly-still
• chilly-light
• chilly-windy
• temperate-still
• temperate-light
• temperate-windy
• warm-still
• warm-light
• warm-windy

Nhờ có các hình chữ thập, mô hình có thể học được điểm khác biệt về tâm trạng trong khoảng từ freezing-windy ngày đến freezing-still ngày.

Nếu bạn tạo một tính năng tổng hợp từ hai tính năng, mỗi tính năng có nhiều nhóm khác nhau, thì phép lai tính năng thu được sẽ có rất nhiều tổ hợp có thể xảy ra. Ví dụ: nếu một đối tượng có 1.000 nhóm và tính năng khác có 2.000 bộ chứa, kết quả tính năng chéo có 2.000.000 .

Về mặt chính thức, chữ thập là một Sản phẩm của Cartesian.

Tính năng chéo chủ yếu được dùng với các mô hình tuyến tính và hiếm khi được dùng với mạng nơron.

Hãy xem phần Dữ liệu dạng danh mục: Giá trị chéo của tính năng trong khoá học Học máy ứng dụng để biết thêm thông tin.

kỹ thuật trích xuất tính chất

Một quy trình bao gồm các bước sau:

1. Xác định tính năng nào có thể hữu ích trong việc huấn luyện một mô hình.
2. Chuyển đổi dữ liệu thô từ tập dữ liệu thành các phiên bản hiệu quả của các tính năng đó.

Ví dụ: bạn có thể xác định rằng temperature có thể là một tính năng hữu ích. Sau đó, bạn có thể thử nghiệm với cách phân nhóm để tối ưu hoá những gì mô hình có thể học từ các phạm vi temperature khác nhau.

Kỹ thuật tính năng đôi khi được gọi là trích xuất tính năng hoặc kết hợp.

Xem Dữ liệu số: Cách mô hình nhập dữ liệu bằng tính năng vectơ trong Khoá học nhanh về máy học để biết thêm thông tin.

trích xuất tính năng

Thuật ngữ nạp chồng có một trong các định nghĩa sau:

• Truy xuất các biểu diễn tính năng trung gian được tính toán bởi mô hình không được giám sát hoặc mô hình huấn luyện trước (ví dụ: các giá trị lớp ẩn trong một mạng nơron) để sử dụng trong một mô hình khác làm dữ liệu đầu vào.
• Đồng nghĩa với kỹ thuật trích xuất tính năng.

mức độ quan trọng của tính năng

Đồng nghĩa với tầm quan trọng của biến.

tập hợp tính năng

Nhóm tính năng mà mô hình học máy của bạn huấn luyện. Ví dụ: mã bưu chính, quy mô tài sản và tình trạng của tài sản có thể bao gồm một bộ tính năng đơn giản cho một mô hình dự đoán giá nhà ở.

thông số kỹ thuật của tính năng

Mô tả thông tin cần thiết để trích xuất dữ liệu tính năng từ vùng đệm giao thức tf.Example. Vì Vùng đệm giao thức tf.Example chỉ là một vùng chứa dữ liệu, bạn phải chỉ định như sau:

• Dữ liệu cần trích xuất (tức là khoá cho các tính năng)
• Loại dữ liệu (ví dụ: float hoặc int)
• Độ dài (cố định hoặc thay đổi)

vectơ đối tượng

Mảng các giá trị feature bao gồm ví dụ. Vectơ đặc điểm được nhập trong quá trình huấn luyện và trong quá trình suy luận. Ví dụ: vectơ đặc trưng của một mô hình có hai đối tượng riêng biệt có thể là:

[0.92, 0.56]

Mỗi ví dụ cung cấp các giá trị khác nhau cho vectơ đặc điểm, vì vậy, vectơ đặc điểm cho ví dụ tiếp theo có thể là:

[0.73, 0.49]

Kỹ thuật xử lý đặc điểm xác định cách biểu thị các đặc điểm trong vectơ đặc điểm. Ví dụ: một đối tượng phân loại nhị phân có có thể được biểu thị bằng mã hoá một nóng. Trong trường hợp này, phần của vectơ đặc điểm cho một ví dụ cụ thể sẽ bao gồm 4 số 0 và một số 1.0 ở vị trí thứ ba, như sau:

[0.0, 0.0, 1.0, 0.0, 0.0]

Ví dụ khác: giả sử mô hình của bạn bao gồm 3 đặc điểm:

• một tính năng phân loại nhị phân có năm giá trị có thể có được biểu thị bằng mã hoá một nóng; ví dụ: [0.0, 1.0, 0.0, 0.0, 0.0]
• một tính năng phân loại nhị phân khác có ba giá trị có thể có được biểu thị với mã hoá một nóng; ví dụ: [0.0, 0.0, 1.0]
• đối tượng dấu phẩy động; ví dụ: 8.3.

Trong trường hợp này, vectơ đặc trưng của từng ví dụ sẽ được biểu diễn theo 9 giá trị. Với các giá trị mẫu trong danh sách trên, giá trị vectơ đối tượng sẽ là:

0.0
1.0
0.0
0.0
0.0
0.0
0.0
1.0
8.3

Hãy xem phần Dữ liệu số: Cách mô hình nhập dữ liệu bằng vectơ tính năng trong khoá học Học nhanh về học máy để biết thêm thông tin.

tính năng hoá

Quá trình trích xuất các đặc điểm từ một nguồn đầu vào, chẳng hạn như tài liệu hoặc video, và ánh xạ các đặc điểm đó vào một vectơ đặc điểm.

Một số chuyên gia học máy coi việc liên kết là từ đồng nghĩa với kỹ thuật trích xuất tính chất hoặc trích xuất tính năng.

học liên kết

Phương pháp tiếp cận học máy phân tán giúp huấn luyện các mô hình học máy sử dụng mô hình phi tập trung ví dụ trên thiết bị, chẳng hạn như điện thoại thông minh. Trong công nghệ học liên kết, một nhóm nhỏ thiết bị sẽ tải mô hình hiện tại xuống từ một máy chủ điều phối trung tâm. Thiết bị sử dụng các ví dụ đã lưu trữ trên các thiết bị để cải thiện mô hình. Sau đó, các thiết bị tải lên cải tiến mô hình (chứ không phải các ví dụ huấn luyện) cho quy trình điều phối máy chủ của bạn, nơi chúng được tổng hợp với các bản cập nhật khác để mang lại mô hình toàn cầu. Sau khi tổng hợp, các bản cập nhật mô hình do thiết bị tính toán sẽ không còn cần thiết và có thể bị loại bỏ.

Vì các ví dụ huấn luyện không bao giờ được tải lên, nên phương pháp học liên kết sẽ tuân theo nguyên tắc bảo vệ quyền riêng tư liên quan đến việc thu thập dữ liệu tập trung và giảm tối đa việc thu thập dữ liệu.

Để biết thêm thông tin về phương pháp học liên kết, hãy xem hướng dẫn này.

vòng hồi tiếp

Trong học máy, một tình huống mà dự đoán của mô hình ảnh hưởng đến dữ liệu huấn luyện cho cùng một mô hình hoặc một mô hình khác. Ví dụ: một mô hình đề xuất phim sẽ ảnh hưởng đến những bộ phim mà mọi người xem, từ đó ảnh hưởng đến các mô hình đề xuất phim tiếp theo.

Hãy xem phần Hệ thống ML thương mại: Câu hỏi cần đặt trong khoá học cấp tốc về học máy để biết thêm thông tin.

mạng nơron truyền dẫn về trước (FFN)

Mạng nơron không có kết nối tuần hoàn hoặc đệ quy. Ví dụ: mạng nơron sâu truyền thống là mạng nơron hồi tiếp. Tương phản với thần kinh tái phát có tính tuần hoàn.

học từ một vài dữ liệu

Một phương pháp học máy, thường được dùng để phân loại đối tượng, được thiết kế để huấn luyện các thuật toán phân loại hiệu quả chỉ từ một số ít ví dụ huấn luyện.

Xem thêm về học một lần và học không có ví dụ.

nhắc một vài thông tin

Một lệnh gọi chứa nhiều ví dụ ("một vài") minh hoạ cách mô hình ngôn ngữ lớn phản hồi. Ví dụ: câu lệnh dài sau đây chứa hai ví dụ cho thấy một mô hình ngôn ngữ lớn cách trả lời truy vấn.

Việc nhắc ít liên quan thường mang lại kết quả mong muốn hơn so với nhắc nhở hoạt động không cố định và Nhắc một lần. Tuy nhiên, việc nhắc vài lần cần một câu lệnh dài hơn.

Đặt câu lệnh dựa trên một vài ví dụ là một hình thức học từ một vài dữ liệu áp dụng cho học dựa trên câu lệnh.

Hãy xem phần Kỹ thuật câu lệnh trong khoá học Học máy ứng dụng để biết thêm thông tin.

Đàn vĩ cầm

Một thư viện cấu hình ưu tiên Python sẽ đặt giá trị giá trị của các hàm và lớp không có mã hoặc cơ sở hạ tầng xâm phạm. Trong trường hợp của Pax và các cơ sở mã học máy khác, các hàm và lớp này đại diện cho mô hình và thông số siêu tham số đào tạo.

Fiddle giả định rằng cơ sở mã học máy thường được chia thành:

• Mã thư viện xác định các lớp và trình tối ưu hoá.
• Mã "keo" của tập dữ liệu, gọi các thư viện và kết nối mọi thứ với nhau.

Fiddle ghi lại cấu trúc lệnh gọi của mã kết nối trong một thuộc tính chưa được đánh giá và dạng có thể thay đổi.

tinh chỉnh

Một lượt huấn luyện thứ hai, dành riêng cho từng nhiệm vụ được thực hiện trên mô hình huấn luyện trước để tinh chỉnh các tham số cho trường hợp sử dụng cụ thể. Ví dụ: trình tự đào tạo đầy đủ cho một số mô hình ngôn ngữ lớn như sau:

1. Huấn luyện trước: Đào tạo một mô hình ngôn ngữ lớn trên một tập dữ liệu tổng quát rộng lớn, chẳng hạn như tất cả các trang Wikipedia bằng tiếng Anh.
2. Điều chỉnh: Đào tạo mô hình đã huấn luyện trước để thực hiện một thao tác cụ thể, chẳng hạn như trả lời các câu hỏi về y tế. Việc tinh chỉnh thường liên quan đến hàng trăm hoặc hàng nghìn ví dụ tập trung vào một nhiệm vụ cụ thể.

Một ví dụ khác, trình tự huấn luyện đầy đủ cho mô hình hình ảnh lớn là sau:

1. Huấn luyện trước: Đào tạo một mô hình hình ảnh lớn trên một hình ảnh chung rộng lớn chẳng hạn như tất cả hình ảnh trong Wikimedia commons.
2. Điều chỉnh chi tiết: Huấn luyện mô hình đã huấn luyện trước để thực hiện một nhiệm vụ cụ thể, chẳng hạn như tạo hình ảnh cá voi sát thủ.

Việc tinh chỉnh có thể bao gồm bất kỳ tổ hợp nào trong số các chiến lược sau:

• Sửa đổi tất cả mô hình hiện có của mô hình huấn luyện trước tham số. Đôi khi, quá trình này được gọi là điều chỉnh chi tiết đầy đủ.
• Chỉ sửa đổi một số tham số hiện có của mô hình được huấn luyện trước (thường là các lớp gần nhất với lớp đầu ra), trong khi giữ nguyên các tham số hiện có khác (thường là các lớp gần nhất với lớp đầu vào). Xem điều chỉnh hiệu quả về tham số.
• Thêm các lớp khác, thường là trên các lớp hiện có gần nhất với lớp đầu ra.

Điều chỉnh chi tiết là một hình thức học chuyển đổi. Như vậy, quá trình tinh chỉnh có thể sử dụng một hàm mất mát khác hoặc một mô hình khác khác với các loại được dùng để huấn luyện mô hình luyện sẵn. Ví dụ: bạn có thể tinh chỉnh mô hình hình ảnh lớn được huấn luyện trước để tạo ra một mô hình hồi quy trả về số lượng chim trong hình ảnh đầu vào.

So sánh và đối chiếu tính năng tinh chỉnh với các thuật ngữ sau:

• chưng cất
• học dựa trên câu lệnh

Hãy xem phần Chỉnh sửa chi tiết trong Khoá học học máy ứng dụng để biết thêm thông tin.

Flax

Một thư viện nguồn mở hiệu suất cao dành cho việc học sâu, được xây dựng dựa trên JAX. Lanh cung cấp các hàm để đào tạo mạng nơron, cũng như làm phương pháp đánh giá hiệu suất.

Vải lanh

Thư viện Transformer nguồn mở, được xây dựng trên Flax, chủ yếu được thiết kế để xử lý ngôn ngữ tự nhiên và nghiên cứu đa phương thức.

quên cổng

Một phần của Bộ nhớ ngắn hạn dài ô điều chỉnh luồng thông tin qua ô. Cổng quên duy trì ngữ cảnh bằng cách quyết định loại bỏ thông tin nào khỏi trạng thái của ô.

softmax đầy đủ

Từ đồng nghĩa với softmax.

Ngược lại với tính năng lấy mẫu đề xuất.

Hãy xem phần Mạng nơron: Phân loại nhiều lớp trong khoá học cấp tốc về học máy để biết thêm thông tin.

tầng liên kết đầy đủ

Lớp ẩn, trong đó mỗi nút được kết nối với mọi nút trong lớp ẩn tiếp theo.

Lớp liên thông đầy đủ còn được gọi là lớp dày đặc.

biến đổi hàm

Một hàm nhận một hàm làm dữ liệu đầu vào và trả về một hàm đã biến đổi đầu ra. JAX sử dụng các phép biến đổi hàm.

G

GAN

Từ viết tắt của đối nghịch tạo sinh mạng.

tổng quát hoá

Khả năng của mô hình trong việc đưa ra dự đoán chính xác về dữ liệu mới, chưa từng thấy trước đây. Một mô hình có thể tổng quát hoá thì ngược lại của một mô hình quá phù hợp.

Xem phần Tổng quát trong Khoá học nhanh về máy học để biết thêm thông tin.

Gemini

Hệ sinh thái này gồm công nghệ AI tiên tiến nhất của Google. Các thành phần của hệ sinh thái này bao gồm:

• Nhiều mô hình Gemini.
• Giao diện trò chuyện tương tác cho một mô hình Gemini. Người dùng nhập câu lệnh và Gemini sẽ trả lời các câu lệnh đó.
• Nhiều API Gemini.
• Nhiều sản phẩm dành cho doanh nghiệp dựa trên các mô hình Gemini; ví dụ: Gemini cho Google Cloud.

Mô hình Gemini

Các mô hình đa phương thức dựa trên Transformer tiên tiến của Google. Các mô hình Gemini đặc biệt được thiết kế để tích hợp với các tác nhân.

Người dùng có thể tương tác với các mô hình Gemini theo nhiều cách, bao gồm cả thông qua giao diện hộp thoại tương tác và thông qua SDK.

đường cong tổng quát hoá

Biểu đồ của cả mất mát trong quá trình huấn luyện và mất mát trong quá trình xác thực dưới dạng hàm của số lặp lại.

Đường cong tổng quát hoá có thể giúp bạn phát hiện trường hợp thừa khớp. Ví dụ: đường cong tổng quát sau đây cho thấy tình trạng phù hợp quá mức vì tổn thất xác thực cuối cùng sẽ cao hơn đáng kể so với tổn thất huấn luyện.

Xem phần Tổng quát trong Khoá học nhanh về máy học để biết thêm thông tin.

mô hình tuyến tính tổng quát

Tổng quát hoá các mô hình biện pháp hồi quy bình phương nhỏ nhất dựa trên nhiễu Gaussian cho các loại mô hình khác dựa trên các loại nhiễu khác, chẳng hạn như nhiễu Poisson hoặc nhiễu phân loại. Sau đây là một số ví dụ về mô hình tuyến tính tổng quát:

• hồi quy logistic
• hồi quy đa lớp
• hồi quy bình phương tối thiểu

Bạn có thể tìm thấy các tham số của mô hình tuyến tính tổng quát thông qua tối ưu hoá mặt đồng hồ.

Mô hình tuyến tính tổng quát thể hiện các thuộc tính sau:

• Giá trị dự đoán trung bình của mô hình hồi quy bình phương tối thiểu bằng với nhãn trung bình trên dữ liệu huấn luyện.
• Xác suất trung bình được dự đoán bằng hồi quy logistic tối ưu bằng nhãn trung bình trên dữ liệu huấn luyện.

Sức mạnh của mô hình tuyến tính tổng quát bị giới hạn bởi các tính năng của mô hình. Bỏ thích một mô hình sâu, một mô hình tuyến tính tổng quát hoá thì không thể "tìm hiểu các tính năng mới".

mạng đối nghịch tạo sinh (GAN)

Một hệ thống tạo dữ liệu mới trong đó trình tạo tạo ra và bộ phân biệt xác định liệu điều đó dữ liệu đã tạo là hợp lệ hay không hợp lệ.

Xem khoá học về Mạng đối nghịch tạo sinh để biết thêm thông tin.

AI tạo sinh

Một lĩnh vực chuyển đổi mới nổi không có định nghĩa chính thức. Tuy nhiên, hầu hết các chuyên gia đều đồng ý rằng các mô hình AI tạo sinh có thể tạo ("tạo") nội dung đáp ứng tất cả các yêu cầu sau:

• phức tạp
• nhất quán
• gốc

Ví dụ: một mô hình AI tạo sinh có thể tạo các bài luận hoặc hình ảnh phức tạp.

Một số công nghệ cũ, bao gồm LSTMs và RNN, cũng có thể tạo tệp gốc và nội dung mạch lạc. Một số chuyên gia xem những công nghệ trước đây này là AI tạo sinh, trong khi những người khác lại cho rằng AI tạo sinh thực sự đòi hỏi đầu ra phức tạp hơn so với những công nghệ trước đó có thể tạo ra.

Trái ngược với máy học dự đoán.

mô hình tạo sinh

Trên thực tế, một mô hình thực hiện một trong những việc sau:

• Tạo (tạo) ví dụ mới từ tập dữ liệu huấn luyện. Ví dụ: một mô hình tạo sinh có thể sáng tác nên thơ sau khi huấn luyện trên một tập hợp thơ. Máy phát điện trong một mạng đối kháng tạo sinh thuộc danh mục này.
• Xác định xác suất một ví dụ mới đến từ tập huấn luyện hoặc được tạo từ cùng một cơ chế đã tạo tập huấn luyện. Ví dụ: sau khi huấn luyện trên một tập dữ liệu bao gồm các câu tiếng Anh, mô hình tạo sinh có thể xác định xác suất đầu vào mới là một câu tiếng Anh hợp lệ.

Về lý thuyết, mô hình tạo sinh có thể phân biệt được việc phân phối các ví dụ hoặc các đặc điểm cụ thể trong một tập dữ liệu. Đó là:

p(examples)

Các mô hình học tập không giám sát là mô hình tạo sinh.

Trái ngược với các mô hình phân biệt.

trình tạo

Hệ thống con trong vấn đề đối nghịch tạo sinh mạng lưới để tạo các ví dụ mới.

Trái ngược với mô hình phân biệt.

tạp chất gini

Một chỉ số tương tự như entropy. Bộ chia đôi sử dụng các giá trị thu được từ độ không tinh khiết gini hoặc entropy để kết hợp điều kiện để phân loại cây quyết định. Mức nhận thông tin bắt nguồn từ entropy. Không có thuật ngữ tương đương được chấp nhận trên toàn cầu cho chỉ số bắt nguồn từ tạp chất gini; tuy nhiên, chỉ số chưa đặt tên này cũng quan trọng như kiếm được thông tin.

Độ không tinh khiết của Gini còn được gọi là chỉ số Gini hoặc đơn giản là Gini.

tập dữ liệu vàng

Một tập hợp dữ liệu được tuyển chọn thủ công, ghi lại sự thật cơ bản. Các nhóm có thể sử dụng một hoặc nhiều tập dữ liệu vàng để đánh giá chất lượng của một mô hình.

Một số tập dữ liệu quan trọng thu thập được nhiều miền con của thông tin thực tế. Ví dụ: tập dữ liệu vàng để phân loại hình ảnh có thể chụp được các điều kiện ánh sáng và độ phân giải hình ảnh.

GPT (Biến đổi tạo sinh được huấn luyện trước)

Một nhóm mô hình ngôn ngữ lớn dựa trên Transformer do OpenAI phát triển.

Các biến thể GPT có thể áp dụng cho nhiều phương thức, bao gồm:

• tạo hình ảnh (ví dụ: ImageGPT)
• tạo văn bản thành hình ảnh (ví dụ: DALL-E).

chuyển màu

Vectơ của đạo hàm từng phần đối với tất cả các biến độc lập. Trong học máy, độ dốc là vectơ của các đạo hàm riêng của hàm mô hình. Các điểm chuyển màu theo hướng đi lên dốc nhất.

tích luỹ độ dốc

Kỹ thuật truyền ngược cập nhật tham số chỉ một lần cho mỗi thời gian bắt đầu của hệ thống thay vì một lần cho mỗi lặp lại. Sau khi xử lý từng lô nhỏ, việc tích luỹ độ dốc chỉ cần cập nhật tổng số độ dốc đang chạy. Sau đó, sau khi xử lý lô nhỏ cuối cùng trong epoch, hệ thống cuối cùng sẽ cập nhật các tham số dựa trên tổng tất cả các thay đổi về độ dốc.

Tính năng tích luỹ chuyển màu rất hữu ích khi kích thước lô là rất lớn so với dung lượng bộ nhớ trống để huấn luyện. Khi bộ nhớ là vấn đề, xu hướng tự nhiên là giảm kích thước lô. Tuy nhiên, việc giảm kích thước lô trong quá trình truyền ngược thông thường sẽ làm tăng số lần cập nhật thông số. Tính năng tích luỹ độ dốc cho phép mô hình tránh các vấn đề về bộ nhớ nhưng vẫn huấn luyện hiệu quả.

Cây tăng độ dốc (quyết định) (GBT)

Một loại rừng quyết định trong đó:

• Chương trình huấn luyện dựa vào tăng độ dốc.
• Mô hình yếu là cây quyết định.

Hãy xem phần Cây quyết định tăng cường theo độ dốc trong khoá học về Cây quyết định để biết thêm thông tin.

tăng độ dốc

Một thuật toán huấn luyện trong đó các mô hình yếu được huấn luyện lặp lại cải thiện chất lượng (giảm tổn thất) của mô hình mạnh. Ví dụ: một mô hình yếu có thể là mô hình cây quyết định tuyến tính hoặc nhỏ. Mô hình mạnh sẽ trở thành tổng hợp của tất cả mô hình yếu được huấn luyện trước đó.

Trong hình thức tăng độ dốc đơn giản nhất, ở mỗi lần lặp lại, một mô hình yếu được huấn luyện để dự đoán độ dốc của tổn thất trong mô hình mạnh. Sau đó, kết quả của mô hình mạnh được cập nhật bằng cách trừ độ dốc dự đoán, tương tự như độ dốc giảm.

trong đó:

• $F_{0}$ là mô hình khởi đầu mạnh mẽ.
• $F_{i+1}$ là mô hình mạnh mẽ tiếp theo.
• $F_{i}$ là mô hình mạnh hiện tại.
• $\xi$ là một giá trị nằm trong khoảng từ 0.0 đến 1.0 có tên là rút gọn, tương tự như tỷ lệ học ở giảm độ dốc.
• $f_{i}$ là mô hình yếu được huấn luyện để dự đoán độ dốc tổn thất của $F_{i}$.

Các biến thể hiện đại của tăng độ dốc cũng bao gồm đạo hàm thứ hai (Hessian) về tổn thất trong tính toán.

Cây quyết định thường được dùng làm mô hình yếu trong tăng độ dốc. Xem cây tăng cường độ dốc (quyết định).

cắt hiệu ứng chuyển màu

Một cơ chế thường dùng để giảm thiểu vấn đề tăng dần bằng cách giới hạn (cắt) giá trị tối đa của độ dốc một cách nhân tạo khi sử dụng lệch độ dốc để huấn luyện một mô hình.

phương pháp giảm độ dốc

Một kỹ thuật toán học để giảm thiểu mất mát. Phương pháp hạ dần theo độ dốc sẽ điều chỉnh lặp lại trọng số và độ lệch, dần dần tìm ra tổ hợp tốt nhất để giảm thiểu tổn thất.

Quá trình gốc chuyển màu cũ hơn – lâu đời hơn nhiều – so với công nghệ học máy.

Xem Hồi quy tuyến tính: Độ dốc descent trong Khoá học nhanh về máy học để biết thêm thông tin.

đồ thị

Trong TensorFlow, một thông số kỹ thuật tính toán. Các nút trong biểu đồ biểu thị hoạt động. Các cạnh được định hướng và tượng trưng cho việc truyền kết quả của một toán tử (Tensor) dưới dạng toán hạng sang toán tử khác. Sử dụng TensorBoard để trực quan hoá biểu đồ.

thực thi biểu đồ

Một môi trường lập trình TensorFlow mà trong đó chương trình sẽ xây dựng chương trình đầu tiên một biểu đồ rồi thực thi toàn bộ hoặc một phần của biểu đồ đó. Biểu đồ thực thi là chế độ thực thi mặc định trong TensorFlow 1.x.

Trái ngược với kiểu thực thi mong muốn.

chính sách tham lam

Trong học tăng cường, chính sách luôn chọn có lợi tức dự kiến cao nhất.

thông tin thực tế

Thực tế.

Điều thực sự đã xảy ra.

Ví dụ: hãy xem xét một mô hình phân loại nhị phân dự đoán liệu một sinh viên năm nhất đại học có tốt nghiệp trong vòng 6 năm hay không. Giá trị thực tế cho mô hình này là liệu học viên đó có thực sự tốt nghiệp trong vòng 6 năm hay không.

thiên vị quy cho nhóm

Giả sử rằng điều đúng với một cá nhân cũng đúng với mọi người trong nhóm đó. Tác động của thiên kiến phân bổ nhóm có thể trở nên trầm trọng hơn nếu lấy mẫu tiện lợi được dùng để thu thập dữ liệu. Trong một mẫu không đại diện, các thuộc tính có thể được tạo không phản ánh thực tế.

Xem thêm thiên vị đồng nhất khác nhóm và thiên vị đồng nhất trong nhóm. Ngoài ra, hãy xem phần Tính công bằng: Các loại thiên kiến trong Khoá học học máy ứng dụng để biết thêm thông tin.

Số lần bị đánh trúng bóng

ảo giác

Việc tạo ra kết quả có vẻ hợp lý nhưng không chính xác về mặt thực tế bằng mô hình AI tạo sinh, mô hình này có ý định đưa ra một câu nhận định về thế giới thực. Ví dụ: một mô hình AI tạo sinh tuyên bố rằng Barack Obama đã chết vào năm 1865 là ảo tưởng.

băm

Trong học máy, một cơ chế để nhóm dữ liệu dạng danh mục, đặc biệt là khi số lượng danh mục lớn nhưng số lượng danh mục thực sự xuất hiện trong tập dữ liệu lại tương đối nhỏ.

Ví dụ như Trái Đất là nhà của khoảng 73.000 loài cây. Bạn có thể đại diện cho mỗi trong số 73.000 loài cây trong 73.000 phân loại riêng biệt . Ngoài ra, nếu chỉ có 200 trong số các loài cây đó thực sự xuất hiện trong một tập dữ liệu, thì bạn có thể sử dụng hàm băm để chia các loài cây thành khoảng 500 nhóm.

Một bộ chứa có thể chứa nhiều loài cây. Ví dụ: băm có thể đặt baobab và phong đỏ—hai không giống nhau về gen loài—vào cùng một nhóm. Mặc dù vậy, băm vẫn là một cách hay để ánh xạ các tập hợp phân loại lớn vào số nhóm đã chọn. Thao tác băm biến một tính năng phân loại có một số lượng lớn các giá trị có thể có vào số lượng giá trị nhỏ hơn bằng cách nhóm các giá trị trong một theo thuật toán tất định.

Xem Dữ liệu danh mục: Từ vựng và một nội dung phổ biến mã hoá trong Khoá học nhanh về máy học để biết thêm thông tin.

phương pháp phỏng đoán

Một giải pháp đơn giản và nhanh chóng được triển khai cho một vấn đề. Ví dụ: "Với phương pháp suy nghiệm, chúng tôi đã đạt được độ chính xác 86%. Khi chúng tôi chuyển sang mạng nơron sâu, độ chính xác lên đến 98%".

lớp ẩn

Một lớp trong mạng nơron giữa lớp đầu vào (các đặc điểm) và lớp đầu ra (dự đoán). Mỗi lớp ẩn bao gồm một hoặc nhiều nơ-ron. Ví dụ: mạng nơron sau đây chứa hai lớp ẩn, lớp đầu tiên có 3 tế bào thần kinh và lớp thứ hai có 2 tế bào thần kinh:

Mạng nơron sâu chứa nhiều lớp ẩn. Ví dụ: hình minh hoạ trước là một mạng nơron sâu vì mô hình chứa hai lớp ẩn.

Hãy xem phần Mạng nơron: Nút và lớp ẩn trong khoá học cấp tốc về máy học để biết thêm thông tin.

phân cụm phân cấp

Danh mục thuật toán cụm tạo ra một cây cụm. Tính năng phân cụm phân cấp rất phù hợp với dữ liệu phân cấp, chẳng hạn như các hệ thống phân loại thực vật. Có hai loại phân cấp các thuật toán phân cụm:

• Trước tiên, tính năng phân cụm tổng hợp sẽ chỉ định mỗi ví dụ cho cụm riêng của mình, và liên tục hợp nhất các cụm gần nhất để tạo hệ phân cấp cây xanh.
• Trước tiên, kỹ thuật phân cụm phân chia sẽ nhóm tất cả các ví dụ vào một cụm, sau đó lặp lại việc chia cụm đó thành một cây phân cấp.

Tương phản với thuật toán phân cụm dựa trên tâm điểm.

Hãy xem phần Thuật toán phân cụm trong khoá học Phân cụm để biết thêm thông tin.

tổn thất khớp nối

Một nhóm hàm mất mát để phân loại được thiết kế để tìm ranh giới quyết định càng xa càng tốt từ mỗi ví dụ huấn luyện, do đó tối đa hoá khoảng cách giữa các ví dụ và ranh giới. KSVM sử dụng tổn thất bản lề (hoặc một hàm có liên quan, chẳng hạn như tổn thất bản lề bình phương). Đối với việc phân loại nhị phân, hàm tổn thất bản lề được xác định như sau:

trong đó y là nhãn thực, -1 hoặc +1 và y' là đầu ra thô của mô hình phân loại:

Do đó, biểu đồ về tổn thất bản lề so với (y * y') sẽ có dạng như sau:

thiên kiến trước đây

Một loại thiên kiến đã tồn tại trong thế giới thực và đã xâm nhập vào một tập dữ liệu. Những thành kiến này có xu hướng phản ánh các định kiến văn hoá, sự bất bình đẳng về nhân khẩu học và định kiến đối với một số nhóm xã hội nhất định.

Ví dụ: hãy xem xét một mô hình phân loại dự đoán liệu người đăng ký vay có trả nợ trước hạn hay không. Mô hình này được huấn luyện dựa trên dữ liệu trả nợ trước hạn trước đây từ những năm 1980 của các ngân hàng địa phương ở hai cộng đồng khác nhau. Nếu trước đây, những người đăng ký từ Cộng đồng A có khả năng vỡ nợ gấp 6 lần so với những người đăng ký từ Cộng đồng B, thì mô hình có thể học được một sự thiên vị trong quá khứ, dẫn đến việc mô hình ít có khả năng phê duyệt khoản vay ở Cộng đồng A, ngay cả khi các điều kiện trong quá khứ dẫn đến tỷ lệ vỡ nợ cao hơn của cộng đồng đó không còn phù hợp nữa.

Hãy xem phần Tính công bằng: Các loại thiên kiến trong khoá học cấp tốc về học máy để biết thêm thông tin.

dữ liệu không huấn luyện

Ví dụ được cố ý không sử dụng ("để riêng") trong quá trình huấn luyện. Tập dữ liệu xác thực và tập dữ liệu kiểm thử là ví dụ về dữ liệu giữ lại. Dữ liệu giữ lại giúp đánh giá khả năng tổng quát hoá của mô hình đối với dữ liệu khác với dữ liệu mà mô hình được huấn luyện. Mất mát trên tập dữ liệu giữ lại cung cấp thông tin ước tính tốt hơn về tổn thất trên tập dữ liệu chưa thấy so với tổn thất trên tập dữ liệu huấn luyện.

người tổ chức

Khi huấn luyện mô hình học máy trên chip tăng tốc (GPU hoặc TPU), phần hệ thống sẽ kiểm soát cả hai yếu tố sau:

• Luồng tổng thể của mã.
• Trích xuất và biến đổi quy trình đầu vào.

Máy chủ lưu trữ thường chạy trên CPU chứ không phải trên chip tăng tốc; thiết bị sẽ thao tác với tensor trên chip tăng tốc.

siêu tham số

Các biến mà bạn hoặc dịch vụ điều chỉnh tham số siêu dữ liệu điều chỉnh trong các lần chạy liên tiếp để huấn luyện mô hình. Ví dụ: tốc độ học là một tham số siêu dữ liệu. Bạn có thể hãy đặt tốc độ học là 0,01 trước một buổi đào tạo. Nếu bạn Nếu xác định rằng 0,01 là quá cao, bạn có thể thiết lập điểm là 0,003 cho lần huấn luyện tiếp theo.

Ngược lại, tham số là các loại khác nhau trọng số và độ lệch mà mô hình đó học được trong quá trình đào tạo.

Hãy xem phần Phương pháp hồi quy tuyến tính: Thông số siêu dữ liệu trong khoá học cấp tốc về học máy để biết thêm thông tin.

siêu mặt phẳng

Ranh giới phân tách không gian thành hai không gian con. Ví dụ: một đường kẻ là một siêu mặt phẳng có hai chiều và mặt phẳng là siêu mặt phẳng không gian ba chiều. Thông thường trong công nghệ học máy, siêu mặt phẳng là ranh giới phân tách một không gian chiều cao. Sử dụng máy vectơ hỗ trợ kernel siêu mặt phẳng để phân tách lớp dương khỏi lớp phủ định, thường theo tỷ lệ không gian chiều cao.

I

i.i.d.

Từ viết tắt của cụm từ phân phối độc lập và giống hệt.

nhận dạng hình ảnh

Một quy trình phân loại (các) đối tượng, (các) mẫu hoặc (các) khái niệm trong một hình ảnh. Nhận dạng hình ảnh còn được gọi là phân loại hình ảnh.

Để biết thêm thông tin, hãy xem Thực hành học máy: Phân loại hình ảnh.

Hãy xem khoá học Thực hành về học máy: Phân loại hình ảnh để biết thêm thông tin.

tập dữ liệu không cân bằng

Từ đồng nghĩa với tập dữ liệu không cân bằng về lớp.

thiên kiến ngầm

Tự động liên kết hoặc giả định dựa trên các mô hình và ký ức của tâm trí. Thành kiến ngầm có thể ảnh hưởng đến những vấn đề sau:

• Cách thu thập và phân loại dữ liệu.
• Cách thiết kế và phát triển hệ thống học máy.

Ví dụ: khi xây dựng một thuật toán phân loại để xác định ảnh cưới, kỹ sư có thể sử dụng trang phục trắng trong ảnh làm tính năng. Tuy nhiên, váy trắng chỉ là trang phục truyền thống trong một số thời đại và ở một số nền văn hóa nhất định.

Xem thêm về thiên kiến xác nhận.

giá trị nội suy

Biểu thức viết tắt của phương pháp nội suy giá trị.

không tương thích các chỉ số về tính công bằng

Quan điểm cho rằng một số khái niệm về sự công bằng không tương thích với nhau và không thể được đáp ứng cùng một lúc. Do đó, không có một chỉ số chung nào có thể đo lường được tính công bằng và áp dụng cho mọi vấn đề về học máy.

Mặc dù điều này có vẻ gây nản lòng, nhưng việc các chỉ số về tính công bằng không tương thích với nhau không có nghĩa là những nỗ lực nhằm đảm bảo tính công bằng là vô ích. Thay vào đó, công cụ này đề xuất rằng tính công bằng phải được định nghĩa theo ngữ cảnh cho một vấn đề máy học nhất định, với mục tiêu ngăn chặn các mối nguy hại cụ thể đối với các trường hợp sử dụng của công cụ đó.

Hãy xem phần "Về khả năng (không) công bằng" để thảo luận chi tiết hơn về chủ đề này.

học tập theo bối cảnh

Từ đồng nghĩa với câu lệnh dựa trên một vài ví dụ.

được phân phối độc lập và đồng nhất (i.i.d)

Dữ liệu được lấy từ một phân phối không thay đổi và mỗi giá trị được vẽ không phụ thuộc vào các giá trị đã được vẽ trước đó. I.i.d. là khí lý tưởng của học máy – một cấu trúc toán học hữu ích nhưng hầu như không bao giờ tìm thấy chính xác trong thế giới thực. Ví dụ: phân phối khách truy cập vào một trang web có thể là i.i.d. trong một khoảng thời gian ngắn; tức là phân phối không trong khoảng thời gian ngắn đó và lượt ghé thăm của một người thường độc lập với lượt truy cập của người khác. Tuy nhiên, nếu bạn mở rộng khoảng thời gian đó, về số lượng khách truy cập trang web.

Hãy xem thêm về vấn đề tình trạng không ổn định.

sự công bằng cá nhân

Một chỉ số công bằng giúp kiểm tra xem liệu các cá nhân tương tự có được phân loại tương tự hay không. Ví dụ: Học viện Brobdingnagian có thể muốn đáp ứng tính công bằng cá nhân bằng cách đảm bảo rằng hai học viên có điểm giống hệt nhau và điểm kiểm tra chuẩn hoá có khả năng được nhận vào học như nhau.

Xin lưu ý rằng sự công bằng cá nhân hoàn toàn phụ thuộc vào cách bạn xác định "sự tương đồng" (trong trường hợp này là điểm số và điểm kiểm tra) và bạn có thể gặp rủi ro về đưa ra các vấn đề mới về sự công bằng nếu chỉ số mức độ tương đồng của bạn không đáp ứng các tiêu chí quan trọng thông tin (chẳng hạn như mức độ nghiêm ngặt trong chương trình học của học viên).

Xem phần "Sự công bằng thông qua Mức độ nhận biết" để thảo luận chi tiết hơn về sự công bằng của từng cá nhân.

suy luận

Trong học máy, quá trình đưa ra dự đoán bằng cách áp dụng mô hình đã huấn luyện cho các ví dụ chưa được gắn nhãn.

Suy luận có ý nghĩa hơi khác trong thống kê. Xem Bài viết trên Wikipedia về suy luận thống kê để biết thông tin chi tiết.

Hãy xem phần Học có giám sát trong khoá học Giới thiệu về học máy để biết vai trò của suy luận trong hệ thống học có giám sát.

đường dẫn suy luận

Trong cây quyết định, trong quá trình xét suy, tuyến đường mà một ví dụ cụ thể đi từ gốc đến các điều kiện khác, kết thúc bằng một lá. Ví dụ: trong cây quyết định sau đây, mũi tên dày hơn hiển thị đường dẫn suy luận cho một ví dụ như sau các giá trị tính năng:

• x = 7
• y = 12
• z = -3

Lộ trình suy luận trong hình minh hoạ sau đây đi qua ba điều kiện trước khi tiếp cận lá (Zeta).

Ba mũi tên dày cho thấy đường dẫn suy luận.

Hãy xem phần Cây quyết định trong khoá học Rừng quyết định để biết thêm thông tin.

mức tăng thông tin

Trong rừng quyết định, chênh lệch giữa entropy của một nút và tổng trọng số (theo số lượng ví dụ) của entropy của các nút con. Entropy của một nút là entropy các ví dụ trong nút đó.

Ví dụ: hãy xem xét các giá trị entropy sau:

• entropy của nút mẹ = 0,6
• entropy của một nút con với 16 ví dụ có liên quan = 0,2
• entropy của nút con khác với 24 ví dụ có liên quan = 0,1

Vì vậy, 40% ví dụ nằm trong một nút con và 60% nằm trong nút con khác. Vì thế:

• tổng entropy có trọng số của các nút con = (0,4 * 0,2) + (0,6 * 0,1) = 0,14

Vì vậy, thông tin nhận được là:

• thông tin thu được = entropy của nút mẹ – tổng entropy có trọng số của các nút con
• độ nhận thông tin = 0,6 - 0,14 = 0,46

Hầu hết trình phân tách đều tìm cách tạo điều kiện giúp tăng tối đa lượng thông tin thu được.

thiên vị cùng nhóm

Thể hiện sự thiên vị với một nhóm người hoặc đặc điểm riêng. Nếu người kiểm thử hoặc người đánh giá bao gồm bạn bè, gia đình hoặc đồng nghiệp của nhà phát triển học máy, thì sự thiên vị trong nhóm có thể làm mất hiệu lực của quy trình kiểm thử sản phẩm hoặc tập dữ liệu.

Thiên vị trong nhóm là một hình thức thiên vị phân bổ nhóm. Xem thêm thiên vị đồng nhất của nhóm bên ngoài.

Hãy xem phần Tính công bằng: Các loại thiên kiến trong Khoá học cấp tốc về học máy để biết thêm thông tin.

trình tạo đầu vào

Cơ chế mà dữ liệu được tải vào mạng nơron.

Bạn có thể coi trình tạo dữ liệu đầu vào là một thành phần chịu trách nhiệm xử lý dữ liệu thô thành các tensor được lặp lại để tạo các lô cho việc huấn luyện, đánh giá và suy luận.

lớp đầu vào

Lớp của mạng nơron chứa vectơ đối tượng. Tức là lớp đầu vào cung cấp ví dụ để huấn luyện hoặc xác định. Ví dụ: lớp đầu vào trong mạng nơron sau đây bao gồm hai đặc điểm:

điều kiện đặt sẵn

Trong cây quyết định, điều kiện kiểm tra sự hiện diện của một mục trong một tập hợp các mục. Ví dụ: sau đây là một điều kiện trong tập hợp:

  house-style in [tudor, colonial, cape]

Trong quá trình suy luận, nếu giá trị của tính năng kiểu nhà là tudor hoặc colonial hoặc cape, thì điều kiện này sẽ đánh giá là Có. Nếu giá trị của tính năng kiểu nhà là một giá trị khác (ví dụ: ranch), thì điều kiện này sẽ đánh giá là Không.

Các điều kiện được đặt sẵn thường dẫn đến cây quyết định hiệu quả hơn so với để kiểm tra các tính năng được mã hoá một nóng.

bản sao

Từ đồng nghĩa với ví dụ.

điều chỉnh hướng dẫn

Một hình thức điều chỉnh tinh vi giúp cải thiện khả năng làm theo hướng dẫn của mô hình AI tạo sinh. Điều chỉnh hướng dẫn bao gồm việc huấn luyện một mô hình trên một chuỗi các câu lệnh hướng dẫn, thường đề cập đến nhiều công việc khác nhau. Sau đó, mô hình điều chỉnh hướng dẫn thu được có xu hướng tạo ra câu trả lời hữu ích cho các câu lệnh cơ bản để thực hiện nhiều công việc.

So sánh và đối chiếu với:

• điều chỉnh hiệu quả về tham số
• điều chỉnh lời nhắc

mức độ diễn giải

Khả năng giải thích hoặc trình bày lập luận của mô hình học máy trong những cụm từ dễ hiểu đối với con người.

Ví dụ: hầu hết các mô hình biến hồi quy tuyến tính đều có thể diễn giải được. (Bạn chỉ cần xem trọng số đã huấn luyện cho mỗi feature.) Rừng quyết định cũng dễ diễn giải cao. Tuy nhiên, một số mô hình yêu cầu hình ảnh trực quan phức tạp để có thể diễn giải.

Bạn có thể sử dụng Công cụ diễn giải học tập (LIT) để diễn giải các mô hình học máy.

mức độ đồng thuận giữa các người đánh giá

Một chỉ số đo lường về tần suất mà nhân viên đánh giá đồng ý khi thực hiện một công việc. Nếu người đánh giá không đồng ý, hướng dẫn về nhiệm vụ có thể cần được cải thiện. Đôi khi, loại ký tự này còn được gọi là Thoả thuận giữa người chú thích hoặc độ tin cậy liên quan đến đánh giá. Xem thêm về kappa của Cohen, một trong những phép đo độ đồng thuận giữa các người đánh giá phổ biến nhất.

Xem phần Dữ liệu danh mục: Phổ biến vấn đề trong Khoá học nhanh về máy học để biết thêm thông tin.

giao điểm trên liên kết (IoU)

Giao của hai tập hợp chia cho hợp của chúng. Trong các nhiệm vụ phát hiện hình ảnh bằng máy học, IoU được dùng để đo lường độ chính xác của hộp giới hạn dự đoán của mô hình so với hộp giới hạn đầu ra thực sự. Trong trường hợp này, IoU cho hai hộp là tỷ lệ giữa diện tích trùng lặp và tổng diện tích, và giá trị của nó nằm trong khoảng từ 0 (không có sự trùng lặp giữa hộp giới hạn dự đoán và hộp giới hạn thực tế) đến 1 (hộp giới hạn dự đoán và hộp giới hạn thực tế có cùng toạ độ).

Ví dụ: trong hình ảnh dưới đây:

• Hộp giới hạn dự đoán (tọa độ phân định vị trí mô hình) dự đoán chiếc bàn ban đêm trong bức tranh nằm) có viền ngoài màu tím.
• Hộp giới hạn thực tế trên mặt đất (tọa độ phân định nơi ban đêm trong bức tranh thực sự nằm) được vẽ đường viền màu xanh lục.

Ở đây, giao của các hộp giới hạn cho kết quả dự đoán và giá trị thực tế (dưới bên trái) là 1 và hợp của các hộp giới hạn cho kết quả dự đoán và giá trị thực tế (dưới bên phải) là 7, do đó, IoU là \(\frac{1}{7}\).

IoU

Từ viết tắt của giao lộ đối với đường hợp.

ma trận mặt hàng

Trong hệ thống đề xuất, một ma trận vectơ nhúng được tạo bằng phân tích nhân ma trận chứa các tín hiệu tiềm ẩn về từng mục. Mỗi hàng của ma trận mặt hàng chứa giá trị của một đặc điểm tiềm ẩn duy nhất cho tất cả các mặt hàng. Ví dụ: hãy cân nhắc sử dụng hệ thống đề xuất phim. Mỗi cột trong ma trận mục đại diện cho một bộ phim. Tín hiệu tiềm ẩn có thể đại diện cho thể loại hoặc có thể khó hiểu hơn tín hiệu liên quan đến hoạt động tương tác phức tạp giữa các thể loại, ngôi sao tuổi của phim hoặc các yếu tố khác.

Ma trận mục có cùng số cột với ma trận mục tiêu đang được phân tích. Ví dụ: giả sử hệ thống đề xuất phim đánh giá 10.000 bộ phim, thì ma trận mục sẽ có 10.000 cột.

mục

Trong hệ thống đề xuất, các thực thể mà hệ thống đề xuất. Ví dụ: video là các mặt hàng mà cửa hàng video đề xuất, còn sách là các mặt hàng mà hiệu sách đề xuất.

lặp lại

Một lần cập nhật tham số của mô hình – trọng số và sai số của mô hình – trong quá trình huấn luyện. Kích thước lô xác định số lượng ví dụ mà mô hình xử lý trong một lần lặp. Ví dụ: nếu kích thước lô là 20, thì mô hình sẽ xử lý 20 ví dụ trước khi điều chỉnh các tham số.

Khi huấn luyện mạng nơron, một lần lặp lại bao gồm hai lần truyền sau:

1. Một lượt chuyển tiếp để đánh giá tổn thất trong một lô.
2. Truyền lùi (backpropagation) để điều chỉnh dựa trên mức tổn thất và tốc độ học.

J

JAX

Một thư viện điện toán mảng (array), tập hợp XLA (Đại số tuyến tính nhanh) và tính năng phân biệt tự động để tính toán số hiệu suất cao. JAX cung cấp một API đơn giản và mạnh mẽ để viết mã số học tăng tốc bằng các phép biến đổi có thể kết hợp. JAX cung cấp các tính năng như:

• grad (tự động phân biệt)
• jit (biên dịch đúng thời điểm)
• vmap (tự động vectơ hoá hoặc tạo lô)
• pmap (tiến trình song song)

JAX là ngôn ngữ thể hiện và soạn các phép biến đổi số mã tương tự nhưng có phạm vi lớn hơn nhiều so với NumPy của Python thư viện của bạn. (Thực tế, thư viện .numpy trong JAX là một phiên bản tương đương về chức năng nhưng được viết lại hoàn toàn của thư viện NumPy trong Python.)

JAX đặc biệt phù hợp để tăng tốc nhiều tác vụ học máy bằng cách chuyển đổi các mô hình và dữ liệu thành một dạng phù hợp với tính song song trên GPU và chip tăng tốc TPU.

Flax, Optax, Pax và nhiều công cụ khác thư viện được xây dựng trên cơ sở hạ tầng JAX.

nghìn

Keras

Một API học máy Python phổ biến. Keras chạy trên một số khung học sâu, bao gồm cả TensorFlow, trong đó Keras được cung cấp dưới dạng tf.keras.

Máy vectơ hỗ trợ hạt nhân (KSVM)

Một thuật toán phân loại tìm cách tối đa hoá khoảng cách giữa lớp dương và lớp âm bằng cách ánh xạ các vectơ dữ liệu đầu vào đến một không gian có kích thước cao hơn. Ví dụ: hãy xem xét một cách phân loại bài tập trong đó tập dữ liệu đầu vào có hàng trăm tính năng. Để tối đa hoá khoảng cách giữa các lớp dương và lớp phủ định, KSVM có thể ánh xạ nội bộ những tính năng đó vào một triệu chiều. KSVM sử dụng một hàm mất được gọi là mất bản lề.

điểm chính

Toạ độ của các đặc điểm cụ thể trong một hình ảnh. Ví dụ: đối với mô hình nhận dạng hình ảnh giúp phân biệt các loài hoa, các điểm chính có thể là tâm của mỗi cánh hoa, thân cây, nhị hoa, v.v.

Xác thực chéo k-nhóm

Thuật toán dự đoán khả năng của mô hình tổng quát hoá thành dữ liệu mới. k trong k-fold đề cập đến số lượng nhóm bằng nhau mà bạn chia ví dụ của một tập dữ liệu; tức là bạn đào tạo và kiểm thử mô hình của bạn k lần. Đối với mỗi vòng huấn luyện và kiểm thử, một nhóm khác nhau sẽ là tập kiểm thử và tất cả các nhóm còn lại sẽ trở thành tập huấn luyện. Sau k vòng huấn luyện và kiểm thử, bạn tính được giá trị trung bình và độ lệch chuẩn của(các) chỉ số kiểm tra đã chọn.

Ví dụ: giả sử tập dữ liệu của bạn bao gồm 120 ví dụ. Giả sử thêm, bạn quyết định đặt k thành 4. Do đó, sau khi trộn các ví dụ, bạn chia tập dữ liệu thành 4 nhóm bằng nhau, mỗi nhóm gồm 30 ví dụ và tiến hành 4 nhóm. vòng đào tạo và kiểm thử:

Ví dụ: Sai số bình phương trung bình (MSE) có thể là chỉ số có ý nghĩa nhất cho mô hình hồi quy tuyến tính. Do đó, bạn sẽ tìm thấy giá trị trung bình và độ lệch chuẩn của MSE trên cả 4 vòng.

k trung bình

Thuật toán nhóm phổ biến giúp nhóm các ví dụ trong học tập không có giám sát. Về cơ bản, thuật toán k-means thực hiện những việc sau:

• Xác định bằng cách lặp lại k điểm tâm tốt nhất (đã biết làm centroids).
• Chỉ định mỗi ví dụ cho trọng tâm gần nhất. Các ví dụ gần nhất cùng một trọng tâm lại thuộc cùng một nhóm.

Thuật toán k-means chọn các vị trí trọng tâm để giảm thiểu dữ liệu tích luỹ bình phương của khoảng cách từ mỗi ví dụ đến trọng tâm gần nhất.

Ví dụ: hãy xem biểu đồ sau đây lấy chiều cao của chó so với chiều rộng của chó:

Nếu k=3, thuật toán k-means sẽ xác định được 3 tâm. Từng ví dụ được gán cho trọng tâm gần nhất, thu được ba nhóm:

Hãy tưởng tượng rằng một nhà sản xuất muốn xác định kích thước lý tưởng cho các sản phẩm áo len cỡ vừa và lớn cho chó. Ba trọng tâm xác định giá trị trung bình chiều cao và chiều rộng trung bình của mỗi chú chó trong cụm đó. Vì vậy, nhà sản xuất bạn nên đặt kích thước áo len dựa trên ba trọng tâm đó. Lưu ý rằng tâm của một cụm thường không phải là một ví dụ trong cụm đó.

Các hình minh hoạ trước đó cho thấy k-mean cho những ví dụ chỉ có hai đối tượng (chiều cao và chiều rộng). Xin lưu ý rằng k-means có thể nhóm các ví dụ trên nhiều tính năng.

k trung vị

Thuật toán phân cụm có liên quan chặt chẽ đến k-means. Sự khác biệt thực tế giữa hai loại này như sau:

• Trong k-means, các tâm điểm được xác định bằng cách giảm thiểu tổng bình phương của khoảng cách giữa một tâm điểm đề xuất và từng ví dụ của tâm điểm đó.
• Trong k-median, các tâm điểm được xác định bằng cách giảm thiểu tổng khoảng cách giữa một tâm điểm đề xuất và mỗi ví dụ của tâm điểm đó.

Xin lưu ý rằng các định nghĩa về khoảng cách cũng khác nhau:

• K-means dựa trên khoảng cách Euclide từ tâm điểm đến một ví dụ. (Trong hai chiều, phương diện Euclide khoảng cách nghĩa là sử dụng định lý Pythagore để tính cạnh huyền.) Ví dụ: k-có nghĩa là khoảng cách giữa (2,2) và (5,-2) sẽ là:

• K-median dựa trên khoảng cách Manhattan từ tâm điểm đến một ví dụ. Khoảng cách này là tổng delta tuyệt đối trong mỗi phương diện. Ví dụ: k-median khoảng cách giữa (2,2) và (5,-2) sẽ là:

L

Điều hoà L₀

Một loại thông tin chính quy phạt tổng số trọng số khác 0 trong một mô hình. Ví dụ: một mô hình có 11 trọng số khác 0 sẽ bị phạt nhiều hơn một mô hình tương tự có 10 trọng số khác 0.

Đôi khi, quy trình điều hoà L₀ được gọi là quy trình điều hoà theo chuẩn L0.

Mất L₁

hàm giảm tính giá trị tuyệt đối sự khác biệt giữa giá trị nhãn thực tế và các giá trị mà một mô hình dự đoán. Ví dụ: đây là tính toán tổn thất L₁ cho một gói là năm ví dụ:

Mất mát L₁ ít nhạy cảm với điểm ngoại lai hơn mất mát L₂.

Lỗi tuyệt đối trung bình là giá trị trung bình Mỗi ví dụ về mức giảm ₁.

Điều chỉnh L₁

Một loại chính quy phạt trọng số tương ứng với tổng giá trị tuyệt đối của các trọng số. Phương pháp chuẩn hoá L₁ giúp tăng trọng số của các đặc điểm không liên quan hoặc gần như không liên quan lên chính xác là 0. Một tính năng có trọng số 0 sẽ bị xoá khỏi mô hình một cách hiệu quả.

Trái ngược với quy tắc điều chỉnh L₂.

Giảm L₂

hàm mất tính bình phương sự khác biệt giữa giá trị nhãn thực tế và các giá trị mà một mô hình dự đoán. Ví dụ: sau đây là cách tính toán tổn thất L₂ cho một lô gồm 5 ví dụ:

Do việc bình phương, tổn thất L₂ làm tăng ảnh hưởng của các điểm ngoại lai. Tức là tổn thất L₂ phản ứng mạnh mẽ hơn với các dự đoán không chính xác so với Mất L₁. Ví dụ: tổn thất L₁ cho lô trước đó sẽ là 8 thay vì 16. Lưu ý rằng một ngoại lệ chiếm 9 trên 16.

Các mô hình hồi quy thường sử dụng hàm tổn thất L₂ làm hàm tổn thất.

Sai số bình phương trung bình là tổn thất trung bình L₂ trên mỗi ví dụ. Mất bình phương là một tên khác của tổn thất L₂.

Điều hoà L₂

Một loại quy tắc chuẩn hoá phạt trọng số theo tỷ lệ với tổng hình vuông của các trọng số. Việc điều chỉnh L₂ giúp tăng trọng số giá trị ngoại lai (những có giá trị âm cao hoặc âm thấp) gần 0 nhưng không hoàn toàn đến 0. Các tính năng có giá trị rất gần với 0 vẫn còn trong mô hình nhưng không ảnh hưởng nhiều đến kết quả dự đoán của mô hình.

Quy trình chuẩn hoá L₂ luôn cải thiện khả năng khái quát hoá trong mô hình tuyến tính.

Tương phản với quy trình điều hoà L₁.

nhãn

Trong công nghệ học máy có giám sát, "trả lời" hoặc "kết quả" của một ví dụ.

Mỗi ví dụ được gắn nhãn bao gồm một hoặc nhiều tính năng và một nhãn. Ví dụ: trong thư rác tập dữ liệu phát hiện, nhãn có thể là "thư rác" hoặc "không phải là thư rác". Trong một tập dữ liệu lượng mưa, nhãn này có thể là số lượng mưa đã giảm trong một khoảng thời gian nhất định.

ví dụ có gắn nhãn

Ví dụ chứa một hoặc nhiều tính năng và một nhãn. Ví dụ: bảng sau hiển thị ba các ví dụ có gắn nhãn từ mô hình định giá nhà, mỗi mô hình có ba tính năng và một nhãn:

Trong công nghệ học máy có giám sát, sẽ huấn luyện dựa trên các ví dụ được gắn nhãn và đưa ra dự đoán về các ví dụ chưa được gắn nhãn.

Tương phản ví dụ được gắn nhãn với các ví dụ chưa gắn nhãn.

rò rỉ nhãn

Lỗi thiết kế mô hình trong đó tính năng là proxy cho nhãn. Ví dụ: hãy xem xét mô hình phân loại nhị phân để dự đoán liệu khách hàng tiềm năng có mua một sản phẩm cụ thể hay không. Giả sử một trong các tính năng của mô hình là Boolean có tên SpokeToCustomerAgent. Giả sử thêm rằng nhân viên hỗ trợ khách hàng chỉ được chỉ định sau khi khách hàng tiềm năng thực sự mua sản phẩm. Trong quá trình huấn luyện, mô hình sẽ nhanh chóng tìm hiểu mối liên kết giữa SpokeToCustomerAgent và nhãn.

hàm lambda

Đồng nghĩa với hệ số điều hoà.

Lambda là một thuật ngữ quá tải. Ở đây, chúng ta sẽ tập trung vào định nghĩa của thuật ngữ này trong quá trình điều chỉnh.

LaMDA (Mô hình ngôn ngữ cho ứng dụng hội thoại)

Dựa trên Transformer mô hình ngôn ngữ lớn do Google phát triển đã được đào tạo về một tập dữ liệu hội thoại lớn có thể tạo ra các câu trả lời trò chuyện chân thực.

LaMDA: công nghệ đàm thoại đột phá của chúng tôi cung cấp thông tin tổng quan.

địa danh

Từ đồng nghĩa với keypoints.

mô hình ngôn ngữ

Mô hình ước tính xác suất của một mã thông báo hoặc chuỗi mã thông báo xảy ra theo một chuỗi mã thông báo dài hơn.

mô hình ngôn ngữ lớn

Ở mức tối thiểu, một mô hình ngôn ngữ có số lượng về tham số. Nói một cách không chính thức, mọi mô hình ngôn ngữ dựa trên Transformer, chẳng hạn như Gemini hoặc GPT.

không gian tiềm ẩn

Từ đồng nghĩa với không gian nhúng.

lớp

Một tập hợp nơ-ron trong một mạng nơron. Sau đây là 3 loại lớp phổ biến:

• Lớp đầu vào cung cấp giá trị cho tất cả các tính năng.
• Một hoặc nhiều lớp ẩn giúp tìm thấy mối quan hệ phi tuyến tính giữa đối tượng và nhãn.
• Lớp đầu ra cung cấp thông tin dự đoán.

Ví dụ: hình minh hoạ sau đây cho thấy một mạng nơron có một lớp đầu vào, hai lớp ẩn và một lớp đầu ra:

Trong TensorFlow, lớp cũng là các hàm Python lấy Tensor và các tuỳ chọn cấu hình làm dữ liệu đầu vào và tạo ra các tensor khác làm dữ liệu đầu ra.

Layers API (tf.layers)

API TensorFlow để tạo một mạng nơron sâu dưới dạng một thành phần của các lớp. Layers API cho phép bạn tạo nhiều loại lớp, chẳng hạn như:

• tf.layers.Dense cho lớp được kết nối đầy đủ.
• tf.layers.Conv2D cho lớp tích chập.

Layers API tuân theo các quy ước API lớp Keras. Đó là, ngoài một tiền tố khác, tất cả các hàm trong API Lớp có cùng tên và chữ ký như các đối tác của họ ở Keras API Lớp bản quyền.

lá

Bất kỳ điểm cuối nào trong cây quyết định. Không giống như điều kiện, lá không thực hiện kiểm thử. Thay vào đó, một lá là một dự đoán có thể xảy ra. Một chiếc lá cũng là thiết bị đầu cuối nút của đường dẫn suy luận.

Ví dụ: Cây quyết định sau đây chứa 3 lá:

Công cụ diễn giải học tập (LIT)

Một công cụ trực quan, tương tác để hiểu mô hình và trực quan hoá dữ liệu.

Bạn có thể sử dụng mã nguồn mở LIT để diễn giải mô hình hoặc trực quan hoá văn bản, hình ảnh và dữ liệu dạng bảng.

tốc độ học

Số dấu phẩy động cho biết hiệu ứng giảm độ dốc của thuật toán xác định mức độ điều chỉnh trọng số và độ chệch của mỗi vòng lặp. Ví dụ: tốc độ học là 0, 3 sẽ điều chỉnh trọng số và độ lệch mạnh hơn gấp 3 lần so với tốc độ học 0,1.

Tốc độ học là một siêu tham số quan trọng. Nếu bạn đặt tỷ lệ học tập quá thấp, thì việc đào tạo sẽ mất quá nhiều thời gian. Nếu bạn đặt tốc độ học quá cao, phương pháp hạ gradient thường gặp sự cố khi đạt đến điểm hội tụ.

hồi quy bình phương tối thiểu

Mô hình hồi quy tuyến tính được huấn luyện bằng cách giảm thiểu tổn thất L₂.

tuyến tính

Mối quan hệ giữa hai hoặc nhiều biến có thể chỉ được biểu thị bằng cách cộng và nhân.

Biểu đồ của mối quan hệ tuyến tính là một đường.

Tương phản với phi tuyến tính.

mô hình tuyến tính

Mô hình chỉ định một trọng số cho mỗi tính năng để đưa ra dự đoán. (Mô hình tuyến tính cũng kết hợp độ lệch.) Ngược lại, mối quan hệ giữa các đặc điểm với dự đoán trong mô hình sâu thường không tuyến tính.

Mô hình tuyến tính thường dễ huấn luyện hơn và dễ giải thích hơn so với mô hình sâu. Tuy nhiên, mô hình sâu có thể tìm hiểu các mối quan hệ phức tạp giữa các tính năng.

Hồi quy tuyến tính và hồi quy logistic là hai loại mô hình tuyến tính.

y' = 7 + (-2.5)(x1) + (-1.2)(x2) + (1.4)(x3)

y' = 7 + (-2.5)(4) + (-1.2)(-10) + (1.4)(5)
y' = 16

hồi quy tuyến tính

Một loại mô hình học máy đáp ứng cả hai điều kiện sau:

• Mô hình này là một mô hình tuyến tính.
• Kết quả dự đoán là một giá trị dấu phẩy động. (Đây là phần hồi quy của hồi quy tuyến tính.)

Đối chiếu hồi quy tuyến tính với hồi quy logistic. Ngoài ra, hãy đối chiếu sự hồi quy với phân loại.

LIT

Từ viết tắt của Công cụ diễn giải học tập (LIT), mà trước đây được gọi là Công cụ diễn giải ngôn ngữ.

LLM

Từ viết tắt của mô hình ngôn ngữ lớn.

Đánh giá LLM (ví dụ: cổ phiếu giảm giá)

Một bộ chỉ số và điểm chuẩn để đánh giá hiệu suất của mô hình ngôn ngữ lớn (LLM). Nhìn chung, Hoạt động đánh giá của LLM:

• Giúp các nhà nghiên cứu xác định những khía cạnh cần cải thiện đối với LLM.
• Hữu ích trong việc so sánh các LLM khác nhau và xác định LLM tốt nhất cho một tác vụ cụ thể.
• Giúp đảm bảo rằng các LLM là an toàn và có đạo đức khi sử dụng.

hồi quy logistic

Một loại mô hình hồi quy dự đoán một xác suất. Mô hình hồi quy logistic có các đặc điểm sau đây:

• Nhãn này phân loại. Thuật ngữ logistic hồi quy thường đề cập đến hồi quy logistic nhị phân, tức là vào mô hình tính xác suất cho nhãn có hai giá trị có thể có. Một biến thể ít phổ biến hơn là bước hồi quy logistic đa thức, tính toán xác suất cho các nhãn có nhiều hơn hai giá trị có thể có.
• Hàm tổn thất trong quá trình huấn luyện là Log Loss (Tổn thất logarit). (Bạn có thể đặt nhiều đơn vị tổn thất ghi nhật ký song song cho các nhãn có nhiều hơn hai giá trị có thể có).
• Mô hình này có kiến trúc tuyến tính chứ không phải mạng nơron sâu. Tuy nhiên, phần còn lại của định nghĩa này cũng áp dụng cho các mô hình sâu dự đoán xác suất cho nhãn phân loại.

Ví dụ: hãy xem xét mô hình hồi quy logistic để tính toán xác suất email đầu vào là thư rác hoặc không phải thư rác. Trong quá trình suy luận, giả sử mô hình dự đoán là 0,72. Do đó, mô hình đang ước tính:

• Có 72% khả năng email đó là thư rác.
• 28% khả năng email không phải là thư rác.

Mô hình hồi quy logistic sử dụng cấu trúc hai bước sau đây:

1. Mô hình tạo ra một dự đoán thô (y') bằng cách áp dụng hàm tuyến tính của các tính năng đầu vào.
2. Mô hình này sử dụng dự đoán thô đó làm dữ liệu đầu vào cho một hàm sigmoid, hàm này chuyển đổi dữ liệu thô cho giá trị dự đoán nằm trong khoảng từ 0 đến 1 và không bao gồm 0 và 1.

Giống như mọi mô hình hồi quy khác, mô hình hồi quy logistic dự đoán một con số. Tuy nhiên, số này thường trở thành một phần của phân loại nhị phân mô hình như sau:

• Nếu số dự đoán lớn hơn ngưỡng phân loại, mô hình phân loại nhị phân dự đoán lớp dương.
• Nếu số dự đoán ít hơn ngưỡng phân loại, mô hình phân loại nhị phân dự đoán lớp âm.

logits

Vectơ dự đoán thô (chưa chuẩn hoá) mà mô hình phân loại tạo ra, sau đó thường được truyền đến một hàm chuẩn hoá. Nếu mô hình đang giải quyết một vấn đề phân loại nhiều lớp, thì logarit thường trở thành dữ liệu đầu vào cho hàm softmax. Sau đó, hàm softmax sẽ tạo một vectơ xác suất (được chuẩn hoá) với một giá trị cho mỗi lớp có thể có.

Mất nhật ký

Hàm mất dùng trong tệp nhị phân hồi quy logistic.

tỷ lệ chênh lệch nhật ký

Lôgarit của xác suất biến cố nào đó.

Bộ nhớ dài hạn ngắn (LSTM)

Một loại ô trong một mạng nơron tái phát dùng để xử lý trình tự dữ liệu trong các ứng dụng như nhận dạng chữ viết tay, máy bản dịch và chú thích hình ảnh. LSTM giải quyết vấn đề độ dốc biến mất xảy ra khi huấn luyện các RNN do các trình tự dữ liệu kéo dài bằng cách duy trì lịch sử trong trạng thái bộ nhớ trong dựa trên dữ liệu đầu vào và ngữ cảnh mới từ các ô trước trong RNN.

LoRA

Viết tắt của Khả năng thích ứng cấp thấp.

thua

Trong quá trình đào tạo về mô hình được giám sát, một thước đo về khoảng cách dự đoán của mô hình được lấy từ nhãn của mô hình đó.

Hàm tổn thất sẽ tính toán tổn thất.

đơn vị tổng hợp tổn thất

Loại thuật toán học máy cải thiện hiệu suất của mô hình bằng cách kết hợp dự đoán về nhiều mô hình và sử dụng những dự đoán đó để đưa ra một dự đoán duy nhất. Do đó, trình tổng hợp tổn thất có thể làm giảm độ biến thiên của các dự đoán và cải thiện độ chính xác của các dự đoán.

đường cong mức ngừng sử dụng

Biểu đồ giảm là hàm của số lượng đào tạo vòng lặp. Biểu đồ sau đây thể hiện mức tổn thất thông thường đường cong:

Đường cong tổn thất có thể giúp bạn xác định thời điểm mô hình của mình hội tụ hoặc quá thích ứng.

Đường cong tổn thất có thể biểu thị tất cả các loại tổn thất sau đây:

• mất mát trong quá trình huấn luyện
• mất tính xác thực
• mất mát thử nghiệm

Xem thêm đường cong tổng quát.

hàm mất

Trong quá trình đào tạo hoặc kiểm thử, để tính toán tổn thất trong một lô ví dụ. Hàm tổn thất trả về tổn thất thấp hơn cho các mô hình đưa ra dự đoán chính xác hơn so với các mô hình đưa ra dự đoán không chính xác.

Mục tiêu của quá trình huấn luyện thường là giảm thiểu tổn thất mà hàm tổn thất trả về.

Có nhiều loại hàm tổn thất khác nhau. Chọn mức tổn thất phù hợp cho loại mô hình mà bạn đang xây dựng. Ví dụ:

• Lỗ hổng₂ (hoặc Sai số bình phương trung bình) là hàm tổn thất cho bước hồi quy tuyến tính.
• Log Loss (Mất nhật ký) là hàm mất cho hồi quy logistic.

bề mặt tổn thất

Biểu đồ về cân nặng so với mức giảm. Mục tiêu của Xuống dốc chuyển màu để tìm trọng lượng của bề mặt giảm cân ở mức tối thiểu cục bộ.

Khả năng thích ứng ở thứ hạng thấp (LoRA)

Một kỹ thuật tiết kiệm tham số để điều chỉnh tinh vi, giúp "đóng băng" các trọng số được huấn luyện trước của mô hình (như vậy, các trọng số này không thể sửa đổi được nữa) rồi chèn một tập hợp nhỏ các trọng số có thể huấn luyện vào mô hình. Tập hợp trọng số có thể huấn luyện này (còn được gọi là dưới dạng "ma trận cập nhật") nhỏ hơn đáng kể so với mô hình cơ sở và do đó sẽ đào tạo nhanh hơn nhiều.

LoRA mang lại những lợi ích sau:

• Cải thiện chất lượng dự đoán của mô hình cho miền áp dụng tính năng tinh chỉnh.
• Điều chỉnh chi tiết nhanh hơn so với các kỹ thuật yêu cầu điều chỉnh chi tiết tất cả tham số của mô hình.
• Giảm chi phí tính toán của hoạt động xác suất bằng cách cho phép phân phát đồng thời nhiều mô hình chuyên biệt có cùng một mô hình cơ sở.

LSTM

Từ viết tắt của Bộ nhớ ngắn hạn dài.

M

học máy

Một chương trình hoặc hệ thống đào tạo model từ dữ liệu đầu vào. Mô hình đã huấn luyện có thể đưa ra dự đoán hữu ích từ dữ liệu mới (chưa từng thấy trước đây) được lấy từ cùng một phân phối như dữ liệu dùng để huấn luyện mô hình.

Học máy cũng đề cập đến lĩnh vực nghiên cứu liên quan đến các chương trình hoặc hệ thống này.

tầng lớp đa số

Nhãn phổ biến hơn trong một tập dữ liệu bất cân đối về loại. Ví dụ: Khi cho tập dữ liệu có chứa 99% nhãn âm và 1% nhãn dương, nhãn phủ định chiếm phần lớn số lượng.

Tương phản với lớp thiểu số.

Quy trình quyết định Markov (MDP)

Biểu đồ thể hiện mô hình ra quyết định, trong đó các quyết định (hoặc hành động) được đưa ra để điều hướng một chuỗi trạng thái với giả định rằng thuộc tính Markov được giữ nguyên. Trong học tăng cường, các quá trình chuyển đổi này giữa các trạng thái sẽ trả về một phần thưởng dạng số.

Thuộc tính Markov

Thuộc tính của một số môi trường nhất định, trong đó trạng thái được xác định hoàn toàn bởi thông tin ngầm ẩn trong trạng thái hiện tại và hành động của nhân viên hỗ trợ.

mô hình ngôn ngữ bị che

Mô hình ngôn ngữ dự đoán xác suất mã thông báo ứng viên để điền vào chỗ trống theo trình tự. Ví dụ: mô hình ngôn ngữ bị che có thể tính toán xác suất cho (các) từ đề xuất để thay thế dấu gạch dưới trong câu sau:

____ đội mũ đã trở lại.

Tài liệu văn học thường sử dụng chuỗi "MASK" thay vì gạch chân. Ví dụ:

"MASK" đội mũ đã quay trở lại.

Hầu hết các mô hình ngôn ngữ được che giấu hiện đại đều có hai chiều.

matplotlib

Một thư viện vẽ đồ thị 2D Python nguồn mở. matplotlib giúp bạn trực quan hoá các khía cạnh khác nhau của công nghệ học máy.

phân tích ma trận

Trong toán học, một cơ chế để tìm ma trận có tích vô hướng xấp xỉ một ma trận mục tiêu.

Trong hệ thống đề xuất, ma trận mục tiêu thường chứa điểm xếp hạng của người dùng về các mục. Ví dụ: ma trận mục tiêu cho hệ thống đề xuất phim có thể có dạng như sau, trong đó các số nguyên dương là điểm xếp hạng của người dùng và 0 có nghĩa là người dùng không xếp hạng phim:

Hệ thống đề xuất phim nhằm mục đích dự đoán điểm xếp hạng của người dùng đối với các bộ phim chưa được phân loại. Ví dụ: Người dùng 1 có thích Báo đen không?

Một phương pháp cho hệ thống đề xuất là sử dụng phép phân tích ma trận để tạo ra hai ma trận sau:

• Ma trận người dùng, có hình dạng bằng số người dùng X số lượng phương diện nhúng.
• Ma trận mục, có dạng số lượng chiều nhúng X số lượng mục.

Ví dụ: việc sử dụng phép phân tích ma trận trên 3 người dùng và 5 mặt hàng có thể tạo ra ma trận người dùng và ma trận mặt hàng sau:

User Matrix                 Item Matrix

1.1   2.3           0.9   0.2   1.4    2.0   1.2
0.6   2.0           1.7   1.2   1.2   -0.1   2.1
2.5   0.5

Sản phẩm nội tích của ma trận người dùng và ma trận mặt hàng sẽ tạo ra một ma trận đề xuất không chỉ chứa điểm xếp hạng ban đầu của người dùng mà còn chứa cả dự đoán cho những bộ phim mà mỗi người dùng chưa xem. Ví dụ: hãy xem xét điểm xếp hạng của Người dùng 1 cho Casablanca là 5.0. Dấu chấm tích tương ứng với ô đó trong ma trận đề xuất phải hy vọng vào khoảng 5.0 và đó là:

(1.1 * 0.9) + (2.3 * 1.7) = 4.9

Quan trọng hơn, Người dùng 1 có thích Báo đen không? Lấy tích vô hướng tương ứng với hàng đầu tiên và cột thứ ba sẽ cho ra điểm xếp hạng dự đoán là 4,3:

(1.1 * 1.4) + (2.3 * 1.2) = 4.3

Quá trình phân tích ma trận thường tạo ra một ma trận người dùng và một ma trận mặt hàng, cùng với nhau, chúng nhỏ gọn hơn đáng kể so với ma trận mục tiêu.

Sai số tuyệt đối trung bình (MAE)

Mức hao tổn trung bình trên mỗi ví dụ khi sử dụng mức hao tổn L₁. Tính sai số tuyệt đối trung bình như sau:

1. Tính toán tổn thất L₁ cho một lô.
2. Chia mức giảm L₁ cho số lượng ví dụ trong lô.

Ví dụ: hãy xem xét cách tính tổn thất L₁ trên lô gồm 5 ví dụ sau:

Do đó, tổn thất L₁ là 8 và số lượng ví dụ là 5. Do đó, Sai số tuyệt đối trung bình là:

Mean Absolute Error = L1 loss / Number of Examples
Mean Absolute Error = 8/5 = 1.6

So sánh Sai số tuyệt đối trung bình với Sai số bình phương trung bình và Sai số bình phương trung bình gốc.

Sai số bình phương trung bình (MSE)

Mức hao tổn trung bình trên mỗi ví dụ khi sử dụng mức hao tổn L₂. Tính Sai số bình phương trung bình như sau:

1. Tính toán tổn thất L₂ cho một lô.
2. Chia tổn thất L₂ cho số lượng ví dụ trong lô.

Ví dụ: hãy xem xét tổn thất trên lô gồm 5 ví dụ sau:

Do đó, Sai số bình phương trung bình là:

Mean Squared Error = L2 loss / Number of Examples
Mean Squared Error = 16/5 = 3.2

Lỗi bình phương trung bình là một trình tối ưu hoá huấn luyện phổ biến, đặc biệt là đối với hồi quy tuyến tính.

So sánh Sai số bình phương trung bình với Sai số tuyệt đối trung bình và Sai số trung bình bình phương căn bậc hai.

TensorFlow Playground sử dụng sai số bình phương trung bình để tính toán giá trị tổn thất.

lưới

Trong lập trình song song ML, thuật ngữ dùng để chỉ định dữ liệu và cho chip TPU và xác định cách phân đoạn hoặc sao chép các giá trị này.

Lưới là một thuật ngữ nạp chồng có thể có nghĩa là một trong những nội dung sau:

• Bố cục thực của các khối TPU.
• Một cấu trúc logic trừu tượng để liên kết dữ liệu và mô hình với các chip TPU.

Trong cả hai trường hợp, lưới sẽ được chỉ định dưới dạng hình dạng.

siêu học tập

Một tập hợp con của công nghệ học máy phát hiện hoặc cải thiện thuật toán học tập. Hệ thống học siêu dữ liệu cũng có thể hướng đến việc huấn luyện một mô hình để nhanh chóng học một nhiệm vụ mới từ một lượng nhỏ dữ liệu hoặc từ kinh nghiệm thu được trong các nhiệm vụ trước đó. Các thuật toán học siêu dữ liệu thường cố gắng đạt được những mục tiêu sau:

• Cải thiện hoặc tìm hiểu các tính năng được thiết kế thủ công (chẳng hạn như trình khởi chạy hoặc trình tối ưu hoá).
• Tiết kiệm dữ liệu và điện toán hiệu quả hơn.
• Cải thiện khả năng khái quát hoá.

Học siêu dữ liệu có liên quan đến học từ một vài dữ liệu.

chỉ số

Một số liệu thống kê mà bạn quan tâm.

Mục tiêu là một chỉ số mà hệ thống học máy cố gắng tối ưu hoá.

API chỉ số (tf.metrics)

API TensorFlow để đánh giá mô hình. Ví dụ: tf.metrics.accuracy xác định tần suất dự đoán của mô hình khớp với nhãn.

lô nhỏ

Một tập hợp con nhỏ, được chọn ngẫu nhiên trong một lô được xử lý trong một vòng lặp. Kích thước lô của một lô nhỏ thường dao động từ 10 đến 1.000 ví dụ.

Ví dụ: giả sử toàn bộ tập dữ liệu huấn luyện (một lô đầy đủ) bao gồm 1.000 ví dụ. Giả sử thêm rằng bạn đặt kích thước lô của mỗi lô nhỏ thành 20. Do đó, mỗi lần lặp lại sẽ xác định tổn thất trên 20 ví dụ ngẫu nhiên trong số 1.000 ví dụ, sau đó điều chỉnh trọng số và độ lệch cho phù hợp.

Việc tính toán tổn thất trên một lô nhỏ sẽ hiệu quả hơn nhiều so với tổn thất trên tất cả các ví dụ trong lô đầy đủ.

giảm độ dốc ngẫu nhiên theo lô nhỏ

Thuật toán giảm độ dốc sử dụng các lô nhỏ. Nói cách khác, tình huống ngẫu nhiên trong gói nhỏ giảm độ dốc ước tính độ dốc dựa trên một tập hợp con nhỏ dữ liệu huấn luyện. Chế độ giảm độ dốc ngẫu nhiên thông thường sử dụng lô nhỏ có kích thước 1.

tổn thất minimax

Hàm tổn thất cho mạng đối kháng tạo sinh, dựa trên entropy chéo giữa phân phối dữ liệu được tạo và dữ liệu thực.

Mức tổn thất tối đa được dùng trong bài viết đầu tiên để mô tả mạng đối nghịch tạo sinh.

lớp thiểu số

Nhãn ít phổ biến hơn trong một tập dữ liệu mất cân bằng lớp. Ví dụ: với một tập dữ liệu chứa 99% nhãn âm và 1% nhãn dương, nhãn dương là lớp thiểu số.

Tương phản với lớp đa số.

kết hợp giữa các chuyên gia

Một lược đồ để tăng hiệu quả của mạng nơron bằng cách chỉ sử dụng một tập hợp con tham số (được gọi là chuyên gia) để xử lý một mã thông báo đầu vào nhất định hoặc ví dụ. Đáp mạng lưới định tuyến từng mã thông báo đầu vào hoặc ví dụ đến(các) chuyên gia thích hợp.

Để biết thông tin chi tiết, hãy xem một trong các bài viết sau:

• Mạng nơron khổng lồ: Lớp hỗn hợp chuyên gia có cổng thưa
• Kết hợp chuyên gia với sự lựa chọn của chuyên gia Định tuyến

ML (Mali)

Từ viết tắt của máy học.

MMIT

Từ viết tắt của điều chỉnh hướng dẫn đa phương thức.

MNIST

Một tập dữ liệu thuộc phạm vi công cộng do LeCun, Cortes và Burges biên soạn, chứa 60.000 hình ảnh, mỗi hình ảnh cho thấy cách một người viết một chữ số cụ thể từ 0 đến 9 theo cách thủ công. Mỗi hình ảnh được lưu trữ dưới dạng một mảng số nguyên có kích thước 28x28, trong đó mỗi số nguyên là một giá trị thang màu xám từ 0 đến 255.

MNIST là tập dữ liệu chuẩn cho công nghệ học máy, thường được dùng để thử nghiệm phương pháp học máy. Để biết thông tin chi tiết, hãy xem bài viết Cơ sở dữ liệu MNIST về chữ số viết tay.

phương thức

Một danh mục dữ liệu cấp cao. Ví dụ: số, văn bản, hình ảnh, video và âm thanh là 5 phương thức khác nhau.

kiểu máy

Nhìn chung, bất kỳ cấu trúc toán học nào xử lý dữ liệu đầu vào và trả về đầu ra. Nói cách khác, mô hình là tập hợp các tham số và cấu trúc cần thiết để hệ thống đưa ra dự đoán. Trong công nghệ học máy có giám sát, mô hình sẽ lấy một ví dụ làm dữ liệu đầu vào và suy luận ra dự đoán làm dữ liệu đầu ra. Trong công nghệ học máy có giám sát, các mô hình khác nhau đôi chút. Ví dụ:

• Mô hình hồi quy tuyến tính bao gồm một tập hợp trọng số và một sai số.
• Mô hình mạng nơron bao gồm:
  • Một tập hợp lớp ẩn, mỗi lớp có chứa một hoặc tế bào thần kinh khác.
  • Trọng số và độ lệch liên kết với mỗi tế bào thần kinh.
• Mô hình cây quyết định bao gồm:
  • Hình dạng của cây; tức là mẫu mà các điều kiện và lá cây nối liền với nhau.
  • Các điều kiện và lá.

Bạn có thể lưu, khôi phục hoặc tạo bản sao của mô hình.

Công nghệ học máy không giám sát cũng tạo ra các mô hình, thường là một hàm có thể liên kết một ví dụ đầu vào với cụm phù hợp nhất.

  f(x, y) = 3x -5xy + y2 + 17

def half_of_greater(x, y):
  if (x > y):
    return(x / 2)
  else
    return(y / 2)

dung lượng của mô hình

Độ phức tạp của các vấn đề mà một mô hình có thể học được. Càng có nhiều vấn đề phức tạp mà mô hình có thể học, thì mô hình càng có nhiều năng lực. của mô hình thường tăng theo số lượng tham số của mô hình. Đối với định nghĩa chính thức về năng lực phân loại, xem Thứ nguyên VC.

mô hình xếp tầng

Một hệ thống chọn mô hình lý tưởng cho một truy vấn suy luận cụ thể.

Hãy tưởng tượng một nhóm mô hình, từ rất lớn (có nhiều thông số) đến nhỏ hơn nhiều (có ít thông số hơn nhiều). Các mô hình rất lớn tiêu tốn nhiều tài nguyên điện toán hơn ở thời gian suy luận so với các mô hình nhỏ hơn. Tuy nhiên, quy mô rất lớn mô hình thường có thể dự đoán các yêu cầu phức tạp hơn so với mô hình nhỏ hơn. Phân tầng mô hình xác định độ phức tạp của truy vấn suy luận và sau đó chọn mô hình thích hợp để thực hiện suy luận. Động lực chính của việc phân tầng mô hình là giảm chi phí suy luận bằng cách thường chọn các mô hình nhỏ hơn và chỉ chọn mô hình lớn hơn để có thêm các truy vấn phức tạp.

Hãy tưởng tượng một mô hình nhỏ chạy trên điện thoại và phiên bản lớn hơn của mô hình đó chạy trên máy chủ từ xa. Việc phân cấp mô hình hiệu quả sẽ làm giảm chi phí và độ trễ bằng cách cho phép mô hình nhỏ hơn xử lý các yêu cầu đơn giản và chỉ gọi mô hình từ xa để xử lý các yêu cầu phức tạp.

Xem thêm trình định tuyến mô hình.

tính song song mô hình

Một cách mở rộng quy mô huấn luyện hoặc suy luận để đặt các phần khác nhau của một model trên nhiều thiết bị. Tính năng song song của mô hình cho phép các mô hình quá lớn để vừa với một thiết bị.

Để triển khai tính song song của mô hình, hệ thống thường làm như sau:

1. Phân mảnh (chia) mô hình thành các phần nhỏ hơn.
2. Phân phối quá trình huấn luyện các phần nhỏ đó trên nhiều bộ xử lý. Mỗi bộ xử lý sẽ huấn luyện phần riêng của mô hình.
3. Kết hợp các kết quả để tạo một mô hình duy nhất.

Tính song song của mô hình làm chậm quá trình huấn luyện.

Xem thêm về tính song song về dữ liệu.

bộ định tuyến mẫu

Thuật toán xác định mô hình lý tưởng cho suy luận trong phân tầng mô hình. Trình định tuyến mô hình thường là một mô hình học máy, mô hình này dần dần học cách chọn mô hình tốt nhất cho một dữ liệu đầu vào nhất định. Tuy nhiên, bộ định tuyến mô hình đôi khi có thể đơn giản hơn, không phải thuật toán học máy.

huấn luyện mô hình

Quá trình xác định mô hình tốt nhất.

Đà phát triển

Một thuật toán giảm độ dốc tinh vi, trong đó bước học phụ thuộc vào không chỉ trên đạo hàm ở bước hiện tại mà còn trên các đạo hàm của(các) bước ngay trước nó. Động lực liên quan đến việc điện toán trung bình động có trọng số luỹ thừa của các độ dốc theo thời gian, tương tự thành động lượng trong vật lý. Động lực đôi khi cản trở việc học tập mắc kẹt trong cực tiểu cục bộ.

MOE

Từ viết tắt của cụm từ chuyên gia.

phân loại nhiều lớp

Trong phương pháp học có giám sát, một vấn đề phân loại trong đó tập dữ liệu chứa hơn hai lớp nhãn. Ví dụ: nhãn trong tập dữ liệu Iris phải là một trong các nhãn sau 3 lớp:

• Hoa diên vĩ
• Hoa diên vĩ
• Hoa diên vĩ

Mô hình được huấn luyện trên tập dữ liệu Iris để dự đoán loại Iris trên các ví dụ mới đang thực hiện việc phân loại nhiều lớp.

Ngược lại, bài toán phân loại phân biệt chính xác hai là mô hình phân loại nhị phân. Ví dụ: mô hình email dự đoán thư rác hoặc không phải thư rác là mô hình phân loại nhị phân.

Trong các bài toán phân cụm, phân loại nhiều lớp đề cập đến hơn 2 cụm.

hồi quy logistic nhiều lớp

Sử dụng phương pháp hồi quy logistic trong Bài toán phân loại nhiều lớp.

tự chú ý nhiều đầu

Một phần mở rộng của tính năng tự chú ý áp dụng cơ chế tự chú ý nhiều lần cho mỗi vị trí trong chuỗi đầu vào.

Transformer đã giới thiệu tính năng tự chú ý nhiều đầu.

mô hình đa phương thức

Mô hình có đầu vào và/hoặc đầu ra bao gồm nhiều hơn một phương thức. Ví dụ: hãy xem xét một mô hình lấy cả hình ảnh và chú thích văn bản (hai phương thức) làm tính năng, và cho biết mức độ phù hợp của chú thích văn bản với hình ảnh. Vì vậy, đầu vào của mô hình này là đa phương thức và đầu ra là đa phương thức.

điều chỉnh hướng dẫn đa phương thức

Mô hình điều chỉnh theo hướng dẫn có thể xử lý đầu vào ngoài văn bản, chẳng hạn như hình ảnh, video và âm thanh.

phân loại đa thức

Từ đồng nghĩa với phân loại nhiều lớp.

hồi quy đa thức

Từ đồng nghĩa với hồi quy logistic nhiều lớp.

đa nhiệm

Một kỹ thuật học máy trong đó một mô hình duy nhất được huấn luyện để thực hiện nhiều tác vụ.

Các mô hình đa nhiệm được tạo bằng cách huấn luyện về dữ liệu phù hợp với từng nhiệm vụ. Điều này cho phép mô hình học cách chia sẻ thông tin giữa các nhiệm vụ, giúp mô hình học hiệu quả hơn.

Một mô hình được huấn luyện cho nhiều nhiệm vụ thường đã cải thiện được khả năng tổng quát hoá và có thể xử lý hiệu quả hơn nhiều loại dữ liệu.

Không

bẫy NaN

Khi một số trong mô hình của bạn trở thành NaN trong quá trình huấn luyện, điều này khiến nhiều hoặc tất cả các số khác trong mô hình của bạn cuối cùng trở thành NaN.

NaN là viết tắt của Not a Number.

hiểu ngôn ngữ tự nhiên

Xác định ý định của người dùng dựa trên nội dung người dùng nhập hoặc nói. Ví dụ: một công cụ tìm kiếm sử dụng công nghệ hiểu ngôn ngữ tự nhiên để xác định nội dung mà người dùng đang tìm kiếm dựa trên nội dung mà người dùng đã nhập hoặc nói.

lớp âm

Trong phân loại nhị phân, một lớp là được gọi là tích cực và giá trị còn lại được gọi là âm. Lớp dương là đối tượng hoặc sự kiện mà mô hình đang thử nghiệm và lớp phủ định là khả năng khác. Ví dụ:

• Lớp âm tính trong xét nghiệm y tế có thể là "không phải khối u".
• Lớp âm trong một bộ phân loại email có thể là "không phải nội dung rác".

Tương phản với lớp tích cực.

lấy mẫu âm

Từ đồng nghĩa với lấy mẫu đề xuất.

Tìm kiếm kiến trúc nơron (NAS)

Một kỹ thuật tự động thiết kế cấu trúc của mạng nơron. Các thuật toán NAS có thể giảm bớt thời gian và tài nguyên cần thiết để huấn luyện mạng nơron.

NAS thường sử dụng:

• Không gian tìm kiếm, là một tập hợp các cấu trúc có thể có.
• Hàm phù hợp là một chỉ số đo lường mức độ hiệu quả của một cấu trúc cụ thể trong một tác vụ nhất định.

Các thuật toán NAS thường bắt đầu bằng một tập hợp nhỏ các cấu trúc có thể có và dần mở rộng không gian tìm kiếm khi thuật toán tìm hiểu thêm về những cấu trúc hiệu quả. Hàm thích ứng thường dựa trên hiệu suất của cấu trúc trên một tập huấn luyện và thuật toán thường được huấn luyện bằng kỹ thuật học tăng cường.

Các thuật toán NAS đã được chứng minh là hiệu quả trong việc tìm kiếm các cấu trúc có hiệu suất cao cho nhiều tác vụ, bao gồm cả phân loại hình ảnh, phân loại văn bản và dịch máy.

mạng nơron

Một mô hình chứa ít nhất một lớp ẩn. Mạng nơron sâu là một loại mạng nơron chứa nhiều lớp ẩn. Ví dụ: biểu đồ sau đây cho thấy một mạng nơron sâu chứa hai lớp ẩn.

Mỗi nơron trong mạng nơron sẽ kết nối với tất cả các nút trong lớp tiếp theo. Ví dụ: trong biểu đồ trước, lưu ý rằng mỗi nơron trong số ba nơron trong lớp ẩn đầu tiên kết nối riêng rẽ với cả hai nơron trong lớp ẩn thứ hai.

Mạng nơron được triển khai trên máy tính đôi khi được gọi là mạng nơron nhân tạo để phân biệt chúng với mạng nơron có trong não bộ và các hệ thần kinh khác.

Một số mạng nơron có thể mô phỏng các mối quan hệ phi tuyến tính cực kỳ phức tạp giữa các đặc điểm và nhãn.

Xem thêm mạng nơron tích chập và mạng nơron tái sinh.

nơron

Trong học máy, một đơn vị riêng biệt trong lớp ẩn của mạng nơron. Mỗi tế bào thần kinh thực hiện thao tác hai bước sau:

1. Tính tổng trọng số của các giá trị đầu vào nhân với trọng số tương ứng.
2. Truyền tổng có trọng số dưới dạng dữ liệu đầu vào vào chức năng kích hoạt.

Một tế bào thần kinh trong lớp ẩn đầu tiên chấp nhận dữ liệu đầu vào từ các giá trị đặc điểm trong lớp đầu vào. Một tế bào thần kinh trong bất kỳ lớp ẩn nào ngoài lớp đầu tiên sẽ chấp nhận dữ liệu đầu vào từ các tế bào thần kinh trong lớp ẩn trước đó. Ví dụ: một tế bào thần kinh trong lớp ẩn thứ hai chấp nhận dữ liệu đầu vào từ các tế bào thần kinh trong lớp ẩn đầu tiên.

Hình minh hoạ sau đây làm nổi bật hai nơron và đầu vào.

Một nơron trong mạng nơron bắt chước hành vi của các nơron trong não và các phần khác của hệ thần kinh.

N gam

Một chuỗi có thứ tự gồm N từ. Ví dụ: thực sự điên rồ là 2 gam. Bởi vì có liên quan, thực sự khác với 2 gam thực sự điên rồ.

Nhiều hiểu biết ngôn ngữ tự nhiên các mô hình dựa vào N-gram để dự đoán từ tiếp theo mà người dùng sẽ nhập hoặc nói. Ví dụ: giả sử người dùng nhập ba mù. Mô hình NLU dựa trên tam giác có thể sẽ dự đoán rằng người dùng sẽ nhập tiếp theo chuột.

Đối chiếu N-gram với túi từ, vốn là tập hợp từ không theo thứ tự.

hiểu ngôn ngữ tự nhiên (NLU)

Từ viết tắt của hiểu ngôn ngữ tự nhiên.

nút (cây quyết định)

Trong cây quyết định, mọi điều kiện hoặc lá.

nút (mạng nơron)

Một neuron trong lớp ẩn.

nút (biểu đồ TensorFlow)

Một phép toán trong biểu đồ TensorFlow.

độ nhiễu

Nói chung, bất cứ điều gì làm lu mờ tín hiệu trong một tập dữ liệu. Có nhiều cách để đưa nhiễu vào dữ liệu. Ví dụ:

• Người đánh giá mắc lỗi khi gắn nhãn.
• Con người và thiết bị ghi sai hoặc bỏ qua các giá trị đặc điểm.

điều kiện phi nhị phân

Một điều kiện chứa nhiều hơn hai kết quả có thể xảy ra. Ví dụ: điều kiện không nhị phân sau đây chứa 3 kết quả có thể xảy ra:

nonlinear

Mối quan hệ giữa hai hoặc nhiều biến không thể duy nhất được biểu thị bằng cách cộng và nhân. Mối quan hệ tuyến tính có thể được biểu diễn dưới dạng một đường thẳng; mối quan hệ phi tuyến tính không thể được biểu diễn dưới dạng một đường thẳng. Ví dụ: hãy xem xét hai mô hình, mỗi mô hình liên kết một tính năng với một nhãn. Mô hình bên trái là mô hình tuyến tính và mô hình ở bên phải là phi tuyến tính:

thiên kiến khi không phản hồi

Xem phần thiên vị do cách chọn mẫu.

không tĩnh

Một đặc điểm có giá trị thay đổi trên một hoặc nhiều phương diện, thường là thời gian. Ví dụ: hãy xem xét các ví dụ sau về tính không ổn định:

• Số lượng bộ đồ bơi được bán tại một cửa hàng cụ thể thay đổi theo mùa.
• Số lượng trái cây được thu hoạch trong một khu vực cụ thể bằng 0 trong hầu hết thời gian trong năm nhưng lớn trong một khoảng thời gian ngắn.
• Do biến đổi khí hậu, nhiệt độ trung bình hằng năm đang thay đổi.

Tương phản với tính chất không đổi.

chuẩn hoá

Nói chung, quá trình chuyển đổi phạm vi thực tế của một biến thành một dải giá trị chuẩn, chẳng hạn như:

• -1 đến +1
• 0 đến 1
• Điểm Z (khoảng từ -3 đến +3)

Ví dụ: giả sử phạm vi giá trị thực tế của một đặc điểm nhất định là từ 800 đến 2.400. Trong quá trình kỹ thuật xử lý đặc điểm, bạn có thể chuẩn hoá các giá trị thực tế xuống một phạm vi tiêu chuẩn, chẳng hạn như -1 đến +1.

Chuẩn hoá là một nhiệm vụ phổ biến trong kỹ thuật trích xuất tính chất. Người mẫu thường huấn luyện nhanh hơn (và dự đoán chính xác hơn) khi mỗi đối tượng dạng số trong vectơ đối tượng có gần như cùng phạm vi.

Hãy xem phần Làm việc với mô-đun dữ liệu số của khoá học cấp tốc về học máy để biết thêm thông tin chi tiết. Ngoài ra, hãy xem phần Chuẩn hoá điểm Z.

phát hiện tính mới

Quy trình xác định xem một ví dụ mới (mới) có đến từ cùng một quá trình phân phối với tập dữ liệu huấn luyện hay không. Nói cách khác, sau khi quá trình huấn luyện trên tập huấn luyện, tính năng phát hiện tính năng mới sẽ xác định liệu một mới ví dụ (trong quá trình suy luận hoặc trong quá trình huấn luyện bổ sung) là ngoại lệ.

Tương phản với công nghệ phát hiện giá trị ngoại lai.

dữ liệu dạng số

Các đối tượng được biểu thị dưới dạng số nguyên hoặc số có giá trị thực. Ví dụ: mô hình định giá nhà có thể thể hiện kích thước của một ngôi nhà (tính bằng feet vuông hoặc mét vuông) dưới dạng dữ liệu số. Việc biểu thị một đặc điểm dưới dạng dữ liệu dạng số cho biết rằng các giá trị của đặc điểm đó có mối quan hệ toán học với nhãn. Tức là số mét vuông trong một ngôi nhà có thể có một số mối quan hệ toán học với giá trị của ngôi nhà đó.

Không phải tất cả dữ liệu số nguyên đều được biểu diễn dưới dạng dữ liệu số. Ví dụ: mã bưu chính ở một số nơi trên thế giới là số nguyên; tuy nhiên, mã bưu chính số nguyên không được biểu thị dưới dạng dữ liệu số trong mô hình. Đó là vì một mã bưu chính của 20000 không mạnh gấp đôi (hoặc một nửa) so với mã bưu chính của 10000. Hơn nữa, mặc dù các mã bưu chính khác nhau có mối tương quan với các giá trị bất động sản khác nhau, nhưng chúng ta không thể giả định rằng giá trị bất động sản tại mã bưu chính 20000 có giá trị gấp đôi giá trị bất động sản tại mã bưu chính 10000. Mã bưu chính phải được thể hiện dưới dạng dữ liệu phân loại thay thế.

Đôi khi, các đặc điểm số được gọi là các đặc điểm liên tục.

NumPy

Thư viện toán học nguồn mở cung cấp các phép toán hiệu quả trên mảng trong Python. pandas được xây dựng dựa trên NumPy.

O

mục tiêu

Chỉ số mà thuật toán của bạn đang cố gắng tối ưu hoá.

hàm mục tiêu

Công thức toán học hoặc chỉ số mà một mô hình hướng đến tối ưu hoá. Ví dụ: hàm mục tiêu cho bước hồi quy tuyến tính thường là Mất mát bình phương trung bình. Do đó, khi huấn luyện một mô hình hồi quy tuyến tính, huấn luyện nhằm giảm thiểu tổn thất bình phương trung bình.

Trong một số trường hợp, mục tiêu là tối đa hoá chức năng mục tiêu. Ví dụ: nếu hàm mục tiêu là độ chính xác thì mục tiêu sẽ là để tăng tối đa độ chính xác.

Hãy xem thêm mục Mất.

điều kiện xiên

Trong cây quyết định, tình trạng liên quan đến nhiều hơn một tính năng. Ví dụ: nếu chiều cao và chiều rộng là cả hai đối tượng, thì sau đây là điều kiện xiên:

  height > width

Tương phản với điều kiện căn chỉnh theo trục.

ngoại tuyến

Từ đồng nghĩa với static.

suy luận ngoại tuyến

Quy trình một mô hình tạo một lô dự đoán rồi lưu các dự đoán đó vào bộ nhớ đệm. Sau đó, ứng dụng có thể truy cập vào dữ liệu dự đoán từ bộ nhớ đệm thay vì chạy lại mô hình.

Chẳng hạn hãy cân nhắc một mô hình tạo ra thông tin dự báo thời tiết tại địa phương (dự đoán) 4 giờ một lần. Sau khi mỗi mô hình chạy, hệ thống sẽ lưu vào bộ nhớ đệm tất cả dự báo thời tiết địa phương. Ứng dụng thời tiết truy xuất thông tin dự báo từ bộ nhớ đệm.

Suy luận ngoại tuyến còn được gọi là suy luận tĩnh.

Trái ngược với suy luận trực tuyến.

mã hoá one-hot

Biểu diễn dữ liệu phân loại dưới dạng vectơ trong đó:

• Một phần tử được đặt thành 1.
• Tất cả các phần tử khác được đặt thành 0.

Phương thức mã hoá một lần thường dùng để biểu thị các chuỗi hoặc giá trị nhận dạng có một tập hợp hữu hạn các giá trị khả dĩ. Ví dụ: giả sử một đối tượng phân loại nhất định có tên Scandinavia có thể có 5 giá trị:

• "Đan Mạch"
• "Thuỵ Điển"
• "Na Uy"
• "Phần Lan"
• "Iceland"

Mã hoá một nóng có thể biểu thị từng giá trị trong số 5 giá trị như sau:

Nhờ mã hoá một chiều, mô hình có thể học các mối liên kết khác nhau dựa trên từng quốc gia trong số 5 quốc gia.

Biểu thị một đối tượng dưới dạng dữ liệu số là thay thế cho mã hoá một nóng. Thật không may, đại diện cho Các quốc gia Bắc Âu theo số lượng không phải là lựa chọn tốt. Ví dụ: hãy xem xét biểu diễn dưới đây bằng số:

• "Đan Mạch" là 0
• "Thuỵ Điển" là 1
• "Na Uy" là 2
• "Phần Lan" là 3
• "Iceland" là 4

Với mã hoá số, mô hình sẽ diễn giải các số thô về mặt toán học và sẽ cố gắng rèn luyện dựa trên các con số đó. Tuy nhiên, Iceland không thực sự có số lượng gấp đôi (hoặc một nửa) so với Na Uy, vì vậy, mô hình này sẽ đưa ra một số kết luận kỳ lạ.

học từ một dữ liệu

Một phương pháp học máy, thường được dùng để phân loại đối tượng, được thiết kế để học các thuật toán phân loại hiệu quả từ một ví dụ huấn luyện duy nhất.

Bạn cũng có thể xem thêm nội dung học ngắn gọn và học tập từ bất kỳ chi tiết nào.

câu lệnh một lần

Câu lệnh có một ví dụ minh hoạ cách mô hình ngôn ngữ lớn cần phản hồi. Ví dụ: câu lệnh sau đây chứa một ví dụ minh hoạ một mô hình ngôn ngữ lớn nó sẽ trả lời một truy vấn.

So sánh và đối chiếu lệnh nhắc một lần với các thuật ngữ sau:

• nhắc nhở hoạt động không cố định
• đặt câu lệnh dựa trên một vài ví dụ

one-vs.-all

Với một bài toán phân loại có N lớp, một dung dịch gồm N riêng biệt thuật toán phân loại nhị phân – một thuật toán phân loại nhị phân cho từng kết quả có thể xảy ra. Ví dụ: với một mô hình phân loại các ví dụ là động vật, rau hoặc khoáng sản, giải pháp một-đối-tất-cả sẽ cung cấp ba bộ phân loại nhị phân riêng biệt sau:

• động vật so với không phải động vật
• rau so với không phải rau
• khoáng sản so với không phải khoáng sản

trực tuyến

Từ đồng nghĩa với động.

suy luận trực tuyến

Tạo dự đoán theo yêu cầu. Ví dụ: giả sử một ứng dụng chuyển dữ liệu đầu vào đến một mô hình và đưa ra yêu cầu dự đoán. Hệ thống sử dụng suy luận trực tuyến sẽ phản hồi yêu cầu bằng cách chạy mô hình (và trả về kết quả dự đoán cho ứng dụng).

Trái ngược với suy luận ngoại tuyến.

hoạt động (hoạt động)

Trong TensorFlow, mọi quy trình tạo, thao tác hoặc huỷ bỏ Tensor. Để ví dụ: phép nhân ma trận là một phép toán lấy hai Tensor làm đầu vào và tạo một Tensor làm đầu ra.

Optax

Thư viện tối ưu hoá và xử lý chuyển màu cho JAX. Optax hỗ trợ nghiên cứu bằng cách cung cấp các khối xây dựng có thể được kết hợp lại theo cách tuỳ chỉnh để tối ưu hoá các mô hình tham số như mạng nơron sâu. Các mục tiêu khác bao gồm:

• Cung cấp cách triển khai các thành phần cốt lõi dễ đọc, được kiểm thử kỹ lưỡng và hiệu quả.
• Cải thiện năng suất bằng cách cho phép kết hợp các thành phần cấp thấp vào trình tối ưu hoá tuỳ chỉnh (hoặc các thành phần xử lý chuyển màu khác).
• Đẩy nhanh việc tiếp nhận các ý tưởng mới bằng cách giúp mọi người dễ dàng để đóng góp.

trình tối ưu hoá

Cách triển khai cụ thể của thuật toán giảm độ dốc. Các trình tối ưu hoá phổ biến bao gồm:

• AdaGrad, viết tắt của ADAptive GRADient descent (hướng xuống theo GRADIENT thích ứng).
• Adam, viết tắt của ADAptive with Momentum (Thích ứng với động lực).

thiên kiến tính đồng nhất ngoài nhóm

Xu hướng thấy các thành viên ngoài nhóm giống nhau hơn thành viên trong nhóm khi so sánh thái độ, giá trị, đặc điểm tính cách, v.v. đặc điểm. Trong nhóm dùng để chỉ những người mà bạn thường xuyên tương tác; out-group dùng để chỉ những người bạn không tương tác thường xuyên. Nếu bạn tạo một tập dữ liệu bằng cách yêu cầu mọi người cung cấp các thuộc tính về nhóm bên ngoài, thì các thuộc tính đó có thể ít tinh tế và mang tính khuôn mẫu hơn so với các thuộc tính mà người tham gia liệt kê cho những người trong nhóm của họ.

Ví dụ: người Lilliputian có thể mô tả nhà của những người Lilliputian khác rất chi tiết, trích dẫn những khác biệt nhỏ về kiểu kiến trúc, cửa sổ, cửa và kích thước. Tuy nhiên, những người Lilliputian đó có thể chỉ tuyên bố rằng tất cả người Brobdingnag đều sống trong những ngôi nhà giống hệt nhau.

Thành kiến tính đồng nhất ngoài nhóm là một hình thức thiên vị phân bổ nhóm.

Xem thêm thiên vị cùng nhóm.

phát hiện giá trị ngoại lai

Quá trình xác định các điểm ngoại lai trong một tập huấn luyện.

Tương phản với tính năng phát hiện tính năng mới.

các điểm ngoại lai

Giá trị khác xa hầu hết các giá trị khác. Trong học máy, bất kỳ giá trị nào sau đây đều là giá trị ngoại lai:

• Dữ liệu đầu vào có giá trị lớn hơn khoảng 3 độ lệch chuẩn so với giá trị trung bình.
• Trọng số có giá trị tuyệt đối cao.
• Giá trị dự đoán tương đối xa giá trị thực tế.

Ví dụ: giả sử widget-price là một tính năng của một mô hình nhất định. Giả sử widget-price trung bình là 7 Euro với độ lệch chuẩn là 1 Euro. Ví dụ chứa widget-price là 12 Euro hoặc 2 Euro do đó sẽ được coi là các điểm ngoại lai vì mỗi mức giá đó đều 5 độ lệch chuẩn so với giá trị trung bình.

Giá trị ngoại lai thường là do lỗi chính tả hoặc các lỗi nhập khác. Trong các trường hợp khác, giá trị ngoại lai không phải là lỗi; xét cho cùng, các giá trị cách trung bình 5 độ lệch chuẩn là hiếm nhưng khó có thể không xảy ra.

Giá trị ngoại lai thường gây ra vấn đề trong quá trình huấn luyện mô hình. Tạo đoạn video là một cách để quản lý các điểm ngoại lai.

đánh giá ngoài phạm vi (đánh giá OOB)

Cơ chế đánh giá chất lượng của rừng quyết định bằng cách kiểm thử từng cây quyết định dựa trên ví dụ không được sử dụng trong quá trình huấn luyện của cây quyết định đó. Ví dụ: trong sơ đồ dưới đây, lưu ý rằng hệ thống sẽ huấn luyện từng cây quyết định vào khoảng 2/3 số ví dụ, sau đó đánh giá dựa trên 1/3 số ví dụ còn lại.

Phương pháp đánh giá ngoài túi là một phương pháp ước tính hiệu quả và bảo thủ về mặt tính toán của cơ chế xác thực chéo. Trong quy trình xác thực chéo, một mô hình được huấn luyện cho mỗi vòng xác thực chéo (ví dụ: 10 mô hình được huấn luyện trong quy trình xác thực chéo 10 lần). Với phương pháp đánh giá bên ngoài phạm vi, một mô hình duy nhất sẽ được huấn luyện. Vì hành vi bóc lột hành vi giữ lại một số dữ liệu từ mỗi cây trong quá trình huấn luyện, việc đánh giá OOB có thể sử dụng dữ liệu đó để ước tính xác thực chéo.

lớp đầu ra

"Trận chung kết" lớp của mạng nơron. Lớp đầu ra chứa kết quả dự đoán.

Hình minh hoạ sau đây cho thấy một mạng nơron sâu nhỏ với một lớp đầu vào, hai lớp ẩn và một lớp đầu ra:

khái quát hoá kém

Tạo một mô hình khớp với dữ liệu huấn luyện đến mức mô hình không thể dự đoán chính xác dữ liệu mới.

Quy trình chuẩn hoá có thể làm giảm tình trạng phù hợp quá mức. Việc tập luyện trên một bộ bài tập lớn và đa dạng cũng có thể giảm thiểu việc tập quá mức.

lấy mẫu quá mức

Sử dụng lại ví dụ về lớp thiểu số trong tập dữ liệu bất cân đối về loại để tạo tập huấn luyện cân bằng hơn.

Ví dụ: hãy xem xét một vấn đề phân loại nhị phân trong đó tỷ lệ của lớp đa số với lớp thiểu số là 5.000:1. Nếu tập dữ liệu chứa một triệu ví dụ, thì tập dữ liệu đó chỉ chứa khoảng 200 ví dụ về lớp thiểu số, có thể là quá ít ví dụ để huấn luyện hiệu quả. Để khắc phục khiếm khuyết này, bạn có thể lấy mẫu quá mức (sử dụng lại) 200 ví dụ đó nhiều lần, có thể mang lại đủ ví dụ để huấn luyện hữu ích.

Bạn cần cẩn thận về việc quá phù hợp khi lấy mẫu quá nhiều.

Tương phản với thiếu mẫu.

Điểm

dữ liệu đã đóng gói

Một phương pháp lưu trữ dữ liệu hiệu quả hơn.

Dữ liệu đã đóng gói lưu trữ dữ liệu bằng cách sử dụng định dạng nén hoặc bằng một cách nào đó cho phép truy cập dữ liệu hiệu quả hơn. Dữ liệu đóng gói giúp giảm thiểu dung lượng bộ nhớ và hoạt động tính toán cần thiết để truy cập vào đó, giúp huấn luyện nhanh hơn và suy luận mô hình hiệu quả hơn.

Dữ liệu đóng gói thường được dùng cùng với các kỹ thuật khác, chẳng hạn như tăng cường dữ liệu và chính quy, giúp cải thiện hơn nữa hiệu suất của mô hình.

gấu trúc

API phân tích dữ liệu theo cột được xây dựng dựa trên numpy. Nhiều khung máy học, bao gồm cả TensorFlow, hỗ trợ cấu trúc dữ liệu pandas làm dữ liệu đầu vào. Hãy xem tài liệu về pandas để biết thông tin chi tiết.

tham số

Các trọng số và độ lệch mà một mô hình học được trong quá trình đào tạo. Ví dụ: trong một hồi quy tuyến tính, các tham số bao gồm độ lệch (b) và tất cả các trọng số (w₁, w₂, v.v.) trong công thức sau:

Ngược lại, tham số siêu dữ liệu là các giá trị mà bạn (hoặc dịch vụ điều chỉnh tham số siêu dữ liệu) cung cấp cho mô hình. Ví dụ: tốc độ học tập là một siêu tham số.

điều chỉnh hiệu quả tham số

Một nhóm kỹ thuật để fine-tune đoạn âm thanh lớn mô hình ngôn ngữ luyện trước (PLM) hiệu quả hơn so với việc điều chỉnh hoàn toàn. Việc điều chỉnh hiệu quả về tham số thường tinh chỉnh ít tham số hơn so với việc tinh chỉnh toàn bộ, nhưng thường tạo ra một mô hình ngôn ngữ lớn hoạt động tốt (hoặc gần như tốt) như một mô hình ngôn ngữ lớn được tạo từ việc tinh chỉnh toàn bộ.

So sánh và đối chiếu việc điều chỉnh hiệu quả tham số với:

• điều chỉnh hướng dẫn
• điều chỉnh lời nhắc

Điều chỉnh hiệu quả theo tham số còn được gọi là điều chỉnh tinh vi hiệu quả theo tham số.

Máy chủ tham số (PS)

Một công việc theo dõi các tham số của mô hình trong một chế độ cài đặt phân phối.

cập nhật thông số

Thao tác điều chỉnh các tham số của mô hình trong quá trình đào tạo, thường là trong một lần lặp lại của quá trình giảm độ dốc.

đạo hàm riêng

Một đạo hàm trong đó tất cả các biến trừ một biến được coi là hằng số. Ví dụ: đạo hàm riêng của f(x, y) theo x là đạo hàm của f được coi là một hàm của riêng x (tức là giữ y không đổi). Đạo hàm riêng của f theo x chỉ tập trung vào cách x thay đổi và bỏ qua tất cả các biến khác trong phương trình.

thiên kiến khi tham gia

Từ đồng nghĩa với thiên kiến không phản hồi. Hãy xem phần thiên vị lựa chọn.

chiến lược phân vùng

Thuật toán phân chia các biến trên máy chủ tham số.

Pax

Khung lập trình được thiết kế để huấn luyện các mô hình mạng nơron quy mô lớn đến mức bao gồm nhiều TPU mảnh chip tăng tốc lát cắt hoặc vùng chứa.

Pax được xây dựng trên Flax, được xây dựng trên JAX.

perceptron

Một hệ thống (phần cứng hoặc phần mềm) nhận một hoặc nhiều giá trị đầu vào, chạy một hàm dựa trên tổng có trọng số của các giá trị đầu vào và tính toán một giá trị đầu ra. Trong công nghệ học máy, hàm này thường phi tuyến tính, chẳng hạn như ReLU, sigmoid hoặc tanh. Ví dụ: perceptron sau đây dựa vào hàm sigmoid để xử lý ba giá trị đầu vào:

Trong hình minh hoạ sau, perceptron nhận ba đầu vào, mỗi đầu vào được sửa đổi bằng một trọng số trước khi vào perceptron:

Perceptron là nơ-ron trong mạng nơron.

hiệu quả hoạt động

Thuật ngữ nạp chồng có các nghĩa sau:

• Ý nghĩa tiêu chuẩn trong kỹ thuật phần mềm. Cụ thể: Phần mềm này chạy nhanh (hoặc hiệu quả) đến mức nào?
• Ý nghĩa trong học máy. Ở đây, hiệu suất trả lời câu hỏi sau: Mô hình này chính xác đến mức nào? Tức là dự đoán của mô hình có tốt không?

tầm quan trọng của biến hoán vị

Loại mức độ quan trọng có thể thay đổi đánh giá sự gia tăng của lỗi dự đoán của một mô hình sau khi xem xét các giá trị của tính năng. Tầm quan trọng của biến hoán vị là một chỉ số không phụ thuộc vào mô hình.

độ hỗn loạn

Một chỉ số đo lường mức độ hiệu quả của một mô hình trong việc hoàn thành nhiệm vụ. Ví dụ: giả sử nhiệm vụ của bạn là đọc vài chữ cái đầu tiên của một từ mà người dùng đang nhập trên bàn phím điện thoại và cung cấp danh sách các từ có thể hoàn thành. Mức độ phức tạp, P, cho nhiệm vụ này gần bằng số lượng dự đoán bạn cần đưa ra để danh sách của bạn chứa từ thực tế mà người dùng đang cố gắng nhập.

Mức độ phức tạp liên quan đến entropy chéo như sau:

quy trình

Cơ sở hạ tầng xung quanh thuật toán học máy. Đường ống bao gồm thu thập dữ liệu, đưa dữ liệu vào các tệp dữ liệu huấn luyện, huấn luyện một hoặc nhiều mô hình và xuất mô hình sang sản xuất.

tạo đường ống

Một dạng song song mô hình, trong đó quá trình xử lý của mô hình được chia thành các giai đoạn liên tiếp và mỗi giai đoạn được thực thi trên một thiết bị khác nhau. Mặc dù một giai đoạn đang xử lý một lô, giai đoạn có thể xử lý cho lô tiếp theo.

Hãy xem thêm bài viết về chương trình đào tạo theo giai đoạn.

pjit

Hàm JAX phân tách mã để chạy trên nhiều chip tăng tốc. Người dùng chuyển một hàm đến pjit, phương thức này trả về một hàm có ngữ nghĩa tương đương nhưng được biên dịch vào phép tính XLA chạy trên nhiều thiết bị (chẳng hạn như GPU hoặc lõi TPU).

pjit cho phép người dùng phân đoạn các phép tính mà không cần viết lại bằng cách sử dụng trình phân vùng SPMD.

Kể từ tháng 3 năm 2023, pjit đã được hợp nhất với jit. Tham khảo Các mảng đã phân phối và các biến tự động song song hoá để biết thêm chi tiết.

PLM

Từ viết tắt của mô hình ngôn ngữ được huấn luyện trước.

pmap

Hàm JAX thực thi các bản sao của hàm đầu vào trên nhiều thiết bị phần cứng cơ bản (CPU, GPU hoặc TPU), với các giá trị đầu vào khác nhau. pmap dựa vào SPMD.

policy

Trong học tăng cường, bản đồ xác suất của tác nhân từ trạng thái đến hành động.

gộp

Giảm một ma trận (hoặc các ma trận) do một lớp convolutional trước đó tạo thành một ma trận nhỏ hơn. Việc gộp thường liên quan đến việc lấy giá trị tối đa hoặc trung bình trên khu vực được gộp. Ví dụ: giả sử chúng ta có ma trận 3x3 sau:

Toán tử gộp, cũng giống như toán tử tích chập, chia ma trận thành nhiều lát cắt rồi trượt phép toán tích chập đó bằng cách sải chân. Ví dụ: giả sử phép hợp nhất chia ma trận tích chập thành các lát cắt 2x2 với bước 1x1. Như minh hoạ dưới đây, 4 hoạt động gộp diễn ra. Hãy tưởng tượng rằng mỗi phép hợp nhất chọn giá trị tối đa trong số bốn giá trị trong lát cắt đó:

Việc gộp giúp thực thi bất biến dịch trong ma trận đầu vào.

Việc gộp dữ liệu cho các ứng dụng thị giác được gọi chính thức là gộp không gian. Các ứng dụng chuỗi thời gian thường gọi phương thức gộp nhóm là phương thức gộp nhóm thời gian. Nói một cách đơn giản hơn, gộp nhóm thường được gọi là lấy mẫu con hoặc giảm tần số lấy mẫu.

mã hoá vị trí

Kỹ thuật thêm thông tin về vị trí của mã thông báo theo trình tự để nhúng của mã thông báo. Mô hình máy biến áp sử dụng dữ liệu vị trí để hiểu rõ hơn mối quan hệ giữa các phần khác nhau của trình tự.

Một cách triển khai phổ biến của mã hoá vị trí là sử dụng hàm sin. (Cụ thể, tần số và biên độ của hàm hình sin là được xác định theo vị trí của mã thông báo trong chuỗi). Kỹ thuật này cho phép mô hình Transformer tìm hiểu cách chú ý đến các phần khác nhau của trình tự dựa trên vị trí của các phần đó.

lớp giá trị dương

Lớp mà bạn đang kiểm thử.

Ví dụ: lớp dương tính trong mô hình ung thư có thể là "khối u". Lớp khẳng định trong thuật toán phân loại email có thể là "thư rác".

Tương phản với lớp âm.

hậu xử lý

Điều chỉnh đầu ra của mô hình sau khi mô hình đã chạy. Xử lý hậu kỳ có thể được sử dụng để thực thi các ràng buộc về tính công bằng mà không cần tự sửa đổi mô hình.

Ví dụ: có thể áp dụng xử lý hậu kỳ cho thuật toán phân loại nhị phân bằng cách đặt ngưỡng phân loại sao cho cơ hội bình đẳng được duy trì cho một số thuộc tính bằng cách kiểm tra xem tỷ lệ dương thực sự giống nhau đối với tất cả các giá trị của thuộc tính đó.

PR AUC (diện tích dưới đường cong PR)

Diện tích dưới đường cong độ chính xác-độ hồi quy nội suy, thu được bằng cách lập biểu đồ các điểm (độ hồi quy, độ chính xác) cho các giá trị khác nhau của ngưỡng phân loại. Tuỳ thuộc vào cách tính, AUC của PR có thể tương đương với độ chính xác trung bình của mô hình.

Praxis

Thư viện ML cốt lõi, hiệu suất cao của Pax. Praxis thường được gọi là "Thư viện lớp".

Praxis không chỉ chứa các định nghĩa cho lớp Lớp (Layer) mà còn chứa hầu hết các thành phần hỗ trợ của lớp này, bao gồm:

• đầu vào dữ liệu
• thư viện cấu hình (HParam và Fiddle)
• trình tối ưu hoá

Praxis cung cấp các định nghĩa cho lớp Mô hình.

độ chính xác

Một chỉ số cho mô hình phân loại giúp trả lời câu hỏi sau:

Khi mô hình dự đoán lớp dương, tỷ lệ phần trăm dự đoán chính xác là bao nhiêu?

Dưới đây là công thức:

trong đó:

• dương tính thật có nghĩa là mô hình đã dự đoán chính xác lớp dương tính.
• dương tính giả có nghĩa là mô hình nhầm lẫn dự đoán lớp dương.

Ví dụ: giả sử một mô hình đưa ra 200 dự đoán tích cực. Trong số 200 cụm từ gợi ý tích cực này:

• 150 là số lượng dương tính thật.
• 50 kết quả là dương tính giả.

Trong trường hợp này:

Ngược lại với độ chính xác và sự gợi nhớ.

Hãy xem bài viết Phân loại: Độ chính xác, tỷ lệ thu hồi, độ chính xác và các chỉ số liên quan để biết thêm thông tin.

đường cong thu hồi độ chính xác

Đường cong độ chính xác so với độ chính xác ở các mức độ khác nhau ngưỡng phân loại.

dự đoán

Đầu ra của mô hình. Ví dụ:

• Dự đoán của mô hình phân loại nhị phân là giá trị dương hoặc lớp phủ định.
• Thông tin dự đoán của mô hình phân loại nhiều lớp là một lớp.
• Kết quả dự đoán của mô hình hồi quy tuyến tính là một con số.

độ lệch của dự đoán

Một giá trị cho biết mức độ chênh lệch giữa giá trị trung bình của dự đoán với giá trị trung bình của nhãn trong tập dữ liệu.

Đừng nhầm lẫn với thuật ngữ độ lệch trong các mô hình học máy hoặc thành kiến về đạo đức và công bằng.

công nghệ học máy dự đoán

Bất kỳ hệ thống máy học tiêu chuẩn nào ("cổ điển").

Thuật ngữ ML dự đoán chưa có định nghĩa chính thức. Thay vào đó, thuật ngữ này phân biệt một danh mục hệ thống học máy không dựa trên AI tạo sinh.

ngang bằng dự đoán

Chỉ số về tính công bằng kiểm tra xem, cho một thuật toán phân loại nhất định, thì tỷ lệ độ chính xác tương đương với các nhóm con đang được xem xét.

Ví dụ: một mô hình dự đoán khả năng được nhận vào trường đại học sẽ đáp ứng tính tương đương dự đoán về quốc tịch nếu tỷ lệ chính xác của mô hình này giống nhau đối với người Lilliput và người Brobdingnag.

Đôi khi, tính năng cân bằng giá dự đoán còn được gọi là cân bằng giá dự đoán.

Xem "Định nghĩa về tính công bằng Giải thích" (mục 3.2.1) để thảo luận chi tiết hơn về tính tương đồng dự đoán.

tỷ giá dự đoán

Một tên khác của tính năng chênh lệch dự đoán.

xử lý trước

mô hình luyện sẵn

Các mô hình hoặc thành phần mô hình (chẳng hạn như vectơ nhúng) đã được huấn luyện. Đôi khi, bạn sẽ đưa các vectơ nhúng được huấn luyện trước vào một mạng nơron. Đôi khi, mô hình của bạn sẽ tự huấn luyện các vectơ nhúng thay vì dựa vào các vectơ nhúng được huấn luyện trước.

Thuật ngữ mô hình ngôn ngữ được huấn luyện trước đề cập đến một mô hình ngôn ngữ lớn đã trải qua trước khi đào tạo.

đào tạo trước

Quá trình huấn luyện ban đầu của một mô hình trên một tập dữ liệu lớn. Một số mô hình luyện sẵn là những người khổng lồ vụng về và thường phải được hoàn thiện thông qua việc đào tạo bổ sung. Ví dụ: các chuyên gia về học máy có thể huấn luyện trước một mô hình ngôn ngữ lớn trên một tập dữ liệu văn bản khổng lồ, chẳng hạn như tất cả các trang tiếng Anh trong Wikipedia. Sau quá trình đào tạo trước, mô hình thu được có thể được tinh chỉnh thêm thông qua bất kỳ kỹ thuật:

• chưng cất
• tinh chỉnh
• chỉnh sửa hướng dẫn
• điều chỉnh hiệu quả thông số
• prompt-tuning

tín ngưỡng trước

Bạn tin tưởng điều gì về dữ liệu trước khi bắt đầu tìm hiểu về dữ liệu đó. Ví dụ: quy trình chuẩn hoá L₂ dựa trên niềm tin trước đó rằng trọng số phải nhỏ và được phân phối theo chuẩn xung quanh 0.

mô hình hồi quy xác suất

Mô hình hồi quy không chỉ sử dụng trọng số cho mỗi tính năng, mà còn độ bất định của các trọng số đó. Mô hình hồi quy có xác suất tạo ra một kết quả dự đoán và mức độ không chắc chắn của kết quả dự đoán đó. Ví dụ: một mô hình hồi quy xác suất có thể mang lại kết quả dự đoán là 325 với độ lệch chuẩn là 12. Để biết thêm thông tin về các mô hình hồi quy xác suất, hãy xem Colab này trên tensorflow.org.

hàm mật độ xác suất

Hàm xác định tần suất của các mẫu dữ liệu có chính xác một giá trị cụ thể. Khi các giá trị của một tập dữ liệu là dấu phẩy động liên tục số, đối sánh chính xác hiếm khi xảy ra. Tuy nhiên, việc tích hợp hàm mật độ xác suất từ giá trị x đến giá trị y sẽ tạo ra tần suất dự kiến của các mẫu dữ liệu giữa x và y.

Ví dụ: hãy xem xét phân phối chuẩn có giá trị trung bình là 200 và độ lệch chuẩn 30. Để xác định tần suất dự kiến của các mẫu dữ liệu nằm trong phạm vi từ 211,4 đến 218,7, bạn có thể tích hợp hàm mật độ xác suất cho một phân phối chuẩn từ 211,4 đến 218,7.

lời nhắc

Bất kỳ văn bản nào được nhập dưới dạng dữ liệu đầu vào vào mô hình ngôn ngữ lớn để điều chỉnh mô hình hoạt động theo một cách nhất định. Lời nhắc có thể ngắn gọn bằng cụm từ hoặc dài tuỳ ý (ví dụ: toàn bộ văn bản của một cuốn tiểu thuyết). Lời nhắc thuộc nhiều danh mục, bao gồm cả những lời nhắc trong bảng sau:

Mô hình AI tạo sinh có thể trả lời một câu lệnh bằng văn bản, mã, hình ảnh, nội dung nhúng, video... hầu như mọi thứ.

học tập dựa trên câu lệnh

Một khả năng của một số mô hình nhất định cho phép các mô hình đó điều chỉnh hành vi để phản hồi hoạt động nhập văn bản tuỳ ý (lời nhắc). Trong mô hình học tập dựa trên câu lệnh thông thường, mô hình ngôn ngữ lớn sẽ phản hồi câu lệnh bằng cách tạo văn bản. Ví dụ: giả sử người dùng nhập câu lệnh sau:

Tóm tắt Định luật chuyển động thứ ba của Newton.

Một mô hình có khả năng học dựa trên câu lệnh chưa được huấn luyện riêng để trả lời câu lệnh trước đó. Thay vào đó, mô hình này "biết" nhiều thông tin về vật lý, rất nhiều về các quy tắc ngôn ngữ chung và những yếu tố cấu thành nên các câu trả lời hữu ích. Kiến thức đó đủ để cung cấp (hy vọng) thông tin hữu ích . Ý kiến phản hồi bổ sung của con người ("Câu trả lời đó quá phức tạp" hoặc "Phản ứng là gì?") cho phép một số hệ thống học dựa trên câu lệnh dần cải thiện tính hữu ích của câu trả lời.

thiết kế câu lệnh

Từ đồng nghĩa với kỹ thuật câu lệnh.

thiết kế câu lệnh

Nghệ thuật tạo câu lệnh gợi ra các câu trả lời mong muốn qua một mô hình ngôn ngữ lớn. Con người thực hiện kỹ thuật gợi ý. Việc viết câu lệnh có cấu trúc tốt là một phần thiết yếu để đảm bảo nhận được câu trả lời hữu ích từ mô hình ngôn ngữ lớn. Kỹ thuật câu lệnh phụ thuộc vào nhiều yếu tố, bao gồm:

• Tập dữ liệu dùng để huấn luyện trước và có thể là fine-tune mô hình ngôn ngữ lớn.
• Nhiệt độ và các thông số giải mã khác mà mô hình sử dụng để tạo phản hồi.

Xem Giới thiệu về thiết kế lời nhắc để biết thêm chi tiết về cách viết những câu lệnh hữu ích.

Thiết kế câu lệnh là từ đồng nghĩa với kỹ thuật thiết kế câu lệnh.

điều chỉnh nhanh

Cơ chế điều chỉnh hiệu quả thông số học "tiền tố" mà hệ thống thêm vào trước lời nhắc thực tế.

Một biến thể của tính năng điều chỉnh lời nhắc (đôi khi được gọi là điều chỉnh tiền tố) là đặt tiền tố ở mọi lớp. Ngược lại, hầu hết các tính năng chỉ điều chỉnh câu lệnh thêm tiền tố vào lớp đầu vào.

nhãn đại diện

Dữ liệu dùng để ước tính nhãn không có trực tiếp trong một tập dữ liệu.

Ví dụ: giả sử bạn phải huấn luyện một mô hình để dự đoán nhân viên mức độ căng thẳng. Tập dữ liệu của bạn có chứa nhiều tính năng dự đoán, nhưng không chứa nhãn có tên mức độ căng thẳng. Không lo lắng, bạn chọn "tai nạn nơi làm việc" dưới dạng nhãn proxy cho mức độ căng thẳng. Sau cùng, nhân viên đang chịu áp lực cao sẽ làm việc hiệu quả hơn hơn so với những nhân viên bình tĩnh. Có đúng như vậy không? Có thể số vụ tai nạn tại nơi làm việc thực sự tăng và giảm vì nhiều lý do.

Ví dụ thứ hai: giả sử bạn muốn is it raining? (có mưa không?) là nhãn Boolean cho tập dữ liệu của mình, nhưng tập dữ liệu đó không chứa dữ liệu về mưa. Nếu có ảnh, bạn có thể thiết lập ảnh người dân cầm ô làm nhãn đại diện cho câu lệnh có mưa không? Đó có phải là một nhãn proxy tốt không? Có thể, nhưng mọi người ở một số nền văn hoá có thể có nhiều khả năng mang theo ô để chống nắng hơn là mưa.

Nhãn proxy thường không hoàn hảo. Khi có thể, hãy chọn nhãn thực tế thay vì nhãn proxy. Tuy nhiên, khi không có nhãn thực tế, hãy chọn nhãn proxy rất cẩn thận, chọn ứng cử viên nhãn proxy ít tệ nhất.

proxy (thuộc tính nhạy cảm)

hàm thuần tuý

Một hàm có kết quả chỉ dựa trên dữ liệu đầu vào và không có cạnh các hiệu ứng. Cụ thể, hàm thuần tuý không sử dụng hoặc thay đổi bất kỳ trạng thái toàn cục nào, chẳng hạn như nội dung của tệp hoặc giá trị của biến bên ngoài hàm.

Bạn có thể dùng các hàm thuần tuý để tạo mã an toàn cho luồng. Điều này sẽ có lợi khi phân đoạn mã mô hình trên nhiều chip tăng tốc.

Các phương thức biến đổi hàm của JAX yêu cầu hàm đầu vào phải là hàm thuần tuý.

Hỏi

Hàm Q