Neural network là gì
Bài trước học về thuật toán logistic regression với giá trị cổng output là nhị phân. Mặc dù nhiên, logistic regression là một mô hình neural network đơn giản, bài này đang học mô hình neural network đầy đủ.
Bạn đang xem: Neural network là gì
Bạn nên hoàn thành 2 bài bác trước linear regression với logistic regression trước lúc vào bài xích này. Trong bài này có không ít kí hiệu cùng công thức, nên các bạn nên sẵn sàng giấy cây bút để bắt đầu.
Neural network là gì
Con chó rất có thể phân biệt được người thân trong gia đình trong mái ấm gia đình và fan lạ hay đứa trẻ hoàn toàn có thể phân biệt được những con vật. Hầu như việc tưởng như rất đơn giản dễ dàng nhưng lại rất là khó để triển khai bằng máy tính. Vậy sự biệt lập nằm sinh hoạt đâu? Câu vấn đáp nằm ở bộ não với lượng lớn các nơ-ron thần kinh liên kết với nhau. Nạm thì máy tính xách tay có đề xuất mô rộp lại quy mô ấy để giải các bài toán trên ???
Neural là tính từ của neuron (nơ-ron), network chỉ cấu trúc đồ thị cần neural network (NN) là một hệ thống thống kê giám sát lấy cảm xúc từ sự hoạt động vui chơi của các nơ-ron trong hệ thần kinh.
Hoạt động của những nơ-ron
Để màn trình diễn gọn lại ta sẽ gộp hai cách trên thành một trên biểu đồ
Layer thứ nhất là input đầu vào layer, những layer trọng điểm được điện thoại tư vấn là hidden layer, layer cuối cùng được gọi là đầu ra layer. Các hình tròn trụ được điện thoại tư vấn là node.
Mỗi quy mô luôn có một input layer, 1 output đầu ra layer, có thể có hoặc không các hidden layer. Tổng thể layer trong mô hình được quy cầu là số layer – 1 (Không tính đầu vào layer).
Ví dụ như nghỉ ngơi hình trên có một input layer, 2 hidden layer và 1 đầu ra layer. Số lượng layer của mô hình là 3 layer.
Mỗi node trong hidden layer cùng output layer :
Liên kết với tất cả các node sinh hoạt layer trước đó với các hệ số w riêng.Mỗi node có một hệ số bias b riêng.Diễn ra 2 bước: tính tổng linear và áp dụng activation function.Kí hiệu
Số node vào hidden layer sản phẩm công nghệ i là l^(i).
Ma trận W^(k) form size l^(k-1) * l^(k) là ma trận hệ số giữa layer (k-1) và layer k, trong các số ấy w_ij^(k) là hệ số liên kết từ node thứ i của layer k-1 mang lại node sản phẩm công nghệ j của layer k.
Vector b^(k) kích cỡ l^k * 1 là hệ số bias của các node trong layer k, trong những số ấy b_i^(k) là bias của node sản phẩm i trong layer k.
Với node sản phẩm i vào layer l bao gồm bias b_i^(l)thực hiện 2 bước:
Tính tổng linear: z_i^(l) = sum_j=1^l^(l-1) a_j^(l-1) * w_ji^(l) + b_i^(l) , là tổng toàn bộ các node trong layer trước nhân với thông số w tương ứng, rồi cộng với bias b.Áp dụng activation function: a_i^(l) = sigma(z_i^(l))Vector z^(k) kích cỡ l^(k) * một là giá trị các node vào layer k sau bước tính tổng linear.
Vector a^(k) size l^(k) * 1 là giá trị của những node trong layer k sau khoản thời gian áp dụng hàm activation function.
Tương tự ta có:
z^(2) = (W^(2))^T * a^(1) + b^(2) ewline a^(2) = sigma(z^(2)) ewline z^(3) = (W^(3))^T * a^(2) + b^(3) ewline haty = a^(3) = sigma(z^(3))
Do đó
Vậy là rất có thể tính được giá trị dự đoán của nhiều dữ liệu 1 dịp dưới dạng ma trận.
Xem thêm: Đăng Ký Bankplus Ngay Chỉ Cần 6 Bước Đăng Ký Đơn Giản, Hướng Dẫn Đăng Ký Dịch Vụ Bankplus
Giờ từ input đầu vào X ta có thể tính giá tốt trị dự đoán hatY, tuy vậy việc bao gồm cần làm là đi tìm hệ số W cùng b. Có thể nghĩ ngay tới thuật toán gradient descent và việc đặc trưng nhất trong thuật toán gradient descent là đi kiếm đạo hàm của các hệ số so với loss function. Và việc tính đạo hàm của các hệ số vào neural network được tiến hành bởi thuật toán backpropagation, sẽ được trình làng ở bài xích sau. Và vì bài bác này có rất nhiều công thức hại mọi fan rối phải code sẽ tiến hành để ở bài sau.
Logistic regression với toán tử XOR
Phần này sẽ không bắt buộc, nó giúp lý giải việc có nhiều layer hơn thế thì mô hình có vẻ như sẽ giải quyết được những bài toán tinh vi hơn. Ví dụ là mô hình logistic regresion bài bác trước không màn biểu diễn được toán tử XOR tuy thế nếu thêm 1 hidden layer cùng với 2 node ở giữa input layer với output layer thì có thể biểu diễn được toán tử XOR.
AND, OR, XOR là những phép toán thực hiện phép tính bên trên bit. Nắm bit là gì? các bạn không phải quan tâm, chỉ cần phải biết mỗi bit nhận một trong các 2 quý hiếm là 0 hoặc 1.
NOT
Phép tính NOT của một bit tạo ra giá trị ngược lại.
| A | NOT(A) |
| 1 | 0 |
| 0 | 1 |
AND
Phép tính and của 2 bit mang lại giá trị 1 nếu cả 2 bit bằng 1 và mang đến giá trị bởi 0 trong những trường hòa hợp còn lại. Bảng chân lý
| A | B | A và B |
| 0 | 0 | 0 |
| 0 | 1 | 0 |
| 1 | 0 | 0 |
| 1 | 1 | 1 |
Giờ muốn máy vi tính học toán tử AND, ta thấy là công dụng là 0 cùng 1, đề xuất nghĩ ngay cho logistic regression với dữ liệu
| x_1 | x_2 | y |
| 0 | 0 | 0 |
| 0 | 1 | 0 |
| 1 | 0 | 0 |
| 1 | 1 | 1 |
OR
Phép tính OR của 2 bit đến giá trị 1 nếu 1 trong những 2 bit bằng 1 và mang lại giá trị bằng 0 trong những trường vừa lòng còn lại. Bảng chân lý
| A | B | A OR B |
| 0 | 0 | 0 |
| 0 | 1 | 1 |
| 1 | 0 | 1 |
| 1 | 1 | 1 |
Tương từ bỏ ta cũng tìm được w_0 = -0.5, w_1 = 1, w_2 = 1
Nhìn có vẻ rối nhỉ, thuộc phân tích nhé:
node NOT(x_1 & x_2) chính là từ hình 2, cùng với 3 mũi thương hiệu chỉ tới từ 1, x_1, x_2 với thông số w_0, w_1, w_2 khớp ứng là 1.5, -1, -1.node tính x_1 OR x_2 là từ bỏ hình 3 node trong đầu ra layer là phép tính và từ 2 node của layer trước, giá bán trị hệ số từ hình 1 mang xuống.Xem thêm: Cách Nấu Canh Chua Cá Bông Lau, Bí Quyết Làm Món Canh Chua Cá Bông Lau Ngon Nhất
Nhận xét: quy mô logistic regression không giải quyết được việc XOR dẫu vậy mô mình bắt đầu thì giải quyết được bài toán XOR. Đâu là sự việc khác nhau:
Logistic regression chỉ gồm từ input đầu vào layer cùng output layerMô hình mới có một hidden layer gồm 2 node trung tâm input layer cùng output layer=> Có vẻ càng nhiều layer với node thì càng giải quyết và xử lý được các bài toán phức tạp hơn.
