Việc học sâu là gì và nó có ích gì vì vậy lý do chính của thử thách quan trọng cho Học sâu là một giải pháp là giải pháp này lần đầu tiên được thể hiện rõ ràng trong cái gọi là nhiệm vụ tri giác chẳng hạn như nhận dạng đối tượng, vì vậy bạn thấy ở đây bốn loại vật thể khác nhau,
1, Ứng dụng học sâu vào những thứ cơ bản
máy bay xe đạp Chim và ô tô và trong mỗi danh mục, bạn sẽ thấy số lượng biến thể tuyệt đối trong mỗi danh mục và chúng tôi gọi biến thể này là biến thể phiền toái theo nghĩa là đối với nhiệm vụ nhận dạng đối tượng, chúng ta chỉ quan tâm đến danh mục của đối tượng, tất cả biến thể khác này chỉ gây ra vấn đề cho chúng ta và bạn có thể tưởng tượng điều này tổng quát cho nhiều loại nhiệm vụ tri giác khác, chẳng hạn như vậy. để nhận dạng giọng nói nếu bạn muốn nhận ra các từ hoặc âm vị phát ra từ miệng ai đó, những phiền toái có thể là sự thay đổi về cao độ, thay đổi về vo lume nếu tôi bắt đầu nói rất nhỏ hoặc nếu tôi nói điều gì đó thực sự rất nhanh nhưng bạn vẫn có thể hiểu tôi đúng, điều đó có nghĩa là não của bạn có khả năng đối phó với biến thể phiền toái này nhưng hóa ra biến thể phiền toái này phụ thuộc vào nhiệm vụ và có thể khá phi tuyến tính và phức tạp là lý do cốt lõi tại sao các kỹ thuật học máy truyền thống hoặc nông cạn không đủ.
2, Thực hành
và những người khác mà chúng ta luôn ghi nhớ rằng chúng ta không biết nó đúng như thế nào nhưng có hình ảnh này trong tâm trí chúng ta mà chúng ta phải nói rằng chúng ta muốn phân biệt giữa ô tô và máy bay và có một đa tạp là một chiều thấp không gian cho ô tô và cũng có một đa tạp về máy bay được mô tả ở đây ngay bây giờ hai đa tạp đang cong chúng phi tuyến và chúng bị vướng vào nhau nhưng để chúng ta phân biệt chúng bằng một công cụ phân loại tuyến tính đơn giản có nghĩa là tôi có thể đặt một ranh giới tuyến tính tốt đẹp giữa hai lớp mà tôi cần gọi là phân loại hai đa tạp này và tích cực ở dòng bụng trong não của chúng ta từ tất cả các con đường trở lại tất cả các con đường front chịu trách nhiệm về sự chuyển đổi này, vì vậy nếu chúng ta coi đây là thiết lập cơ bản của chúng ta và mục tiêu của chúng ta là tháo gỡ các đa tạp đan xen này thì làm thế nào chúng ta có thể làm tốt điều đó ở mức độ đầu tiên, chúng ta cần xây dựng một số biểu diễn một số tính năng của các đầu vào này nhạy cảm với nhiệm vụ có liên quan hoặc các tính năng mục tiêu trong trường hợp này, danh mục của đối tượng đồng thời mạnh mẽ hoặc bất biến hoặc nhất quán với tất cả các quyền biến thể phiền toái này, chẳng hạn như thay đổi tư thế ví dụ trong ô tô để nhảy múa này của cả hai chọn lọc và bất biến đồng thời đó là điều thực sự khó khăn và đó là những gì chúng ta sẽ xem xét bộ não để có một chút cảm hứng về làm thế nào để giải quyết rất sớm vào những năm 1960 Hubel và Wiesel,
những người cuối cùng đã giành được giải Nobel cho công trình của họ đã phát hiện ra hai loại tế bào khác nhau này, là nguồn cảm hứng cho những người tiền nhiệm ban đầu cho các mạng nơ-ron ngày nay và những tế bào này đã cho họ một ý tưởng ý tưởng được xen kẽ giữa hai lớp xử lý. Lớp đầu tiên được mô tả ở đây là một loại tính chọn lọc mềm và xây dựng, nó tìm kiếm các loại liên kết cụ thể của các tính năng mà lớp thứ hai được hiển thị bằng màu xanh lam là một loại lớp Dung sai hoặc lớp bất biến nó xây dựng một chút khả năng chịu đựng hoặc bất biến đối với những biến thể phiền toái này gây khó khăn cho nhiệm vụ và bằng cách xen kẽ giữa tính chọn lọc và tính bất biến qua nhiều lớp, người ta đưa ra giả thuyết các nhà nghiên cứu đưa ra giả thuyết rằng họ có thể xây dựng một kiến trúc sâu, một mạng lưới thần kinh sâu có thể vừa có tính chọn lọc và bất biến với các tính năng mà chúng tôi muốn, vì vậy đây là nguồn cảm hứng chính cho khoa học thần kinh từ khoa học thần kinh mà bạn biết sớm nhất là kiến trúc Neo cognate Ronn từ đầu những năm 70 cho đến những năm 90 cho đến những mạng lưới phức hợp sâu ngày nay, vì vậy kiến trúc cơ bản này nằm trong cả bốn kiến trúc này. Bây giờ biết rằng bạn biết có ý tưởng cơ bản này không đủ để làm cho nó hoạt động nhưng nó là cần thiết trong trường hợp này,
vì vậy chúng ta hãy lùi lại một chút để học sâu và sâu chúng ta đã có các mạng thần kinh này ở đây và mạng thần kinh là gì, đây là mô tả của một mạng thần kinh mạng nó sử dụng một số loại đầu vào trong trường hợp này là mạng nhận dạng khuôn mặt vì vậy nó sẽ chụp ảnh khuôn mặt và vì vậy các đầu vào ở đây ở bên trái và sau đó là các lớp và các lớp xử lý tuyến tính và phi tuyến tính được mô tả ở đây các khối trung gian của hình ảnh hoặc bản đồ đối tượng ở cuối mạng, một quyết định sẽ được đưa ra, vì vậy trong trường hợp này, quyết định sẽ là bạn biết diễn viên nào hoặc người nổi tiếng nào mà tôi phát hiện trong hình ảnh này là một neur sâu Mạng al phải có những Lin này phi tuyến tính trong đó nếu không nó chỉ trở thành một phép biến đổi tuyến tính và một phép biến đổi tuyến tính giống như một phép hồi quy tuyến tính không có đủ sức biểu đạt nó không thực sự giải quyết được tất cả những phiền toái phức tạp mà tôi đã nói trước đó. phi tuyến tính là điều cần thiết và mỗi khi bạn giới thiệu ngày càng nhiều phi tuyến tính, nó về cơ bản cho phép bạn thể hiện ngày càng nhiều đường cong trong hàm và càng nhiều đường cong hơn nếu bạn muốn, do đó bạn có thể biểu thị các hàm phức tạp hơn nhiều khi bạn có càng nhiều phi tuyến tính vì vậy cơ bản kiến trúc mạng thần kinh nhân tạo tất nhiên được lấy cảm hứng trực tiếp từ não bộ nhưng sau đó chúng ta có thể đi chệch hướng khi chúng ta thấy phù hợp, vì vậy một số thành công của học sâu ngày nay là gì trước khi chúng ta gặp phải một số thất bại và hạn chế đó là trọng tâm chính của phiên này vì vậy loại cảnh quay được nghe thấy trên khắp thế giới trở lại năm 2012 những người cộng sản là người đầu tiên Kiến trúc mạng thực sự thống trị được gọi là thách thức mạng hình ảnh, vì vậy đây là mô tả của mạng nơ-ron 12 lớp này và đây là một trong những mạng nơ-ron lớn nhất từng được đào tạo vào thời điểm nó được phát minh, có bảy lớp ẩn 650.000 đơn vị hoặc nơ-ron nhân tạo và có 60 triệu tham số, anh ta được đào tạo trên nhiều dữ liệu hơn bất kỳ mạng nơ-ron nào khác trong lịch sử tại thời điểm đó, nó đã được đào tạo trên hàng triệu triệu hình ảnh dữ liệu và thực sự dữ liệu đó đã được mở rộng ra hàng tỷ hình ảnh bằng cách sử dụng một thủ thuật gọi là tăng cường dữ liệu. chúng ta hiện đang ở trong giai đoạn Dữ liệu lớn của máy học , nơi các bộ dữ liệu rất lớn và quan trọng cũng là sự ra đời của các phương pháp tính toán nhanh hơn nhiều, bao gồm cả việc sử dụng phần cứng của các đơn vị xử lý đồ họa GPU,
những bộ dữ liệu này đã tăng tốc độ từ 5 lần đến 50 lần so với CPU và điều quan trọng đối với những phát triển này nhưng tất nhiên chúng ta không thể quên rằng dữ liệu này thiết lập hình ảnh này và một tập dữ liệu hàng triệu hình ảnh được dán nhãn bằng tay làm thế nào mà điều đó thậm chí có thể xảy ra, chính Amazon Mechanical Turk đã cho phép chúng tôi thu thập tất cả hàng triệu hình ảnh này và lấy nhãn cho tất cả chúng, vì vậy đây là một phần quan trọng của cuộc cách mạng này, nó sẽ không thể thực hiện được và đã điều này đã không được thực hiện vì vậy sau thành công ban đầu này với nhận dạng đối tượng được mô tả ở đây, bạn có thể thấy bạn có thể thấy một số điều về nhận dạng đối tượng, một là số lượng biến thể tuyệt đối mà bạn xử lý, ví dụ: hãy nhìn vào tất cả những quả bí ngô này đúng vậy có rất nhiều khuôn mặt khác nhau của quả bí ngô nhiều hình ảnh khác nhau về tàu sân bay với độ sáng khác nhau các góc nhìn khác nhau rất nhiều biến thể phiền toái giống với con voi ở đây đúng không và trước đây mọi người thử đưa ra các tính năng thiết kế bằng tay các kiến trúc thiết kế có thể đối phó với những phiền toái này bây giờ tất cả điều này đang được học trực tiếp từ dữ liệu và bên này ở bên trái Ở đây, bạn thấy loại đầu ra mà một mạng tích chập có thể cung cấp cho nó phân phối xác suất trên các danh mục khác nhau, vì vậy đối với nhiệm vụ này, nhiệm vụ phân loại để bạn lấy ra các xác suất này cho bất kỳ đầu vào nhất định nào và đôi khi xác suất có ý nghĩa trong trường hợp đó chúng ta gọi chúng là hiệu chuẩn và những lần khác, các xác suất thực sự không có ý nghĩa gì cả và chúng tôi gọi chúng là không hiệu chỉnh. Điều thú vị về mạng nơ-ron là liệu các xác suất đã được hiệu chuẩn hoặc hiệu chỉnh, chúng dường như học cách đưa ra quyết định đúng nhưng đó đã là dấu hiệu đầu tiên rằng chúng không thể được coi là hộp đen,
các xác suất sắp xuất hiện không nhất thiết phải được hiệu chỉnh với thực tế sau thành công ban đầu này, có một loại rất lớn nếu bạn sẽ bùng nổ kỷ Cambri của các loại kiến trúc mạng nơ-ron khác nhau , sự tiến hóa của các loài nơ-ron khác nhau này mạng trở nên thực sự dễ dàng thực hiện, bạn có thể tự thiết kế mạng thần kinh đào tạo nó trên một số tập dữ liệu và trong vòng vài ngày sẽ kiểm tra nó và khả năng lặp lại nhanh chóng để xác định và lặp lại và huấn luyện mạng thần kinh đã dẫn đến rất nhiều loài khác nhau mà ngày nay chúng ta không thể bao quát hết được nhưng chúng ta có thể hãy nhìn vào một vài kiến trúc cụ thể đã được phát triển để nhận dạng khuôn mặt, nó được gọi là kiến trúc khuôn mặt sâu. hình ảnh, vì vậy, ví dụ như vẫn còn một số xử lý trước ở đây, vì vậy tôi không chỉ chuyển sang một hình ảnh thô, trước tiên, tôi chụp ảnh thô này, tôi sẽ xử lý trước một chút để cắt ra phần hình ảnh sẽ liên quan đến khuôn mặt vẫn cần, bạn vẫn cần xử lý trước, bạn vẫn cần lấy nét, bạn cũng cần làm những gì gọi là nhận thức mặt trước, bạn cần xoay khuôn mặt một lần nữa đây là một chuyên gia thị giác máy tính nhượng bộ không liên quan đến mạng nơ-ron để làm thẳng và làm cho khuôn mặt nhìn về phía trước và sau đó, bạn chuyển nó vào một mạng nơ-ron có nhiều lớp đơn vị và bạn nhận thấy rằng mỗi lớp có thể được hình dung như thể nó là một hình ảnh. được rồi, vì vậy có một thành phần x và y và có một loạt các kênh cho hình ảnh này, vì vậy chúng được gọi là bản đồ đối tượng, bạn có thể coi chúng như một bản tổng hợp của hình ảnh và khi bạn đi sâu hơn và sâu hơn, bạn có thể vẫn thấy những gì còn lại của hình ảnh ban đầu trong lớp thứ hai này nhưng khi bạn đi sâu hơn và sâu hơn, những kích hoạt này, các phản ứng của các tế bào thần kinh nhân tạo này ngày càng trở nên trừu tượng hơn và chúng ta không còn có thể giải thích những gì thực sự đang diễn ra ở các lớp sâu hơn này, đây là một lĩnh vực nghiên cứu đang hoạt động để tìm ra ngoài ra còn có một số phép toán và vòng quay của chúng để sử dụng các loại mạng thần kinh sâu này, nhiều loại ứng dụng tuyệt vời có thể người ta có thể kết hợp nội dung o Nếu một hình ảnh này với phong cách của một hình ảnh khác, do đó bạn có thể lấy phong cách yêu thích của mình từ một bức tranh mà bạn thích như đêm đầy sao của van Gogh và kết hợp nó với nội dung của một số hình ảnh khác, chúng tôi sẽ không có thời gian để đi vào chi tiết nhưng thực tế là điều này có thể và mang lại cho con người mà bạn biết hình ảnh chất lượng cảm nhận cao là một trong những điều đáng kinh ngạc mà chúng tôi phát hiện ra rằng mặt khác có những hạn chế và khi chúng ta nhìn vào một số hạn chế này, chúng ta có thể thấy ở bên trái- Mặt khác, khi chúng tôi đào tạo mạng nơ-ron để tạo ra các chữ số mà chúng thực hiện khá tốt trong việc tạo các chữ số, chúng thậm chí còn học cách để bạn biết rằng chúng thậm chí còn hiểu ngầm rằng xiên là một loại biến quan trọng để tạo các chữ số khác nhau để chúng tự động đã học những thứ này chỉ bằng cách học cách tạo ra các chữ số tuy nhiên khi bạn yêu cầu họ tạo ra những con chó phức tạp hơn nhiều, tôi không biết về bạn nhưng đó là con chó trông đáng sợ nhất Tôi đã từng thấy và điều này bắt đầu cho bạn thấy những hạn chế của những mạng nơ-ron này mà chúng đang nắm bắt một thứ gì đó ở trung tâm là một thứ giống chó và thực sự nếu bạn nhìn vào một mảng pixel cục bộ thì nó có một kết cấu liên quan đến tính chó nhưng trên toàn cầu thì nó không hoàn toàn hợp lý vì vậy chúng ta đã thấy rằng có thể những mạng tích tụ này được sử dụng để tạo ra chúng chỉ là mô hình hóa các mối tương quan cục bộ và bằng cách nào đó thiếu các mối tương quan trong phạm vi dài, vì vậy chúng ta bắt đầu thấy một số chế độ thất bại,
tuy nhiên mọi người vẫn tiếp tục để tiến bộ và họ thiết kế mạng lưới thần kinh ngày càng tốt hơn và tốt hơn và sau nhiều năm lặp đi lặp lại, họ bắt đầu tạo ra những khuôn mặt với những khuôn mặt người nổi tiếng trong mạng lưới thần kinh này giờ đây hai người nổi tiếng này không thực sự tồn tại. Tôi không thể đưa youtube hoạt động ở Trung Quốc nhưng tôi rất khuyến khích bạn sau khi thực tế hãy xem video này và xem những điều này để nâng cao diện mạo mặt di chuyển ra khỏi miền trực quan, bạn không chỉ có thể tạo hình ảnh mà còn có thể tạo văn bản trông thực tế, vì vậy điều này đang tạo mã đánh dấu wiki tạo mã C ++ và nếu bạn là một người hơi khó tính tạo cấu trúc liên kết đại số thì tất cả ba ngôn ngữ này mà tôi chỉ hiểu được một vài ngôn ngữ, tất cả các ngôn ngữ này đều có ngữ pháp riêng có cú pháp riêng và bạn có thể thấy rằng mạng nơ-ron học rất nhiều cú pháp, rất nhiều ngữ pháp, tuy nhiên nếu bạn nhận thấy văn bản vô nghĩa về mặt ngữ nghĩa thì mã này không thậm chí không biên dịch nó trông giống như mã C ++ nhưng nó hoàn toàn vô nghĩa đúng như vậy với cấu trúc liên kết đại số nhưng II sẽ không thể nói như vậy một lần nữa chúng tôi thấy các giới hạn của học sâu, chúng tôi thấy rằng bạn có thể học rất nhiều cấu trúc cú pháp nhưng về mặt ngữ nghĩa thì nó vô nghĩa, tất nhiên có rất nhiều ứng dụng khác của học sâu mà chúng ta không có thời gian để đi sâu vào một trong số đó là ứng dụng khoa học thần kinh ation hóa ra và đây là một trong những slide mà tôi sẽ bỏ qua vì theo thời gian, nó hóa ra quá nhiều khiến nhiều nhà khoa học thần kinh phải buồn cười, các mô hình phản ứng tốt nhất của chúng ta trong vỏ não thị giác hiện là mạng lưới thần kinh xoắn sâu đạt được một r bình phương của khoảng 50%, điều này có nghĩa là hiển thị
3, Ứng dụng cơ bản
đầu vào hình ảnh tự nhiên hoặc kết xuất tổng hợp cho một con khỉ và cũng cho một mạng thần kinh cả hai đều có thể thực hiện cùng một nhiệm vụ nhận dạng đối tượng và sau đó xem bạn có thể dự đoán phản ứng trong não tốt như thế nào ra khỏi các phản hồi trong mạng nơ-ron và đó là nơi bình phương r của khoảng 50% xuất hiện và gần như có vẻ như các lớp sau này gần tương ứng với các khu vực sau đó trong hệ thống phân cấp trực quan, vì vậy điều này có vẻ cho thấy rằng mặc dù mạng phức hợp sâu thì không. neroli hoặc có thể chúng gần như không hợp lý, có điều gì đó tương tự về các biểu diễn mà chúng học được từ màn hình bụng trong não, điều này hơi kỳ quái. Tuy nhiên, phát hiện đáng ngạc nhiên hiện nay đối với một số nước lạnh, vì vậy học sâu vẫn còn nhiều điều phải đấu tranh và một trong những điều mà nó phải vật lộn với nó sẽ rất quan trọng đối với các ứng dụng của nó trong Khoa học Tự nhiên,
vì vậy, đặc biệt là bạn có thể đã nghe về Tai nạn lái tự động Tesla mà tôi thực sự không thể tìm thấy hình ảnh của nó trên internet nữa, họ đã gỡ tất cả xuống nhưng một mạng nơ-ron của Tesla trong phi công lái xe ô tô đã bỏ lỡ phân loại sai đã phân loại sai aa xe đầu kéo làm biển quảng cáo như vậy và bởi vì Đó là một bảng quảng cáo nó đã phủ quyết radar và nói rằng hãy bỏ qua các cảnh báo của radar và vì vậy, thật không may người lái xe Tesla đã chạy ngay vào đầu vào xe đầu kéo và chết vì vậy tôi nghĩ đó là lỗi nổi bật nhất mà mạng nơ-ron tạo ra nhưng nó chỉ để cho bạn thấy rằng bạn không thể chỉ tin tưởng vào chiếc hộp đen mà nó không thể diễn giải được và trước khi bạn đặt nó vào một thứ nguy hiểm như ô tô, chúng ta thực sự cần những cách chính thức giải thích và xác minh những gì đang diễn ra bên dưới một khía cạnh đáng lo ngại khác của mạng nơ-ron sâu có vẻ cực kỳ mạnh mẽ là chúng có xu hướng được gọi là ví dụ đối nghịch, vì vậy bạn có thể thấy ở đây, bên phải, tôi có thể chụp ảnh một con gấu trúc mà tôi có thể thêm một số đối thủ đã chọn nhiễu nó và có được hình ảnh mới này mà con người không thể nhận thấy được. một chiếc xe buýt trường học nếu bạn muốn thì nó thực sự rất tệ nên rõ ràng bộ não của chúng ta không làm được điều này. sự bất ổn định đầu vào và đầu ra kỳ lạ trong các mạng nơ-ron này mà chúng tôi không thể giảm bớt và cuối cùng chúng là bạn biết điều quan trọng nhất đối với ứng dụng khoa học tự nhiên ý kiến là học sâu có tính tổng quát hóa kém khi ngoại suy bên ngoài tập huấn luyện, vì vậy chúng ta hãy đi một chút tìm hiểu ý nghĩa của chúng tôi vì vậy một số ứng dụng của học sâu trong Khoa học tự nhiên là gì.
cố gắng tự động hóa các nhiệm vụ cảm nhận tẻ nhạt và tốn thời gian hoặc tốn kém nhưng ứng dụng mô hình hóa linh hoạt hơn là ứng dụng mà chúng tôi thực sự quan tâm là cách chúng tôi mô hình hóa các hệ thống phi tuyến phức tạp lớn, vì vậy tôi sẽ tiếp tục và cho bạn thấy một ví dụ về điều gì sẽ xảy ra khi bạn tìm hiểu sâu về mạng lưới thần kinh tái diễn và điều này sẽ thúc đẩy hai cuộc nói chuyện tiếp theo, vì vậy ở đây, tôi đã đào tạo một hệ thống thực sự hiểu được động lực của vực thẳm của nó, về cơ bản đó là một loạt các bộ dao động kết hợp với một loạt các con lắc. một loạt các đồng hồ của ông nội được ghép nối bằng không khí và bạn có thể thấy trong màu cam rằng tôi không có đủ bộ dao động và vì vậy tôi có thể một phần m imic hành vi thực sự của hệ thống nhưng tôi có một số lỗi sau thời gian T bằng 10 bây giờ hãy tưởng tượng làm điều tương tự với mạng nơ-ron tuần hoàn
Tôi sẽ sử dụng một mạng nơ-ron tuần hoàn có dung lượng rất cao, nó rất phổ biến, nó được gọi là alice tiem bạn nhận thấy rằng LS TM hoàn toàn có thể khớp với mười đơn vị thời gian đầu tiên và sau đó khi ngoại suy nó hoàn toàn thất bại và chúng tôi đã thử rộng rãi trên nhiều kiến trúc khác nhau và đây là vấn đề quan trọng là học sâu có một rất nhiều sức mạnh biểu đạt như một lượng lớn tính linh hoạt nhưng nó rất khó ngoại suy vì nó không hiểu vật lý thực sự của hệ thống, vậy làm thế nào để chúng ta hiểu được vật lý thực sự của các ràng buộc miền thực sự trong một hệ thống cụ thể để đặt hai trong số các cuộc nói chuyện tiếp theo của chúng tôi từ go Feng Shang sẽ chỉ ra cách áp đặt các loại kiến thức miền này và các ràng buộc trong lĩnh vực thị giác máy tính bằng cách sử dụng các ràng buộc từ đa địa lý phép đo và và Kyle sẽ chỉ ra Kyle cũng sẽ chỉ ra cách sử dụng các loại ràng buộc miền cụ thể này trong các ứng dụng vật lý hạt như thế nào để chúng ta áp đặt bảo toàn năng lượng và động lượng và tất cả các loại hạt khác nhau, tất cả những kiến thức từ vật lý hạt như thế nào chúng tôi áp đặt nó trong khi vẫn giữ được tính linh hoạt và sức mạnh của học sâu và với điều đó, tôi chắc chắn sẽ kết thúc bài nói dài và nếu ai đó muốn nói về cách chúng tôi thực hiện điều này trong khoa học thần kinh, làm thế nào để chúng tôi áp đặt kiến thức miền được trích xuất trực tiếp từ hình ảnh vỏ não bao gồm cách các tế bào thần kinh hoạt động và chúng được kết nối với ai, đó là nỗ lực lớn này nếu ai đó muốn nói về điều đó ngoại tuyến, tôi rất muốn tiếp tục được, cảm ơn bạn
