Học sâu hay Thâm học (tiếng Anh: deep learning) là một chi của ngành máy học dựa trên một tập hợp các thuật toán để cố gắng mô hình dữ liệu trừu tượng hóa ở mức cao bằng cách sử dụng nhiều lớp xử lý với cấu trúc phức tạp, hoặc bằng cách khác bao gồm nhiều biến đổi phi tuyến.
Học sâu là một phần của một họ những giải pháp học máy rộng hơn dựa trên đại diện thay mặt học của tài liệu. Một quan sát ( ví dụ như, một hình ảnh ) hoàn toàn có thể được màn biểu diễn bằng nhiều cách như một vector của những giá trị cường độ cho mỗi điểm ảnh, hoặc một cách trừu tượng hơn như thể một tập hợp những cạnh, những khu vực hình dạng đơn cử, vv. Một vài đại diện thay mặt làm khiến việc học những trách nhiệm thuận tiện hơn ( ví dụ, nhận dạng khuôn mặt hoặc biểu lộ xúc cảm trên khuôn mặt ) từ những ví dụ. Một trong những hứa hẹn của học sâu là thay thế sửa chữa những tính năng thủ công bằng những thuật toán hiệu suất cao so với học không có giám sát hoặc nửa giám sát và tính năng phân cấp .
Các nghiên cứu trong lĩnh vực này cố gắng thực hiện các đại diện tốt hơn và tạo ra các mô hình để tìm hiểu các đại diện này từ dữ liệu không dán nhãn quy mô lớn. Một số đại diện được lấy cảm hứng bởi những tiến bộ trong khoa học thần kinh và được dựa trên các giải thích của mô hình xử lý và truyền thông thông tin trong một hệ thống thần kinh, chẳng hạn như mã hóa thần kinh để cố gắng để xác định các mối quan hệ giữa các kích thích khác nhau và các phản ứng liên quan đến thần kinh trong não.
Nhiều kiến trúc học sâu khác nhau như mạng neuron sâu, mã mạng neuron tích chập sâu, mạng niềm tin sâu và mạng neuron tái phát đã được vận dụng cho những nghành nghề dịch vụ như thị giác máy tính, tự động hóa nhận dạng giọng nói, giải quyết và xử lý ngôn từ tự nhiên, nhận dạng âm thanh ngôn từ và tin sinh học, chúng đã được chứng tỏ là tạo ra những tác dụng rất tốt so với nhiều trách nhiệm khác nhau .
Ngoài ra, học sâu đã trở thành một từ ngữ thời thượng, hay một thương hiệu của mạng neuron.
Có một số ít cách để diễn đạt học sâu. Học sâu là một lớp của những thuật toán máy học mà ( pp199 – 200 )
- Sử dụng một tầng (cascade) nhiều lớp các đơn vị xử lý phi tuyến để trích tách đặc điểm và chuyển đổi. Mỗi lớp kế tiếp dùng đầu ra từ lớp trước làm đầu vào. Các thuật toán này có thể được giám sát hoặc không cần giám sát và các ứng dụng bao gồm các mô hình phân tích (không có giám sát) và phân loại (giám sát).
- Dựa trên học (không có giám sát) của nhiều cấp các đặc điểm hoặc đại diện của dữ liệu. Các tính năng cao cấp bắt nguồn từ các tính năng thấp cấp hơn để tạo thành một đại diện thứ bậc.
- Là một phần của lĩnh vực máy học rộng lớn hơn về việc học đại diện dữ liệu.
- Học nhiều cấp độ đại diện tương ứng với các mức độ trừu tượng khác nhau; các mức độ hình thành một hệ thống phân cấp của các khái niệm.
Các định nghĩa này có điểm chung là ( 1 ) nhiều lớp những đơn vị chức năng giải quyết và xử lý phi tuyến và ( 2 ) học có giám sát hoặc không có giám sát của trình diễn đặc tính ở mỗi lớp, với những lớp hình thành một mạng lưới hệ thống những tính năng phân cấp từ thấp đến hạng sang. ( p200 ) Các thành phần của một lớp của đơn vị chức năng giải quyết và xử lý phi tuyến sử dụng một thuật toán học sâu tùy theo yếu tố cần được xử lý. Các lớp được sử dụng trong học sâu gồm có những lớp ẩn của một mạng neuron tự tạo và tập những công thức mệnh đề phức tạp. Chúng cũng hoàn toàn có thể gồm có những biến tiềm ẩn được tổ chức triển khai thành những lớp tinh lọc trong những mô hình thể sinh ( có năng lực sinh ra ) sâu như những nút trong Deep Belief Networks và Deep Boltzmann Machines .
Các thuật toán học sâu tương phản với các thuật toán học nông bởi số biến đổi được tham số hóa một tín hiệu gặp phải khi nó lan truyền từ các lớp đầu vào đến lớp đầu ra, nơi một biến đổi được tham số hóa là một đơn vị xử lý có các thông số có thể huấn luyện được, chẳng hạn như trọng số và ngưỡng.(p6) Một chuỗi các biến đổi từ đầu vào đến đầu ra là một đường gán kế thừa (CAP- credit assignment path). CAP mô tả các kết nối quan hệ nhân quả tiềm năng giữa đầu vào và đầu ra và có thể thay đổi chiều dài. Đối với một mạng neuron nuôi tiến (feedforward), độ sâu của CAP, và do đó độ sâu của mạng đó, là số lượng các lớp ẩn cộng 1 (lớp đầu ra cũng là tham số hóa). Đối với mạng neuron tái phát, trong đó một tín hiệu có thể truyền thông qua một lớp nhiều hơn một lần, CAPcó khả năng không bị giới hạn chiều dài. Không có sự thống nhất chung về ngưỡng của độ sâu chia học cạn với học sâu, nhưng hầu hết các nhà nghiên cứu trong lĩnh vực đồng ý rằng học sâu có nhiều lớp phi tuyến (CAP > 2) và Schmidhuber coi CAP > 10 để là học rất sâu.(p7)
Khái niệm cơ bản[sửa|sửa mã nguồn]
Các thuật toán học sâu dựa trên những đại diện thay mặt phân phối. Giả định tiềm ẩn đằng sau những đại diện thay mặt phân phối là những tài liệu được quan sát là được tạo ra bởi sự tương tác của những yếu tố được tổ chức triển khai theo lớp. Học sâu thêm giả định rằng những lớp của những yếu tố này tương ứng với những mức độ trừu tượng hay theo thành phần. Các số lượng khác nhau của những lớp và size của lớp hoàn toàn có thể được sử dụng để lao lý những lượng trừu tượng khác .Học sâu khai thác sáng tạo độc đáo thứ bậc những yếu tố lý giải này ở cấp cao hơn, những khái niệm trừu tượng hơn được học từ những Lever thấp hơn. Những kiến trúc này thường được thiết kế xây dựng với một chiêu thức lớp chồng lớp tham lam. Học sâu giúp để tháo gỡ những khái niệm trừu tượng này và chọn ra những đặc thù thiết yếu cho việc học .Đối với những trách nhiệm học có giám sát, những phương pháp học sâu sẽ tránh kỹ thuật đặc thù ( feature engineering ), bằng cách dịch những tài liệu vào những đại diện thay mặt trung gian nhỏ gọn giống như những thành phần chính, và lấy được những cấu trúc lớp mà vô hiệu sự thừa thải trong đại diện thay mặt .Rất nhiều những thuật toán học sâu được vận dụng cho những trách nhiệm học không có giám sát. Đây là một quyền lợi quan trọng chính do tài liệu không dán nhãn ( chưa phân loại ) thường phong phú và đa dạng hơn những tài liệu dán nhãn. Một ví dụ của một cấu trúc sâu hoàn toàn có thể được huấn luyện và đào tạo theo cách không có giám sát là một mạng lưới tin sâu ( deep belief network ) .
Mạng neuron sâu thường được lý giải theo cách : định lý xê dịch tổng quát hoặc Suy luận Phần Trăm .
Diễn giải Định lý Xấp xỉ Phổ quát[sửa|sửa mã nguồn]
Định lý xê dịch phổ quát đề cập đến năng lực của mạng neuron tiến tiếp ( feedforward ) với một lớp ẩn có kích cỡ hữu hạn đơn để giao động những hàm liên tục .Năm 1989, là vật chứng tiên phong được xuất bản bởi George Cybenko cho những hàm kích hoạt h ình sigma và được lan rộng ra so với những kiến trúc nuôi tiến nhiều lớp vào năm 1991 bởi Kurt Hornik .
Diễn giải Tỷ Lệ[sửa|sửa mã nguồn]
Diễn giải Phần Trăm bắt nguồn từ nghành máy học. Nó có đặc thù suy luận, cũng như những khái niệm tối ưu hóa giảng dạy và và kiểm tra, tương quan đến việc tương thích và tổng quát hóa tương ứng. Cụ thể hơn, diễn giải Phần Trăm sẽ xem xét kích hoạt một cách phi tuyến như thể một hàm phân phối tích góp. Xem mạng tin sâu. Diễn giải Tỷ Lệ dẫn đến sự sinh ra của dropout như regularizer trong mạng neuron .Diễn giải Tỷ Lệ đã được trình làng và phổ cập thoáng đãng bởi những tiên phong như Geoff Hinton, Yoshua Bengio, Yann Le Cun, Juergen Schmidhuber .
Các kiến trúc học sâu, đặc biệt quan trọng là những kiến trúc được thiết kế xây dựng từ mạng neuron tự tạo ( ANN ), đã từng thống trị tối thiểu là tới Neocognitron được trình làng bởi Masahiko Fukushima vào năm 1980. Chính những ANN lại thống trị thậm chí còn lâu hơn nữa. Thách thức là làm thế nào để huấn luyện và đào tạo mạng lưới này với nhiều lớp. Năm 1989, Yann Le Cun và những tập sự đã hoàn toàn có thể vận dụng những thuật toán truyền ngược tiêu chuẩn, khoảng chừng từ năm 1974, so với một mạng neuron sâu với mục tiêu nhận dạng chữ viết tay mã ZIP trong những bức thư. Mặc dù sự thành công xuất sắc trong việc vận dụng thuật toán này, thời hạn để huấn luyện và đào tạo mạng dựa trên số liệu này mất khoảng chừng 3 ngày, làm cho việc sử dụng nó vào những mục tiêu thông thường trở nên không trong thực tiễn. Năm 1995, Brendan Frey đã chứng tỏ rằng hoàn toàn có thể huấn luyện và đào tạo một mạng nơ ron gồm có vừa đủ sáu lớp liên kết và vài trăm đơn vị chức năng ẩn bằng cách sử dụng thuật toán đánh thức giấc ngủ, nó được hợp tác tăng trưởng với Peter Dayan và Geoffrey Hinton. Tuy nhiên, việc huấn luyện và đào tạo phải mất hai ngày .Nhiều yếu tố góp thêm phần vào nguyên do gây ra vận tốc chậm, một là yếu tố biến mất gradient được nghiên cứu và phân tích vào năm 1991 bởi Sepp Hochreiter .
Trong năm 1991 những mạng neuron như vậy được sử dụng để nhận diện chữ số viết tay 2-D cách ly, nhận dạng đối tượng 3-D được thực hiện bằng cách kết hợp các hình ảnh 2-D với một mô hình đối tượng 3-D thủ công. Juyang Weng và các cộng sự đề xuất rằng một bộ não người không sử dụng một mô hình đối tượng 3-D nguyên khối, và vào năm 1992, họ xuất bản Cresceptron, một phương pháp để thực hiện nhận dạng đối tượng 3-D trực tiếp từ các hậu trường lộn xộn. Cresceptron là một ghép tầng của các lớp tương tự như Neocognitron. Nhưng trong khi Neocognitron yêu cầu một lập trình viên con người can thiệp, Cresceptron sẽ tự động học được một số đặc điểm không có giám sát trong mỗi lớp, nơi mà mỗi đặc điểm được đại diện bởi một nhân tích chập. Cresceptron cũng phân đoạn từng đối tượng học được từ một cảnh nền lộn xộn thông qua việc phân tích ngược mạng đó. Thăm dò max, bây giờ thường được thông qua bởi các mạng neuron sâu (ví dụ: các kiểm tra ImageNet), lần đầu tiên sử dụng trong Cresceptron để giảm độ phân giải vị trí bởi của một hệ số (2×2) đến 1 thông qua việc ghép tầng tổng quát hóa tốt hơn. Mặc dù có những lợi thế như thế, các mô hình đơn giản hơn sử dụng nhiệm vụ cụ thể có đặc điểm thủ công như bộ Gabor và các máy hỗ trợ vector (SVM-support vector machines) đã là lựa chọn phổ biến trong thập niên 1990 và thập niên 2000, bởi vì chi phí tính toán bởi các ANN và vì thiếu sự hiểu biết về cách thức bộ não tự quản các kết nối mạng sinh học của nó.
Trong lịch sử dân tộc lâu bền hơn của nhận dạng giọng nói, cả học nông và học sâu ( ví dụ, những mạng tái phát ) của mạng neuron tự tạo đã được tò mò trong nhiều năm. Nhưng những giải pháp này không khi nào thắng được công nghệ tiên tiến quy mô hỗn hợp / quy mô Markov ẩn Gaussian ( GMM-HMM ) thủ công-nội bộ dựa trên những mô hình thể sinh của việc đào tạo và giảng dạy nhận dạng giọng nói một cách rõ ràng. Một số khó khăn vất vả chính đã được nghiên cứu và phân tích một cách có giải pháp, gồm có giảm bớt gradient và cấu trúc đối sánh tương quan thời hạn yếu và trong những quy mô tiên đoán thần kinh. Những khó khăn vất vả bổ trợ đó là thiếu tài liệu huấn luyện và đào tạo lớn và năng lực giám sát yếu trong thời hạn khởi đầu. Vì vậy, hầu hết nhà nghiên cứu và điều tra nhận dạng giọng nói đã hiểu rõ những rào cản như vậy đã chuyển ra khỏi những mạng nơ ron để theo đuổi mô hình thể sinh, cho đến khi một sự hồi sinh gần đây của học sâu đã vượt qua tổng thể những khó khăn vất vả này. Hinton và những tập sự và Đặng cùng những tập sự đã xem xét một phần của lịch sử vẻ vang này gầy đây về cách họ cộng tác với nhau và sau đó với những đồng nghiệp giữa những nhóm tái phát động điều tra và nghiên cứu mạng neuron và khởi đầu điều tra và nghiên cứu học sâu và những ứng dụng nhận dạng giọng nói .
Các mạng neuron tự tạo[sửa|sửa mã nguồn]
Một số phương pháp học sâu thành công xuất sắc nhất là mạng neuron tự tạo. Mạng neuron tự tạo được lấy cảm hứng từ những mô hình sinh học năm 1959 được đề xuất kiến nghị bởi người đoạt giải Nobel David H. Hubel và Torsten Wiesel, 2 người đã tìm thấy hai loại tế bào trong vỏ não thị giác chính : những tế bào đơn thuần và những tế bào phức tạp. Nhiều mạng neuron tự tạo hoàn toàn có thể được xem như thể những quy mô ghép tầng của những tế bào loại lấy cảm hứng từ những quan sát sinh học .Neocognitron của Fukushima ra mắt những mạng neuron tích chập được đào tạo và giảng dạy một phần bởi học không có giám sát với những đặc thù được con người hướng dẫn trong mặt phẳng thần kinh. Yann LeCun … ( 1989 ) vận dụng truyền ngược có giám sát cho những kiến trúc như vậy. Weng … ( 1992 ) công bố những mạng neuron tích chập Cresceptron để nhậ dạng những đối tượng người tiêu dùng 3 – D từ những hình ảnh có hậu trường lộn xộn và phân khúc của những đối tượng người dùng từ hình ảnh đó .Một nhu yếu rõ ràng để nhận dạng những đối tượng người dùng 3 – D nói chung là tối thiểu là biến hóa tính không bao giờ thay đổi và năng lực chịu biến dạng. Thăm dò Max ( Max-pooling ) Open lần tiên phong được yêu cầu bởi Cresceptron để kích hoạt mạng để chịu đựng được sự biến dạng từ nhỏ đến lớn theo một cách phân cấp, trong khi sử dụng tích chập. Thăm dò mã đã hoạt động giải trí tốt, nhưng không bảo vệ, di dời bất định ở mức điểm ảnh .Với sự sinh ra của thuật toán truyền ngược được tò mò ra một cách độc lập bởi nhiều nhóm trong thập niên 1970 và 1980, nhiều nhà nghiên cứu đã cố gắng nỗ lực để huấn luyện và đào tạo những mạng neuron tự tạo sâu có giám sát từ đầu, khởi đầu với rất ít thành công xuất sắc. Luận văn tốt nghiệp cao đẳng của Sepp Hochreiter năm 1991 chính thức xác lập nguyên do cho sự thất bại này là yếu tố biến mất gradient, tác động ảnh hưởng đến những mạng nuôi tiến nhiều lớp và những mạng neuron hồi qui. Các mạng tái phát ( hồi qui ) được đào tạo và giảng dạy bằng cách trải chúng ra vào những mạng nuôi tiến rất sâu, nơi một lớp mới được tạo ra cho mỗi bước thời hạn của một chuỗi nguồn vào được giải quyết và xử lý bởi mạng này. Khi những sai số truyền từ lớp này sang lớp khác, chúng co lại theo cấp số nhân với số lượng lớp, ngăn cản kiểm soát và điều chỉnh trọng số nơ ron, dựa trên những sai số này .Để khắc phục yếu tố này, 1 số ít giải pháp đã được yêu cầu. Một là thứ bậc đa cấp của mạng của Jürgen Schmidhuber ( 1992 ) Lever một được huấn luyện và đào tạo trước tại một thời gian bởi học không có giám sát, kiểm soát và điều chỉnh bởi truyền ngược. Ở đây, mỗi cấp học một đại diện thay mặt bị nén của những quan sát được đưa đến Lever tiếp theo .Phương pháp khác là mạng bộ nhớ dài thời gian ngắn ( LSTM ) của Hochreiter và Schmidhuber ( 1997 ). Trong năm 2009, những mạng LSTM đa chiều sâu đã thắng lợi ba cuộc thi ICDAR năm 2009 trong nhận dạng chữ viết tay, mà không có bất kể kỹ năng và kiến thức sẵn có về ba ngôn từ để được học .Sven Behnke vào năm 2003 dựa chỉ vào những tín hiệu của gradient ( Rprop ) khi huấn luyện và đào tạo Kim tự tháp Trừu tượng Nơ ron của mình để giải bài toán giống như tái tạo hình ảnh và xác định khuôn mặt .Các chiêu thức khác cũng sử dụng đào tạo và giảng dạy trước không có giám sát để tạo ra một mạng nơ ron, khiến nó lần tiên phong học được bộ dò đặc thù nói chung là có ích. Sau đó mạng này được giảng dạy liên tục bằng cách truyền ngược có giám sát để phân loại tài liệu có dán nhãn. Mô hình sâu này của Hinton và những tập sự ( 2006 ) tương quan đến việc học phân phối của một đại diện thay mặt hạng sang bằng cách sử dụng những lớp sau đó của những biến tiềm ẩn nhị phân hoặc giá trị thực. nó sử dụng một máy Boltzmann hạn chế ( Smolensky, 1986 ) để quy mô hóa mỗi lớp mới của những đặc thù hạng sang hơn. Mỗi lớp mới bảo vệ một sự tăng trưởng trong biên thấp của kiểm tra tỷ suất giống của tài liệu, do đó tăng cường cho quy mô, nếu được huấn luyện và đào tạo đúng cách. Một khi đã đủ nhiều lớp đã được học, kiến trúc sâu hoàn toàn có thể được sử dụng như thể một mô hình thể sinh bằng cách tái tạo tài liệu khi lấy mẫu xuống quy mô đó ( một ” sự vượt qua tổ tiên ” ) từ những kích hoạt tính năng cấp đỉnh. Hinton báo cáo giải trình rằng những quy mô của mình là trích xuất những đặc thù hiệu suất cao tính theo chiều cao, cấu trúc tài liệu .Nhóm Google Brain do Andrew Ng và Jeff Dean đã tạo ra một mạng nơ ron học cách để nhận dạng được những khái niệm hạng sang hơn, ví dụ điển hình như con mèo, chỉ từ xem những hình ảnh không được dán nhãn từ những video trên YouTube .Các chiêu thức khác dựa trên sức mạnh giải quyết và xử lý tiêu biểu vượt trội của những máy tính tân tiến, đặc biệt quan trọng, là những GPU. Trong năm 2010, Dan Ciresan và những đồng nghiệp trong nhóm của Jürgen Schmidhuber tại Phòng thí nghiệp AI Thụy Sĩ IDSIA cho thấy rằng mặc dầu ” yếu tố biến mất gradient ” nêu trên, thì với sức mạnh giải quyết và xử lý tiêu biểu vượt trội của những GPU làm khiến cho đồng truyền ngược đơn thuần trở nên khả thi so với những mạng neuron nuôi tiến sâu với nhiều lớp. Phương pháp này tốt hơn tổng thể những kỹ thuật máy học khác trong việc giải bài toán cũ nổi tiếng MNIST chữ số viết tay của Yann Le Cun và những đồng nghiệp tại NYU .Cùng lúc đó, cuối năm 2009, học sâu đã thực thi xâm nhập vào nhận dạng giọng nói, khi được ghi lại bởi Hội thảo NIPS về học sâu trong nhận dạng giọng nói. Việc tăng cường hợp tác giữa những nhà nghiên cứu của Microsoft Research và ĐH Toronto đã chứng tỏ vào giữa năm 2010 ở Redmond rằng những mạng neuron sâu tiếp xúc với một quy mô Markov ẩn với những trạng thái nhờ vào vào ngữ cảnh xác lập lớp đầu ra của mạng neuron hoàn toàn có thể giảm mạnh lỗi trong những tác vụ nhận dạng lời nói có vốn từ vựng lớn như tìm kiếm qua giọng nói. Cùng một quy mô mạng thần kinh sâu được chỉ ra cho quy mô lên đến những tác vụ cấp Tổng đài khoảng chừng một năm sau đó tại Microsoft Research châu Á .Tính đến năm 2011, văn minh trong những mạng nuôi tiến học sâu đã sửa chữa thay thế những lớp tích chập và những lớp thăm dò tối da ( max-pooling ), đứng đầu bởi 1 số ít lớp có khá đầy đủ liên kết hoặc liên kết từng phần theo sau bởi một lớp phân loại sau cuối. Việc giảng dạy thường được triển khai mà không có bất kể huấn luyện và đào tạo trước không có giám sát nào. Từ năm 2011, những thực thi dựa trên GPU của hướng tiếp cận này đã thắng nhiều cuộc thi nhận dạng hình mẫu, gồm có cuộc thi IJCNN 2011 Traffic Sign Recognition Competition, ISBI 2012 Segmentation of neuronal structures in EM stacks challenge, và những cuộc thi khác .Các phương pháp học sâu có giám sát như vậy cũng đã là bộ nhậng dạng mô hình nhân tạo tiên phong đạt được hiệu suất hoàn toàn có thể cạnh tranh đối đầu lại được với con người trong những việc làm nhất định .Để vượt qua những rào cản của AI yếu được đại diện thay mặt bằng học sâu, cần phải để vượt qua những kiến trúc học sâu, chính do bộ não sinh học sử dụng cả mạch học nông và học sâu theo báo cáo giải trình của ngành giải phẫu não bộ chỉ ra một loạt những tính không bao giờ thay đổi. Weng lập luận rằng não tự liên kết hầu hết theo những thống kê tín hiệu và, do đó, một phân tầng tiếp nối đuôi nhau không hề bắt toàn bộ những vật nhờ vào thống kê đa phần. Các ANN đã hoàn toàn có thể bảo vệ sự đổi khác không bao giờ thay đổi để đối phó với những đối tượng người dùng tự nhiên lớn và nhỏ trong hậu trường có sự trộn lẫn lớn, chỉ khi những bất định lan rộng ra vượt ra ngoài sự đổi khác, tới toàn bộ những khái niệm ANN đã học được, ví dụ điển hình như vị trí, loại ( nhãn lớp đối tượng người dùng ), quy mô, ánh sáng. Điều này được thực thi trong những Mạng Phát triển ( Doanh Nghiệp ) có biểu lộ là Where-What Networks, WWN-1 ( 2008 ) cho đến WWN-7 ( 2013 ) .
Có một lượng rất lớn những biến thể của kiến trúc sâu. Hầu hết chúng là nhánh sinh ra từ một số ít kiến trúc cha khởi đầu. Không phải là luôn luôn hoàn toàn có thể so sánh hiệu suất của nhiều kiến trúc cùng với nhau, vì chúng không phải là toàn bộ nhìn nhận trên cùng một tập tài liệu. Học sâu học là một nghành nghề dịch vụ tăng trưởng nhanh, và những kiến trúc, biến thể, hoặc những thuật toán mới Open mỗi vài tuần .
Các mạng neuron sâu[sửa|sửa mã nguồn]
Mạng neuron sâu ( DNN-Deep neural Network ) là một mạng neuron tự tạo ( ANN ) với nhiều đơn vị chức năng lớp ẩn giữa lớp nguồn vào và đầu ra. Tương tự như những ANN nông, những DNN nông hoàn toàn có thể quy mô mối quan hệ phi tuyến phức tạp. Các kiến trúc DNN, ví dụ như để phát hiện và nghiên cứu và phân tích đối tượng người dùng tạo ra những quy mô hỗn hợp trong đó đối tượng người dùng này được bộc lộ như một thành phần được xếp lớp của những hình ảnh nguyên thủy. Các lớp phụ được cho phép những thành phần của những đặc thù từ những lớp thấp hơn, đem lại tiềm năng của quy mô hóa dữ liệu phức tạp với những đơn vị chức năng ít hơn so với một mạng lưới nông thực thi tựa như như vậy .Các DNN thường được phong cách thiết kế như những mạng nuôi tiến, nhưng điều tra và nghiên cứu gần đây đã vận dụng thành công xuất sắc kiến trúc học sâu so với những mạng nơ ron tái phát cho những ứng dụng ví dụ điển hình như quy mô hóa ngôn từ. Các mạng neuron sâu tích chập ( CNN ) được sử dụng trong thị giác máy tính nơi thành công xuất sắc của chúng đã được ghi nhận. Gần đây hơn, những CNN đã được vận dụng để quy mô hóa âm thanh cho nhận dạng giọng nói tự động hóa ( ASR ), nơi chúng đã cho thấy sự thành công xuất sắc trong những quy mô trước đó. Để đơn thuần, ta hãy nhìn vào việc huấn luyện và đào tạo những DNN được đưa ra ở đây .Một DNN hoàn toàn có thể là quy mô biết Để ý đến được huấn luyện và đào tạo với thuật toán truyền ngược tiêu chuẩn. Các bản update trọng số hoàn toàn có thể được triển khai trải qua độ dốc gradient ngẫu nhiên bằng cách sử dụng phương trình sau :
Trong đó,
η
{displaystyle eta }
C
{displaystyle C}
p
j
=
exp
(
x
j
)
∑
k
exp
(
x
k
)
{displaystyle p_{j}={frac {exp(x_{j})}{sum _{k}exp(x_{k})}}}
p
j
{displaystyle p_{j}}
j
{displaystyle j}
x
j
{displaystyle x_{j}}
x
k
{displaystyle x_{k}}
j
{displaystyle j}
và
k
{displaystyle k}
C
=
−
∑
j
d
j
log
(
p
j
)
{displaystyle C=-sum _{j}d_{j}log(p_{j})}
d
j
{displaystyle d_{j}}
j
{displaystyle j}
và
p
j
{displaystyle p_{j}}
là đầu ra xác suất cho
j
{displaystyle j}
sau khi áp dụng hàm kích hoạt.
Chúng có thể được sử dụng để xuất ra các hộp bao quanh đối tượng trong hình thức của một mặt nạ nhị phân. Chúng cũng được sử dụng cho các hồi quy đa quy mô để tăng độ chính xác của định vị. Hồi qui dựa trên DNN có thể học các đặc điểm mà chụp lại thông tin hình học ngoài việc là một bộ phân loại tốt. Chúng sẽ loại bỏ các giới hạn của việc thiết kế một mô hình mà sẽ chụp lại các bộ phận và quan hệ của chúng một cách rõ ràng. Điều này sẽ giúp học được một loạt các đối tượng rộng lớn. Mô hình này bao gồm nhiều lớp, mỗi trong số đó có một đơn vị chỉnh lại tuyến tính cho các chuyển đổi phi tuyến. Một số lớp là tích chập, trong khi những lớp khác được kết nối đầy đủ. Mỗi lớp tích chập có một thăm dò max bổ sung. Mạng được huấn luyện để giảm thiểu sai số L2 để dự đoán mặt nạ nằm trong dãi qua bộ huấn luyện toàn bộ chứa các hộp đường biên được thể hiện như là mặt nạ.
Các yếu tố với những mạng neuron sâu[sửa|sửa mã nguồn]
Như với những ANN, nhiều yếu tố hoàn toàn có thể phát sinh với những DNN nếu chúng được đào tạo và giảng dạy thô sơ. Hai yếu tố thông dụng là overfitting ( nhiễu hoặc sai số ngẫu nhiên ) và thời hạn đo lường và thống kê .
Các DNN có thiên hướng overfitting vì được thêm các lớp trừu tượng, mà cho phép chúng thực hiện mô hình hóa phụ thuộc hiếm hoi vào dữ liệu huấn luyện. Các phương pháp regularization (quy tắc hóa) như phân rã trọng số (
ℓ
2
{displaystyle ell _{2}}
ℓ
1
{displaystyle ell _{1}}
Phương pháp chủ yếu cho việc giảng dạy những cấu trúc là sửa lỗi đào tạo và giảng dạy ( ví dụ điển hình như truyền ngược với gradient descent ) do dễ triển khai và xu thế quy tụ tốt hơn local optima ( tối hưu cục bộ ) hơn so với những chiêu thức giảng dạy khác. Tuy nhiên, những giải pháp này hoàn toàn có thể tốn công thống kê giám sát hơn, đặc biệt quan trọng là cho những DNN. Có rất nhiều tham số giảng dạy để được xem xét với một DNN, ví dụ điển hình như kích cỡ ( số lượng lớp và số lượng đơn vị chức năng trên mỗi lớp ), vận tốc học và trọng số khởi đầu. Quét trải qua khoảng trống tham số cho những thông số kỹ thuật tối ưu hoàn toàn có thể không khả thi do ngân sách trong thời hạn và tài nguyên giám sát. Nhiều ‘ mẹo vặt ‘ ví dụ điển hình như bằng cách sử dụng mini-batching ( giám sát gradient trên nhiều ví dụ đào tạo và giảng dạy khác nhau cùng một lúc chứ không phải là từng ví dụ một ) đã được chỉ ra để tăng vận tốc giám sát. Lượng giải quyết và xử lý lớn trải qua GPU đã tăng cường đáng kể trong việc giảng dạy, do đo lường và thống kê ma trận và vector rất thích hợp với những GPU. Lựa chọn sửa chữa thay thế triệt để cho truyền ngược là Extreme Learning Machines ( Siêu máy học, những mạng ” No-prop “, đào tạo và giảng dạy không cần truy ngược, những mạng ” không trọng số “, và mạng nơron không kết ( non-connectionist neural network ) đang lôi cuốn được sự chú ý quan tâm .
Mạng niềm tin sâu ( Deep belief network )[sửa|sửa mã nguồn]
Một mạng niềm tin sâu ( DBN ) là một quy mô Xác Suất thể sinh, tạo thành bởi nhiều đơn vị chức năng ẩn nhiều lớp. Nó hoàn toàn có thể được coi là một hàm hợp những mô-đun học đơn thuần tạo thành mỗi lớp .Một DBN hoàn toàn có thể được sử dụng để đào tạo và giảng dạy trước khả sinh một DNN bằng cách sử dụng những trọng số DBN học như những trọng số DNN bắt đầu. Các thuật toán truyền ngược hoặc xem xét khác sau đó hoàn toàn có thể được vận dụng để kiểm soát và điều chỉnh những trọng số này. Điều này đặc biệt quan trọng có ích khi tài liệu giảng dạy số lượng giới hạn là có sẵn, vì những trọng số khởi tạo nghèo nàn hoàn toàn có thể cản trở đáng kể hiệu suất của quy mô được học. Các trọng số huấn luyện và đào tạo trước này là một vùng khoảng trống trọng số là thân thiện hơn với trọng số tối ưu hơn là những trọng số bắt đầu được chọn ngẫu nhiên. Điều này được cho phép cả quy mô hóa được cải tổ và quy tụ điều khiển và tinh chỉnh pha nhanh hơn .
Một DBN có thể được huấn luyện một cách hiệu quả trong một cách thức không có giám sát, lớp kề lớp, nơi mà các lớp thường được tạo ra từ các máy Boltzmann hạn chế(RBM). Một RBM là một mô hình vô hướng, thể sinh dựa trên năng lượng với một lớp đầu vào “hiện” và một ẩn lớp, và các kết nối giữa các lớp nhưng không nằm trong các lớp. Phương pháp huấn luyện cho RBM được đề xuất bởi Geoffrey Hinton để sử dụng với các mô hình “Product of Expert” được gọi là tương phản phân kỳ (CD-contrastive divergence). CD cung cấp một xấp xỉ cho phương pháp với khả năng tối đa có vị trí lý tưởng sẽ được áp dụng cho việc học các trọng số của RBM. Trong việc huấn luyện một RBM đơn, các cập nhật trọng số được thực hiện với gradient ascent qua phương trình sau:
Δ
w
i
j
(
t
+
1
)
=
w
i
j
(
t
)
+
η
∂
log
(
p
(
v
)
)
∂
w
i
j
{displaystyle Delta w_{ij}(t+1)=w_{ij}(t)+eta {frac {partial log(p(v))}{partial w_{ij}}}}
p
(
v
)
{displaystyle p(v)}
p
(
v
)
=
1
Z
∑
h
e
−
E
(
v
,
h
)
{displaystyle p(v)={frac {1}{Z}}sum _{h}e^{-E(v,h)}}
Z
{displaystyle Z}
E
(
v
,
h
)
{displaystyle E(v,h)}
∂
log
(
p
(
v
)
)
∂
w
i
j
{displaystyle {frac {partial log(p(v))}{partial w_{ij}}}}
⟨
v
i
h
j
⟩
data
−
⟨
v
i
h
j
⟩
model
{displaystyle langle v_{i}h_{j}rangle _{text{data}}-langle v_{i}h_{j}rangle _{text{model}}}
⟨
⋯
⟩
p
{displaystyle langle cdots rangle _{p}}
p
{displaystyle p}
⟨
v
i
h
j
⟩
model
{displaystyle langle v_{i}h_{j}rangle _{text{model}}}
n
{displaystyle n}
n
=
1
{displaystyle n=1}
n
{displaystyle n}
bước, dữ liệu được lấy mẫu và mẫu này sẽ được sử dụng trong
⟨
v
i
h
j
⟩
model
{displaystyle langle v_{i}h_{j}rangle _{text{model}}}
. Chu trình CD hoạt động như sau:
- Khởi tạo các đơn vị hiện (visible) tới một vector huấn luyện.
- Cập nhật các đơn vị ẩn song song với các đơn vị hiện: p ( h j = 1 ∣ V ) = σ ( b j + ∑ i v i w i j ) { displaystyle p ( h_ { j } = 1 mid { textbf { V } } ) = sigma ( b_ { j } + sum _ { i } v_ { i } w_ { ij } ) }
σ
{displaystyle sigma }
hàm sigmoid và b j { displaystyle b_ { j } }h j { displaystyle h_ { j } }
- Cập nhật các đơn vị hiện song song với các đơn vị ẩn đã cho: p ( v i = 1 ∣ H ) = σ ( a i + ∑ j h j w i j ) { displaystyle p ( v_ { i } = 1 mid { textbf { H } } ) = sigma ( a_ { i } + sum _ { j } h_ { j } w_ { ij } ) }
a i { displaystyle a_ { i } }
v i { displaystyle v_ { i } }
- Tái cập nhật các đơn vị ẩn song song với các đơn vị hiện cải tạo đã cho bằng cách sử dụng phương trình tương tự như trong bước 2.
- Thực hiện cập nhật trọng số: Δ w i j ∝ ⟨ v i h j ⟩ data − ⟨ v i h j ⟩ reconstruction { displaystyle Delta w_ { ij } propto langle v_ { i } h_ { j } rangle _ { text { data } } – langle v_ { i } h_ { j } rangle _ { text { reconstruction } } }
Khi một RBM được đào tạo và giảng dạy, RBM khác là ” xếp chồng ” trên nó, đưa nguồn vào của nó từ cuối lớp đã được giảng dạy. Lớp hiện mới này được khởi tạo với một vector hiện, và những giá trị cho những đơn vị chức năng trong những lớp đã được đào tạo và giảng dạy phân công bằng cách sử dụng trọng số hiện tại và những độ lệch. RBM mới này sau đó lại được huấn luyện và đào tạo với quy trình như trên. Toàn bộ quy trình này được lặp lại cho đến khi 1 số ít tiêu chuẩn mong ước chặn lại được cung ứng .Mặc dù xê dịch của CD để tối đa năng lực là rất thô ( CD đã được chỉ ra là theo gradient của bất kể hàm nào ), nó đã được kinh nghiệm tay nghề chỉ ra là có hiệu suất cao trong đào tạo và giảng dạy những kiến trúc sâu .
Mạng nơ ron tích chập ( Convolutional neural networks )[sửa|sửa mã nguồn]
Một CNN gồm có một hoặc nhiều hơn những lớp tích chập với những lớp khá đầy đủ liên kết ( cung ứng tương thích với những mạng neuron tự tạo tiêu biểu vượt trội ) trên đỉnh. Nó cũng sử dụng trọng số gắn liền và những lớp thăm dò. Kiến trúc này được cho phép những CNN tận dụng lợi thế của cấu trúc 2D của tài liệu nguồn vào. So với những kiến trúc sâu khác, mạng neuron tích chập đang khởi đầu biểu lộ hiệu quả tiêu biểu vượt trội trong những ứng dụng hình ảnh và giọng nói. Chúng cũng hoàn toàn có thể được huấn luyện và đào tạo với tiêu chuẩn truyền ngược. CNN thuận tiện được huấn luyện và đào tạo hơn những mạng nơ ron sâu nuôi tiến thường thì khác, và có ít thông số kỹ thuật ước tính hơn, khiến cho chúng trở thành một kiến trúc rất mê hoặc để sử dụng. Các ví dụ về ứng dụng trong Thị Giác máy tính gồm có DeepDream .
Các mạng niềm tin sâu tích chập[sửa|sửa mã nguồn]
Sử dụng mạng niềm tin sâu ( CDBN ) là một thành tựu gần đây của học sâu. Các CDBN có cấu trúc rất giống với một mạng neuron tích chập và được đào tạo và giảng dạy tựa như như những mạng niềm tin sâu. Vì vậy, chúng khai thác cấu trúc 2D của hình ảnh, giống như CNN làm, và làm cho việc sử dụng đào tạo và giảng dạy trước giống như mạng niềm tin sâu. Chúng lao lý một cấu trúc chung mà hoàn toàn có thể được sử dụng trong nhiều tác vụ giải quyết và xử lý hình ảnh và tín hiệu. Gần đây, nhiều tác dụng benchmark ( tiêu chuẩn ) dựa trên tập tài liệu hình ảnh chuẩn như CIFAR đã được thu được hiệu quả bằng cách sử dụng CDBN .
Mạng neuron tàng trữ và truy xuất bộ nhớ lớn[sửa|sửa mã nguồn]
Mạng nơ ron tàng trữ và truy xuất bộ nhớ lớn ( LAMSTAR ) là những mạng nơ ron học sâu nhanh gồm nhiều lớp mà hoàn toàn có thể sử dụng đồng thời nhiều bộ lọc. Các bộ lọc này hoàn toàn có thể là phi tuyến, ngẫu nhiên, logic, không cố định và thắt chặt, hoặc thậm chí còn không có tính nghiên cứu và phân tích. Chúng là học viên học năng động và liên tục .Mạng neuron LAMSTAR hoàn toàn có thể Giao hàng như thể một mạng nơ ron năng động trong khoảng trống hay miền thời hạn, hoặc cả hai. Tốc độ của nó được lao lý bởi những liên kết-trọng số Hebbian ( chương 9 của D. Graupe, 2013 ), dùng để tích hợp những bộ lọc khác nhau và thường khác nhau ( những hàm tiền giải quyết và xử lý ) vào nó nhiều lớp và để xếp hạng năng đọng tầm quan trọng của những lớp khác nhau và những hàm tương quan đến trách nhiệm nhất định cho việc học sâu. Điều này hiển nhiên bắt chước học sinh học mà tích hợp những bộ tiền lý đầu ra khác nhau ( ốc tai, võng mạc, vv ) và vỏ não ( thính giác, thị giác, vv ) và của những vùng khác nhau của chúng. Khả năng học sâu của nó tăng cường hơn thế nữa bằng cách sử dụng sự ức chế, sự đối sánh tương quan và bởi năng lực đối phó với tài liệu không khá đầy đủ của nó, hoặc ” mất ” nơ ron hoặc lớp ngay cả khi đang thực thi một tác vụ. Hơn nữa, nó trọn vẹn minh bạch do trọng số link của nó. Các trọng số link được cho phép xác lập năng động phát minh sáng tạo và thừa thải, và tạo thuận tiện cho việc xếp hạng của những lớp, những bộ lọc hoặc những nơ ron đơn lẽ tương ứng với một trách nhiệm .LAMSTAR đã được vận dụng cho nhiều Dự kiến y tế và kinh tế tài chính ( xem Graupe, 2013 Phần 9C ), bộ lọc thích nghi nhiễu nhận dạng giọng nói với tiếng ồn không xác lập, nhận dạng ảnh tĩnh ( Graupe, 2013 Phần 9D ), nhận dạng ảnh video, bảo mật thông tin ứng dụng, tinh chỉnh và điều khiển thích nghi của những mạng lưới hệ thống phi tuyến, vv. LAMSTAR có vận tốc đo lường và thống kê nhanh hơn nhiều và có lỗi hơi ít hơn so với một mạng nơ ron tích chập dựa trên những bộ lọc hàm – ReLU và thăm dò max, trong một điều tra và nghiên cứu nhận dạng ký tự so sánh .Các ứng dụng này chứng tỏ đào sâu vào những góc nhìn của những tài liệu đó là bị ẩn từ những mạng học nông hoặc thậm chí còn từ những giác quan của con người ( mắt, tai ), ví dụ điển hình như trong trường hợp của Dự kiến sự mở màn của hiện tượng kỳ lạ ngưng thở khi ngủ, của một biểu đồ điện tâm đồ một thai nhi như được ghi chép từ những điện cực gắn trên da được đặt trên bụng người mẹ trong thời hạn đầu của thai kỳ, của Dự kiến kinh tế tài chính ( Phần 9C trong Graupe, 2013 ), hoặc trong lọc mù của nhiễu trong nhận dạng giọng nóiLAMSTAR đã được yêu cầu năm 1996 ( Bằng ý tưởng 5,920,852 A của Mỹ ) và liên tục được tăng trưởng bởi D Graupe và H Kordylewski vào năm 1997 – 2002. Một phiên bản sửa đổi, được gọi là LAMSTAR 2, được tăng trưởng bởi N C Schneider và D Graupe trong năm 2008 .
Các máy Deep Boltzmann[sửa|sửa mã nguồn]
Các mạng xếp chồng sâu[sửa|sửa mã nguồn]
Một kiến trúc sâu dựa trên một hệ thống phân cấp của các khối mô-đun mạng neuron đơn giản là một mạng sâu lồi, được giới thiệu vào năm 2011. Ở đây, bài toán học các trọng số được xây dựng như một bài toán tối ưu hóa lồi với lời giải dạng đóng. Kiến trúc này còn được gọi là một mạng xếp chồng sâu (DSN), nhấn mạnh các cơ chế tương tự với tổng quát hóa xếp chồng. Mỗi khối DSN là một module đơn giản đó là dễ dàng để huấn luyện chính nó trong một kiểu có giám sát mà không cần truyền ngược cho toàn bộ các khối.
Mạng lập trình sâu ( deep coding network )[sửa|sửa mã nguồn]
Có những lợi thế của một mô hình mà có thể chủ động cập nhật bản thân từ ngữ cảnh trong dữ liệu. Mạng lập trình (DPCN) là một chương trình lập trình tiên đoán, trong đó thông tin từ trên xuống được sử dụng để điều chỉnh theo kinh nghiệm của những cái trước đó cần thiết cho một thủ tục suy luận từ dưới lên bằng các phương tiện của một mô hình thể sinh kết nối cục bộ sâu. Điều này hoạt động bằng cách chiết tách các đặc điểm rời rạc các quan sát biến đổi theo thời gian bằng cách sử dụng một mô hình động học tuyến tính. Sau đó, một chiến lược thăm dò được sử dụng để học các đại diện đặc điểm bất biến. Các đơn vị này tập hợp lại để tạo thành một kiến trúc sâu và được huấn luyện bởi học không giám sát layer-wise tham lam. Các lớp tạo thành một loại xích Markov mà các trạng thái tại bất kỳ lớp nào cũng chỉ phụ thuộc vào các lớp trước và các lớp sau (kế thừa).
Mạng lập tình Dự kiến sâu ( DPCN ) Dự kiến đại diện thay mặt của lớp, bằng cách sử dụng một cách tiếp cận từ trên xuống bằng cách sử dụng thông tin ở lớp trên và những phụ thuộc vào thời hạn từ những trạng thái trước đó .DPCN hoàn toàn có thể được lan rộng ra để tạo thành một mạng tích chập .
Máy nhân đa lớp[sửa|sửa mã nguồn]
Mạng bộ nhớ[sửa|sửa mã nguồn]
Bộ nhớ ngoài tích hợp với những mạng neuron tự tạo tính đến nghiên cứu và điều tra tiên phong trrong đại diện thay mặt phân phối và những map tự tổ chức triển khai. Ví dụ, trong bộ nhớ phân tán hoặc bộ nhớ phân cấp thời hạn, những quy mô được mã hóa bởi những mạng neuron được sử dụng như thể những địa chỉ cho bộ nhớ có năng lực định địa chỉ nội dung, với những ” nơ ron ” hầu hết ship hàng như thể những bộ mã hóa và giải thuật .
Bộ nhớ ngắn-hạn dài[sửa|sửa mã nguồn]
Trong thập niên 1990 và thập niên 2000, đã có nhiều khu công trình tương quan đến bộ nhớ ngắn-hạn dài ( LSTM – thêm bộ nhớ khả vi cho những hàm hồi qui ). Ví dụ :
- Các hành động đẩy và lấy ra khả vi cho các mạng bộ nhớ thay thế được gọi là các máy ngăn xếp nơ ron
- Memory networks where the control network’s external differentiable storage is in the fast weights of another network
- LSTM “forget gates”
- Self-referential recurrent neural networks (RNNs) with special output units for addressing and rapidly manipulating each of the RNN’s own weights in differentiable fashion (internal storage)
- Learning to transduce with unbounded memory
Các mạng bộ nhớ[sửa|sửa mã nguồn]
Các mạng bộ nhớ một lan rộng ra khác của những mạng nơ ron tự tạo tích hợp với bộ nhớ dài hạn, được tăng trưởng bởi nhóm nghiên cứu và điều tra Facebook. Bộ nhớ dài hạn hoàn toàn có thể được đọc và ghi vào đó, với mục tiêu sử dụng cho việc dự báo. Các quy mô này đã được vận dụng trong toàn cảnh hỏi đáp ( QA ) nơi bộ nhớ dài hạn hoạt động giải trí hiệu suất cao như một cơ sở kiến thức ( năng động ), và đầu ra là một cung ứng văn bản .
Các mạng mã hóa-giải mã[sửa|sửa mã nguồn]
Một framework mã hóa-giải mã là một framework dựa trên những mạng neuron nhằm mục đích mục tiêu lập map nguồn vào cấu trúc cao tới đầu ra có cấu trúc cao. Nó đã được đề xuất kiến nghị gần đây trong toàn cảnh của máy dịch, trong đó nguồn vào và đầu ra được viết thành câu bằng hai ngôn từ tự nhiên. Trong đó, một mạng nơ ron tái phát ( RNN ) hoặc mạng neuron tích chập ( CNN ) được sử dụng như một bộ mã hóa để tóm tắt một câu nguồn và tóm tắt này được giải thuật bằng cách sử dụng một quy mô ngôn từ mạng neuron tái phát có điều kiện kèm theo để tạo ra bản dịch. Tất cả những mạng lưới hệ thống này có những khối kiến thiết xây dựng tương tự như : cổng RNN và CNN, và những chính sách tập trung chuyên sâu được đào tạo và giảng dạy .
Nhận dạng lời nói tự động hóa[sửa|sửa mã nguồn]
Các hiệu quả hiển thị trong bảng dưới đây là nhận dạng lời nói tự động hóa trên tập dữ liệu TIMIT phổ cập. Đây là một tập hợp tài liệu phổ cập được sử dụng để nhìn nhận khởi đầu những kiến trúc học sâu. Toàn bộ tập dữ liệu này có 630 người nói từ tám phương ngữ chính của tiếng Anh Mỹ, trong đó mỗi người đọc 10 câu. Kích thước nhỏ của nó được cho phép nhiều thông số kỹ thuật được thử nghiệp một cách hiệu suất cao. Quan trọng hơn, trách nhiệm của TIMIT tương quan đến việc nhận dạng trình tự-điện thoại, trong đó, không giống như việc nhận dạng trình tự-từ, được cho phép những ” quy mô ngôn từ ” rất yếu và do đó là điểm yếu trong quy mô hóa âm thanh trong những góc nhìn của nhận dạng giọng nói hoàn toàn có thể được nghiên cứu và phân tích thuận tiện hơn. Các nghiên cứu và phân tích như vậy trên TIMIT bởi Li Deng và những cộng tác viên khoảng chừng năm 2009 – 2010, tương phản với GMM ( và những mô hình thể sinh khác của giọng nói ) với cá quy mô DNN, kích thích góp vốn đầu tư công nghiệp sớm vào học sâu cho nhận dạng giọng nói từ quy mô nhỏ cho đến quy mô lớn, sau cuối dẫn đến việc sử dụng phổ cập và chi phối trong ngành công nghiệp đó. Phân tích đó được triển khai với sự so sánh hiệu suất ( ít hơn 1,5 % tỷ suất lỗi ) giữa những DNN tách biệt và những mô hình thể sinh. Tỷ lệ lỗi được liệt kê dưới đây, gồm có cả những hiệu quả bắt đầu và tính theo Tỷ Lệ tỷ suất lỗi điện thoại thông minh ( cho mỗi ), đã được tóm tắt trong một khoảng chừng thời hạn 20 năm qua :
Phương pháp
Tỷ lệ (%)
Khởi tạo ngẫu nhiên RNN
26.1
Bayesian Triphone GMM-HMM
25.6
Hidden Trajectory (Generative) Model
24.8
Monophone Randomly Initialized DNN
23.4
Monophone DBN-DNN
22.4
Triphone GMM-HMM with BMMI Training
21.7
Monophone DBN-DNN on fbank
20.7
Convolutional DNN
20.0
Convolutional DNN w. Heterogeneous Pooling
18.7
Ensemble DNN/CNN/RNN
18.2
Bidirectional LSTM
17.9
Trong năm 2010, những nhà nghiên cứu công nghiệp đã lan rộng ra học sâu từ TIMIT để nhận dạng giọng nói với số lượng từ vựng lớn, bằng việc vận dụng những lớp sản lượng lớn DNN dựa trên những trạng thái HMM nhờ vào vào ngữ cảnh được thiết kế xây dựng bởi cây quyết định hành động. Đánh giá tổng lực sự tăng trưởng và văn minh này tới thời gian năm năm trước là cuốn sách gần đây Springer từ Microsoft Research. Một bài báo nhìn nhận về nền tảng của nhận dạng giọng nói tự động hóa và tác động ảnh hưởng của những quy mô máy học, gồm có cả học sâu .Một trong những nguyên tắc cơ bản của học sâu là để thoát khỏi kỹ thuật đặc tính bằng tay thủ công và sử dụng những đặc tính thô. Nguyên tắc này được mày mò thành công xuất sắc tiên phong trong kiến trúc của tự mã hóa sâu trên ảnh phổ ” thô ” hoặc những đặc thù dãi lọc tuyến tính, hiển thị sự tiêu biểu vượt trội của nó hơn những tính năng Mel-Cepstral mà có chứa một vài quy trình tiến độ quy đổi cố định và thắt chặt từ ảnh phổ. Các tính năng thực sự ” thô ” của lời nói, dạng sóng, gần đây đã được chỉ ra để tạo ra những tác dụng nhận dạng giọng nói tuyệt vời ở quy mô lớn .Kể từ khi ra đời thành công xuất sắc khởi đầu của DNN cho nhận dạng lời nói khoảng chừng 2009 – 2011, tiến trình ( và hướng đi trong tương lai ) hoàn toàn có thể được tóm tắt vào 8 nghành nghề dịch vụ chính :
- Mở rộng quy mô lên/ra và tăng tốc quá trình đào tạo và giải mã DNN;
- Huấn luyện suy luận có trình tự cho các DNN;
- Xử lý đặc điểm bởi các mô hình sâu với sự hiểu biết vững chắc các cơ chế tiềm ẩn;
- Thích nghi của các DNN và các mô hình sâu có liên quan;
- Học đa tác vụ và học có chuyển giao bởi các DNN và các mô hình sâu liên quan; Các mạng neuron tích chập và làm thế nào để thiết kế chúng để khai thác tốt nhất kiến thức miền của giọng nói;
- Mạng neuron tái phát và các biến thể giàu LSTM;
- Các loại mô hình sâu bao gồm các mô hình dựa trên tensor và các mô hình tích hợp sâu thể sinh/suy xét.
Trường hợp nhận dạng lời nói tự động hóa quy mô lớn lần tiên phong và thuyết phục nhất thành công xuất sắc của học sâu trong lịch sử vẻ vang gần đây, đồng ý bở cả công nghiệp và hàn lâm trong tổng thể những nghành nghề dịch vụ. Từ năm 2010 đến năm năm trước, hai hội nghị lớn về giải quyết và xử lý tín hiệu và nhận dạng giọng nói, IEEE-ICASSP và Interspeech, đã thấy một sự ngày càng tăng lớn những báo cáo giải trình được đồng ý trong những báo cáo giải trình hội nghị thường niên tương ứng về chủ đề học sâu trong nhận dạng giọng nói. Quan trọng hơn, tổng thể những mạng lưới hệ thống nhận dạng giọng nói thương mại chính ( ví dụ : Microsoft Cortana, Xbox, Skype Translator, Google Now, Apple Siri, Baidu và iFlyTek tìm kiếm bằng giọng nói và một loạt những loại sản phẩm của Nuance speech, vv ) được dựa trên phương pháp học sâu. Xem thêm những cuộc phỏng vấn trên phương tiện đi lại truyền thông online với CTO của Nuance Communications .Thành công lây lan rộng trong nhận dạng lời nói đã đạt được vào năm 2011 được sau đó liền sau đó là nhận dạng hình ảnh ở quy mô lớn .
Nhận dạng hình ảnh[sửa|sửa mã nguồn]
Một tập nhìn nhận phổ cập cho phân loại hình ảnh là tập hợp tài liệu cơ sở tài liệu MNIST. MNIST gồm có những chữ số viết tay và gồm có 60000 ví dụ giảng dạy và 10000 ví dụ kiểm tra. Như TIMIT, kích cỡ nhỏ của nó được cho phép nhiều thông số kỹ thuật được kiểm tra. Một list khá đầy đủ những hiệu quả trên tập này hoàn toàn có thể được tìm thấy trong. Kết quả tốt nhất lúc bấy giờ trên MNIST là tỷ suất lỗi 0,23 %, đạt được bởi Ciresan và những tập sự vào năm 2012 .Tác động thực sự của học sâu trong nhận dạng hình ảnh hoặc đối tượng người tiêu dùng, một chi chính của thị giác máy tính, đã cảm thấy được vào mùa thu năm 2012 sau khi đội của Geoff Hinton và sinh viên của ông thắng trong cuộc thi quy mô lớn ImageNet bởi một biên độ đáng kể bằng giải pháp máy học nông tiên tiến và phát triển nhất. Công nghệ này dựa trên những mạng tích chập sâu 20 tuổi, nhưng với quy mô lớn hơn nhiều trên một trách nhiệm lớn hơn nhiều, vì nó đã học được rằng học sâu làm việc tốt đối nhận dạng giọng nói quy mô lớn. Trong năm 2013 và năm trước, tỷ suất lỗi trong tác vụ của ImageNet bằng cách sử dụng học sâu liên tục giảm xuống nhanh gọn, theo một khuynh hướng tựa như trong nhận dạng giọng nói quy mô lớn .Khi tham vọng này chuyển dời từ nhận dạng giọng nói tự động hóa sang những bản dịch giọng nói tự động hóa và hiểu được, phân loại hình ảnh gần đây đã được lan rộng ra với trách nhiệm khó khăn vất vả hơn đó là tạo phụ đề cho hình ảnh tự động hóa, trong đó có học sâu là công nghệ tiên tiến cơ bản thiết yếu .Một ứng dụng ví dụ là một máy tính xe hơi cho biết được huấn luyện và đào tạo bằng học sâu, hoàn toàn có thể được cho phép xe diễn giải những hình ảnh 360 ° từ camera. Một ví dụ khác là công nghệ tiên tiến được gọi là Facial Dysmorphology Novel Analysis ( FDNA ) – ( Phân tích những dị tật của khuôn mặt ) sử dụng để nghiên cứu và phân tích những trường hợp dị dạng của con người liên kết với cơ sở tài liệu lớn của những hội chứng di truyền .
Xử lý ngôn từ tự nhiên[sửa|sửa mã nguồn]
Mạng neuron đã được sử dụng cho việc thực hiện các mô hình ngôn ngữ kể từ đầu những năm 2000. Các kỹ thuật quan trọng trong lĩnh vực này là lấy mẫu âm và nhúng chữ (word embedding). Nhúng chữ, chẳng hạn như word2vec, có thể được dùng như một lớp đại diện trong một kiến trúc học sâu, điều này sẽ biến đổi một từ đơn thành một đại diện vị trí của từ đó liên quan đến các từ khác trong bộ dữ liệu; vị trí được đại diện như là một điểm trong một không gian vector. Sử dụng một từ nhúng như là một lớp đầu vào với một mạng lưới thần kinh đệ quy (RNN-recursive neuron network) cho phép đào tạo mạng để phân tích cú pháp câu và cụm từ bằng cách sử dụng một ngữ pháp vector tổng hợp có hiệu quả. Một ngữ pháp vector tổng hợp có thể được coi làngữ pháp không phụ thuộc ngữ cảnh xác suất (PCFG-probabilistic context free grammar) được thực hiện bởi một mạng thần kinh đệ quy. Tự động-mã hóa đệ qui được xây dựng trên đỉnh từ nhúng đã được đào tạo để đánh giá câu tương tự và phát hiện các chú giải dài dòng. Các kiến trúc thần kinh sâu đã đạt được những kết quả tiên tiến nhất trong nhiều tác vụ xử lý ngôn ngữ tự nhiên như phân tích thống kê, phân tích tình cảm, tra cứu thông tin, dịch máy, liên kết thực thể ngữ cảnh, và.v.v.
Khám phá dược phẩm và độc chất học[sửa|sửa mã nguồn]
Ngành công nghiệp dược phẩm phải đương đầu với yếu tố mà một tỷ suất lớn những loại thuốc tiềm năng thất bại khi tiếp cận với thị trường. Những thất bại của những hợp chất hóa học này gây ra bởi không đủ hiệu suất cao trên tiềm năng phân tử sinh học ( có hiệu lực hiện hành với tiềm năng ), có những tương tác không bị phát hiện và không mong ước với những phân tử sinh học khác ( chệch tiềm năng tác động ảnh hưởng ), hoặc những hiệu ứng độc dược ngoài dự trù. Trong năm 2012, một nhóm đứng vị trí số 1 bởi George Dahl đã thắng lợi ” Merck Molecular Activity Challenge ” sử dụng những mạng neuron sâu đa tác vụ để Dự kiến tiềm năng phân tử sinh học của một hợp chất. Trong năm năm trước, nhóm của Sepp Hochreiter sử dụng học sâu để phát hiện ra tiềm năng lạ và những ảnh hưởng tác động độc dược của những thiên nhiên và môi trường hóa chất trong những chất dinh dưỡng, mẫu sản phẩm gia dụng và thuốc men và đã thắng lợi ” Tox21 Data Challenge ” của NIH, FDA và NCATS. Những thành công xuất sắc ấn tượng chỉ ra rằng học sâu hoàn toàn có thể tiêu biểu vượt trội so với những chiêu thức kiểm tra ảo khác. Các nhà nghiên cứu đến từ Google và Stanford đã lan rộng ra học sâu để tò mò dược phẩm bằng cách phối hợp tài liệu từ nhiều nguồn khác nhau. Năm năm ngoái, Atomwise ra mắt AtomNet, mạng neuron học sâu tiên phong dành cho phong cách thiết kế dược phẩm dựa trên cấu trúc hài hòa và hợp lý. Sau đó, AtomNet đã được sử dụng để Dự kiến những phân tử sinh học được chọn mới lạ so với nhiều tiềm năng bệnh tật, đặc biệt quan trọng là chiêu thức điều trị bệnh do virus Ebola và bệnh đa xơ cứng .
Quản lý quan hệ người mua ( CRM )[sửa|sửa mã nguồn]
Thành công gần đây đã được báo cáo giải trình với ứng dụng của học tăng cường sâu trong những thiết lập tiếp thị trực tiếp, biểu lộ sự tương thích của chiêu thức này dành cho tự động hóa CRM. Một mạng nơ ron được sử dụng để ước tính giá trị của những hành vi hoàn toàn có thể trực tiếp tiếp thị trên khoảng trống trạng thái người mua, được định nghĩa trong lao lý của biến RFM. Hàm giá trị ước tính được chỉ ra để có một lý giải tự nhiên như là giá trị người mua suốt đời .
Các mạng lưới hệ thống khuyến nghị ( gợi ý )[sửa|sửa mã nguồn]
Các mạng lưới hệ thống khuyến nghị đã sử dụng học sâu để trích xuất những đặc thù sâu có ý nghĩa cho quy mô yếu tố tiềm ẩn so với khuyến nghị dựa trên nội dung cho âm nhạc. Gần đây, một cách tiếp cận tổng quát hơn cho việc học tập sở trường thích nghi người dùng từ nhiều miền bằng cách sử dụng học sâu đa góc nhìn đã được đưa ra. Mô hình này sử dụng một cộng tác lai và tiếp cận dựa trên nội dung và tăng cường những khuyến nghị trong nhiều trách nhiệm .
Tin sinh học[sửa|sửa mã nguồn]
Gần đây, một cách tiếp cận học sâu dựa trên một mạng neuron tự tạo tự mã hóa đã được sử dụng trong tin sinh học, để Dự kiến những mối quan hệ công dụng gen và những chú thích Bản thể gen .
Lý thuyết về bộ não con người[sửa|sửa mã nguồn]
Tính toán học sâu có liên hệ ngặt nghèo đến học thuyết về sự tăng trưởng của não bộ ( đơn cử, tăng trưởng neocortical ) do những nhà khoa học thần kinh nhận thức đề xuất kiến nghị trong đầu thập niên 1990. Một bản tóm tắt dễ tiếp cận của ý tưởng sáng tạo này là tác phẩm của Elman và những tập sự vào năm 1996 ” Xem xét lại Tính bẩm sinh ” ( Xem thêm : Shrager và Johnson ; Quartz và Sejnowski ). Những triết lý tăng trưởng này cũng được thuyết minh đơn cử trong những quy mô đo lường và thống kê, chúng là những kỹ thuật nhiệm kỳ trước đó của những mô hình học sâu được thôi thúc bởi giám sát ( bằng máy tính ) đơn thuần. Những quy mô tăng trưởng này san sẻ thuộc tính mê hoặc mà nhiều động lực học ( learning dynamics ) khác nhau được đề xuất kiến nghị trong nghiên cứu và điều tra não bộ ( Ví dụ, một làn sóng của yếu tố tăng trưởng thần kinh ) để tương hỗ việc tự tổ chức triển khai của những loại mạng nơ ron có tương quan với nhau được sử dụng trong những mô hình học sâu thuần tính toán sau đó ; và những mạng neuron thống kê giám sát như vậy có vẻ như tựa như như quan điểm của ngành nghiên cứu và điều tra vỏ não mới như một mạng lưới hệ thống phân cấp của bộ lọc trong đó mỗi lớp chụp 1 số ít thông tin trong môi trường tự nhiên hoạt động giải trí, và sau đó đi qua phần còn lại, cũng như tín hiệu cơ bản được sửa đổi, tới những lớp khác cao hơn trong mạng lưới hệ thống phân cấp. Quá trình này mang lại một chồng tự tổ chức triển khai những cảm ứng, cũng như kiểm soát và điều chỉnh để hoạt động giải trí thiên nhiên và môi trường của họ. Như được miêu tả trên tờ New York Times vào năm 1995 : ” … bộ não của những trẻ sơ sinh có vẻ như tự tổ chức triển khai riêng chính nó dưới tác động ảnh hưởng của những sóng của cái gọi là những yếu tố – dinh dưỡng … những khu vực khác nhau của não trở nên liên kết tuần tự, với một lớp mô trưởng thành trước những mô khác và cho đến khi toàn bộ não là trưởng thành. “Tầm quan trọng của học sâu so với sự tiến hóa và tăng trưởng của nhận thức của con người đã không thoát khỏi sự quan tâm của những nhà nghiên cứu. Một góc nhìn của tăng trưởng con người là phân biệt tất cả chúng ta với những người hàng xóm trong họ linh trưởng gần nhất của mình hoàn toàn có thể đổi khác trong thời hạn tăng trưởng. Trong số những loài linh trưởng, bộ não con người vẫn còn tương đối mềm dẻo cho đến cuối thời kỳ sau khi sinh, trong khi bộ não của họ hàng thân thiện nhất của tất cả chúng ta trọn vẹn cố định và thắt chặt hơn ngay sau khi sinh. Vì vậy, con người có năng lực truy vấn lớn hơn vào những kinh nghiệm tay nghề phức tạp đang diễn ra trên quốc tế trong quá trình hình thành nhất của sự tăng trưởng não bộ. Điều này hoàn toàn có thể được cho phép tất cả chúng ta ” kiểm soát và điều chỉnh ” để đổi khác nhanh gọn môi trường tự nhiên mà những động vật hoang dã khác, nhiều bị hạn chế bởi cơ cấu tổ chức tiến hóa của bộ não của chúng, không hề để triển khai được. Đến mức mà những đổi khác này được phản ánh trong những đổi khác thời hạn tựa như trong sóng được giả thuyết của sự tăng trưởng vỏ não, chúng cũng hoàn toàn có thể dẫn đến những biến hóa trong việc khai thác thông tin từ thiên nhiên và môi trường kích thích trong thời hạn đầu tự tổ chức triển khai của bộ não. Tất nhiên, cùng với tính linh động này đến một tiến trình lê dài chưa thành thục, trong đó tất cả chúng ta phụ thuộc vào vào người chăm nom và hội đồng của mình để tương hỗ và giảng dạy. Lý thuyết của học sâu do đó thấy sự cùng tiến hóa đồng thời của văn hóa truyền thống và nhận thức như thể một điều kiện kèm theo cơ bản của sự tiến hóa của con người .
Hoạt động thương mại[sửa|sửa mã nguồn]
Hầu hết những công ty công nghệ tiên tiến lớn nhất trên quốc tế đang góp vốn đầu tư rất nhiều nguồn lực vào điều tra và nghiên cứu và tăng trưởng để liên tục nâng cấp cải tiến công nghệ tiên tiến lõi cũng như tạo ra những loại sản phẩm ứng dụng sử dụng kỹ thuật học sâu. Điển hình là nhóm nghiên cứu và điều tra về trí tuệ tự tạo của Facebook đã tạo ra ứng dụng DeepFace có năng lực nhận dạng khuôn mặt tốt như con người với độ đúng chuẩn khoảng chừng 97,35 %. Công trình này ( công bố năm năm trước ) sử dụng 4 triệu ảnh khuôn mặt của hơn 4000 người để giảng dạy cho mạng nơron nhiều lớp và quy mô thu được đã vượt qua những kỹ thuật được nghiên cứu và điều tra đề xuất kiến nghị trước đó. [ 1 ]
Học sâu thường được trình bày như là một bước hướng tới AI mạnh và do đó nhiều tổ chức đã trở nên quan tâm đến việc sử dụng nó cho các ứng dụng cụ thể. Vào tháng 12 năm 2013, Facebook đã tuyển Yann Le Cun đứng đầu phòng thí nghiệm trí tuệ nhân tạo (AI) mới của họ hoạt động ở California, London và New York. Phòng thí nghiệm AI này sẽ phát triển những kỹ thuật học sâu để giúp Facebook thực hiện các nhiệm vụ, chẳng hạn như tính năng gắn thẻ tự động hình ảnh tải lên với tên của những người có mặt trong đó. Vào cuối năm 2014, Facebook cũng tuyển Vladimir Vapnik, nhà phát triển chính của lý thuyết Vapnik-Chervonenkis về học thống kê, và đồng phát minh ra phương pháp máy vector hỗ trợ.
Vào tháng 3 năm 2013, Google tuyển Geoffrey Hinton và hai sinh viên tốt nghiệp của ông, Alex Krizhevsky và Ilya Sutskever. Công việc của họ là tập trung chuyên sâu vào vừa nâng cấp cải tiến những mẫu sản phẩm học máy hiện có của Google và vừa trợ giúp đối phó với lượng tài liệu ngày càng tăng nhanh mà Google có được. Google cũng mua lại công ty của Hinton, DNNresearch .Năm năm trước, Google cũng đã mua DeepMind Technologies, một công ty khởi nghiệp của Anh đã tăng trưởng một mạng lưới hệ thống có năng lực học tập làm thế nào để chơi game show điện tử Atari chỉ sử dụng những điểm ảnh thô là tài liệu nguồn vào. Trong năm năm ngoái, họ đã chứng tỏ mạng lưới hệ thống AlphaGo đã đạt được một trong những ” thử thách lớn ” trong thời hạn dài của AI bằng cách học trò chơi Cờ vây đủ tốt để vượt mặt một người chơi Cờ vây chuyên nghiệp .Baidu đã thuê Andrew Ng để chỉ huy phòng thí nghiệm nghiên cứu và điều tra của mình đặt trụ sở tại thung lũng Silicon mới tập trung chuyên sâu vào học sâu .
Phê bình và nhìn nhận[sửa|sửa mã nguồn]
- neural Designer — Một ứng dụng GUI cho mạng neuron sâu cung cấp song song hóa với CPU.
