М.Двач / Программирование

Этого треда уже нет.
Это копия, сохраненная 27 июля 2016 года.

Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее

Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.

788 Кб, 1920x1152

Machine Learning #4 21 Июн, 18:40 #776147 В конец треда | Веб

Тред #1: https://arhivach.org/thread/147800/
Тред #2: https://arhivach.org/thread/170611/
Тред #3: https://arhivach.org/thread/179539/

Machine Learning 101:
1. Introduction to Statistical Learning ( http://www-bcf.usc.edu/~gareth/ISL/ISLR Sixth Printing.pdf )
Читается легко, неплохая разминка перед ESL
2. Pattern Recognition and Machine Learning, Bishop.
3. Bayesian Methods for Hackers. Введение в байесовские методы, годно.
4. http://neuralnetworksanddeeplearning.com
Введение в нейронные сеточки для самых маленьких. Написано простым английским.
5. https://yandexdataschool.ru/edu-process/courses - базовые курсы ШАДа.

Machine Learning Advanced
1. Elements of Statistical Learning (http://statweb.stanford.edu/~tibs/ElemStatLearn/printings/ESLII_print10.pdf )
Сложность - 9 из 10. Шутки в сторону, можно читать годами. Если вы сможете полностью проработать эту книгу и прорешать упражнения, обязательно свяжитесь со мной - у меня найдется работа для вас.
2. Optimization for Machine Learning. Edited by Suvrit Sra, Sebastian Nowozin and Stephen J. Wright, MIT Press, 2012.
Иногда from sklearn.linear_model import LogisticRegression перестает работать и тогда нужно все переписать. Оптимизация квадратичных приближений на больших объемах данных, разреженные модели, суррогатные оптимизации - вот это все тут есть.
3. http://www.cs.nyu.edu/~mohri/mlbook/
Как ESL, только слегка по-проще. Попробуйте, может зайти.

Дальше вас ждет дикий и необузданный мир. Два маяка https://vk.com/deeplearning и http://deeplearning.net/reading-list/ осветят дорогу: это списки литературы и обзоры статей для прощупывания пульса индустрии.

Computer Science
1. Introduction to Algorithms, Corman
2. The Art of Computer Programming, Knuth
3. Compilers: Principles, Techniques, and Tools. Разработчикам компиляторов и прочим авторам убийц питонов и крестов посвящается.
4. Введение в информационный поиск, Кристофер Маннинг.
Как работает поиск с теоретической точки зрения.

Programming
1. Python Unlocked. Короткая книжка без соплей. В ней описаны метаклассы, дескрипторы, системы типов, шаблоны проектирования и TDD. Всего чуть больше 100 страниц концентрированной сути.
2. Code Complete (2nd), McConnell.
Неплохая книга. Не то чтобы обдрочиться, но в голове всякие фишки по структуризации кода и его проектированию остались.

Misc
1. Telegram: @techsparks
Подкаст про всякие гик-штуки.

F.A.Q
По мотивам предыдущего треда.
Эти ваши книжки стоят овер 9000 рублей, как быть?
http://libgen.io
Книги хорошо, но с чего начать практический вкат?
Во-первых, вам нужна любая unix-based система. На Windows возможно запустить нижеперечисленное, но ждите пердолева с настройкой и неодобрительных взглядов анонимуса. Кроме того, в компаниях, так или иначе связанных с разработкой йоба-ПО и machine learningом, Linux/OS X является стандартом. Привыкайте.
Во-вторых, определитесь с языком. Python и C++ наиболее мейнстримовые инструменты, с ними вы без еды не останетесь. Есть еще R, на котором пацаны живут статистикой и анальными пакетами. Некоторые инструменты являются языко-независимыми (Vowpal Vabbit, XGBoost), но обвязывать их вы все равно будете из какой-либо среды.
На Java разработано много production-ready инструментов для бигдаты и если вы угораете по терабайтам данных, то имеет смысл посмотреть в её сторону. Впрочем, лучше это делать уже потом, когда прийдет осознание потребностей.
В-третих, выбирайте себе задачу. Что угодно: распознать качпу, обнаружить ботов по логам, найти раковых больных. Список можно посмотреть, например, на kaggle.com. После чего приступаете к решению выбранной задачи.
Не прийдется ли мне потом с таким наборищем знаний идти в макдак работать?
Несмотря на хайп вокруг ML, далеко не во всех IT компания есть необходимость в ML и понимание круга задач, которые можно решить этими методами. Но поверьте, в 2016 компетентный специалист будет востребован. В России потребителями ваших знаний могут стать: Яндекс, Mail.ru, Вконтакте, Rambler, Касперский, Билайн, Связной, ABBYY, Хуавэй. В биоинформатике есть определенный спрос, можно поскролить http://blastim.ru
Здорово, но я так и не понял чем же вы занимаетесь в IT компаниях?
Попытаюсь ответить со своей колокольни и сразу хочу предупредить, что это едва ли консенсуальное мнение.
ML-специалист - это такое зонтичное определение для человека, способного увидеть проблему, выгрепать кучу логов и данных, посмотреть на них, придумать решение проблемы и врезать это решение его в продакшн. По сути, это кодер, решающий не чисто технические, а, в некотором роде, человеческие проблемы.
Имхо, мы все же остаемся в первую очередь разработчиками.
Но ведь есть Machine Learning per se, чем он занимается?
Действительно есть. Одаренная прослойка людей изобретает новые методы, но это правильнее называть просто математикой. Сейчас пищей для ума являются нейронные сети и их возможные архитектуры, но даже они двигаются рука об руку с практикой.
Что такое TensorFlow?
TensorFlow - часть гуглового инструмента для перемножения тензоров и оптимизации функционалов. Часть - потому что важные куски типа параллелизации еще не выкачены в паблик. Если вам все ещё непонятно что это, значит это вам и не нужно, сириусли. Google перестарался с рекламой и теперь люди думают, что TF - это серебряная пуля и затычка для каждой бочки. До TF был Theano, который выполнял свою работу не хуже. И, в отличии от TF, он уже находится в стабильной фазе.

Ответы>>776227>>776596>>778634>>780050>>783281>>785710>>786478>>791467

21 Июн, 19:42 #2 #776227

>>776147 (OP)
>прослойка людей изобретает новые методы
Как туда попасть? ШАД, cs.hse годно?

Ответы>>776271>>777706

21 Июн, 20:06 #3 #776271

>>776227
а тебе что, ентерпраиз солюшены неинтересно разрабатывать?
знакомая рижанка поступила на пхд на западе с обычным дипломом по матеше
так что просто берёшь и поступаешь куда хочешь пока хайп не спал

Ответы>>776760

21 Июн, 20:23 #4 #776311

https://www.youtube.com/watch?v=rIofV14c0tc

22 Июн, 02:49 #5 #776596

>>776147 (OP)
Как обучают сеть чтобы она распознавала более сложные объекты, такие как классы автобус, кошек, яхты и т.д.

Ответы>>776603>>776769

22 Июн, 03:08 #6 #776603

>>776596
точнее, где берутся картинки для обучения?

Ответы>>776697>>776769>>776935

22 Июн, 10:02 #7 #776697

>>776603
Я нуб, но по-моему что выборки картинок, подходящих под описание формируются вручную.
Читал недавно статью как чуваки делали фильтр прона для какого-то сайта. В итоге, чтобы нейроночка выдала хоть какой-то реальный процент правильно распознанных картинок, им пришлось вручную отфильтровать пару гигабайт порнухи.

Ответы>>776768

22 Июн, 12:08 #8 #776760

>>776271
>ентерпраиз солюшены неинтересно разрабатывать
Нет. Я распознование капчи делал еще лет 5 назад. Это пиздец уныло.

>знакомая рижанка поступила на пхд на западе с обычным дипломом по матеше
Блядь, ну это же хуйня. На PhD любой дурак поступить может, вопрос делают ли там что-то реальное.

22 Июн, 12:20 #9 #776768

>>776697
>нейроночка выдала хоть какой-то реальный процент правильно распознанных картинок
исчо раз, нейронночка это говно и пеар, с технологиями оптических распознований объектов все плохо, от слова совсем.

22 Июн, 12:22 #10 #776769

>>776596
>>776603
очевидно сеть заставляет людей вручную составлять большие выборки помеченных картинок, чтобы потом сожрать их
у этих выборка была несколько сот миллионов пикч:
https://www.ted.com/talks/fei_fei_li_how_we_re_teaching_computers_to_understand_pictures?language=en

Ответы>>776931

22 Июн, 13:56 #11 #776931

>>776769
Короч все хуйня и нужно обучение без учителя, а то так заебешься.

Ответы>>776960

22 Июн, 13:58 #12 #776935

>>776603
Очевидный CIFAR для начала, дальше ещё Flickr.

22 Июн, 14:16 #13 #776960

>>776931
что у тебя за задача?

Ответы>>776977

22 Июн, 14:25 #14 #776977

>>776960
пока никакой, просто разбираюсь че да как. С процом сижу обучаю цифрами с помехами

121 Кб, 820x586

22 Июн, 17:31 #15 #777218

Итак, в одном из прошлых тредов мне никто не пояснил за SVM. Я нихуя не могу понять суть этого метода, как именно он работает. Очевидно, что дело в недостатке некоторых знаний, которые предполагаются у читателя. Вопрос в том, есть ли нормальное объяснение, не предполагающее а включающее все наобходимое для понимания?

Ответы>>777229>>777257>>777587>>782402

22 Июн, 17:39 #16 #777229

>>777218
Или задавай конкретные вопросы, или уёбывай читать Мёрфи/Бишопа, там кроме элементарного теор.вера, матана, линала и простейших оптимизационных алгоритмов от читателя не требуется.
А то ноешь, как капризный студентишка: "НИЧЕГО НИПАНЯТНА!"

Ответы>>777232

22 Июн, 17:50 #17 #777232

>>777229
>читать Мёрфи
Это что?

Ответы>>777237

22 Июн, 17:55 #18 #777237

>>777232
http://hagesjo.se/static/books/Murphy_ML.pdf

Ответы>>777240

5830 Кб, Webm

22 Июн, 17:59 #19 #777240

>>777237
Благодарствую, будем почитать. Надеюсь, там понятно объясняется.

Ответы>>777247

22 Июн, 18:05 #20 #777247

>>777240
Проиграл с вебмки.

22 Июн, 18:14 #21 #777257

>>777218
а зачем он тебе?

Ответы>>777268

22 Июн, 18:23 #22 #777268

>>777257
Прост)) Разобраться хочу как работает. Скажем, для общего развития. И вот мне несколько подпекает, что не могу вьехать.

Ответы>>777277

22 Июн, 18:29 #23 #777277

>>777268
а ты на картинки смотрел? ну там прямая разделяет точки, вроде все доходчиво

Ответы>>777288

22 Июн, 18:33 #24 #777288

>>777277
Хотелось бы именно понимания что и как происходит. Картинки и анимацию видел, ес-но.

Ответы>>777297

22 Июн, 18:38 #25 #777297

>>777288
даже незнаю
а перцептрон тебе понятен?

Ответы>>777300

22 Июн, 18:41 #26 #777300

>>777297
Да, нейроночки и не только нейроночки норм заходят, и не только перцептрон.

Ответы>>777339

22 Июн, 19:19 #27 #777339

>>777300
с какого места непонятно?
в лагранжа множители умеешь?

Ответы>>778047

22 Июн, 23:50 #28 #777587

>>777218
http://www.ccas.ru/voron/download/SVM.pdf

Ответы>>778048

22 Июн, 23:58 #29 #777592

Как капчу-то распознавать?
Особо интересует гугл капча с картинками и кликами.

Ответы>>777594

23 Июн, 00:00 #30 #777594

>>777592
Денег не хватит.

23 Июн, 00:13 #31 #777609

Жалко что я тупой, не осилю этого никогда. Я даже принстонский курс по алгоритмам не мог осилить.

23 Июн, 01:54 #32 #777679

Бля, анон, как же меня всё это заебало.
Я уже четыре ебучих месяца мучаю различные варианты MCMC на Марковских сетях. У меня нихуя не получается.
Кто-нибудь занимался графическими моделями?

Ответы>>777706

23 Июн, 01:57 #33 #777681

Алсо, в прошлом тредике был анон, который пояснял за кучу Лапласов в разных точках. Как это культурно называется? Я правильно понял, что строится аппроксимация в виде смеси Гауссиан?

Ответы>>777787

23 Июн, 05:50 #34 #777706

ОП, спасибо за перекат, у меня времени совершенно не было.
>>776227
>ШАД
Да
>cs.hse
Бакалавриат сейчас вроде бы ОК, магистратура - хуйня.
>>777679
Ветров занимался
ОП прошлых тредов

23 Июн, 10:09 #35 #777787

>>777681
> Я правильно понял, что строится аппроксимация в виде смеси Гауссиан?
да

тут для графических моделей рассматриваются всякие другие методы, может для себя чего нового найдёшь:
http://videolectures.net/mlss09uk_minka_ai/

Ответы>>777991>>778896

23 Июн, 12:49 #36 #777991

>>777787
Как сокровищницу нашёл. Спасибо.

23 Июн, 14:04 #37 #778047

>>777339
>в лагранжа множители умеешь?
Вот с лагранжа и непонятно. Точнее, все дальнейшие рассуждения.

Ответы>>778061

23 Июн, 14:06 #38 #778048

>>777587
Воронцова читал. Сначала вроде норм, а потом пошло-поехало.

23 Июн, 14:27 #39 #778061

>>778047
посмотри на какую нибудь более простую похожую модель
например у бишопа в начале 6 главы есть простой пример линейной регрессии с ядрами

Оп хохол? 23 Июн, 16:22 #40 #778132

Я кажется тебя узнал.

23 Июн, 19:42 #41 #778290

трепещите людишки
https://www.youtube.com/watch?v=tf7IEVTDjng

Ответы>>778296

3419 Кб, Webm

23 Июн, 19:47 #42 #778296

>>778290

Ответы>>778311

23 Июн, 20:10 #43 #778311

>>778296
Машин лерниг ин э нат шэл.

24 Июн, 11:15 #44 #778634

>>776147 (OP)
Аноны, привет, вы меня помните?
Так вот, я заебался, читаю эту вашу книгу по алгоритмам и дошел до наивного Байесовского классификатора.
И охуел, я и так понимаю очень мало, так вот еще и там МАТАН, понимаете, самый что ни на есть матан в виде теории вероятности, которую я не знаю особо.

Ответы>>778637>>778649

24 Июн, 11:21 #45 #778637

>>778634
Есть куча книг и лекций по терверу и статистике.

Ответы>>778639

24 Июн, 11:22 #46 #778639

>>778637
НА АНГЛИЙСКОМ?
Лел, уже не сегодня, голова болит от такого потока информации, который почти не разбираешь.
Да и по идее я должен понять все прямо из учебника, но нет.

Ответы>>778648>>778656>>780199

24 Июн, 11:59 #47 #778648

>>778639
Видимо, ты слишком туп. Мне жаль, что так вышло.

Ответы>>778653

2507 Кб, 301x250

24 Июн, 12:05 #48 #778649

>>778634
продолжай, не здавайся
без твоих потугов тредик заглохнет

Ответы>>778653

24 Июн, 12:11 #49 #778653

>>778648
Да можешь лесом гулять, зеленый.
>>778649
Это уже не просто потуги, а план чтения целой книги за месяц, в виде получения профита от изучения пары сотен новых слов и очень многих тем в машинном обучении.

Ответы>>778657

24 Июн, 12:13 #50 #778656

>>778639
Уверен, что на русском тоже есть.
Вот например:
http://www.nsu.ru/mmf/tvims/teaching.html (есть лекции для студентов ЭФ 1-го курса и для ММФ 3-го курса)
https://cs.msu.ru/node/1198 (лекции для ВМиК МГУ 2-го курса, pdf-ка на либгене)

Сам смотрю вот эти:
https://www.youtube.com/watch?v=KbB0FjPg0mw&list=PL2SOU6wwxB0uwwH80KTQ6ht66KWxbzTIo
К ним также есть учебник.

24 Июн, 12:14 #51 #778657

>>778653
дочитай и сразу начни заново
во второй раз будет понятней

Платина 24 Июн, 13:56 #52 #778713

Посоветуйте книгу для максимум дебилов. Статистику только немного знаю на уровне всяких доверительных интервалов для неизвестных параметров и функций правдоподобности.

Ответы>>778738

297 Кб, 299x477

24 Июн, 14:21 #53 #778738

>>778713

Ответы>>778759

sage 24 Июн, 14:43 #54 #778759

>>778738
Очень содержательная обложка, много узнал из нее.

home.manhattan.edu/~robert.geraci/apocalypticAI.pdf

Ответы>>778772

871 Кб, 2480x3508

24 Июн, 14:56 #55 #778772

>>778759
поделись с нами знаниями
когда статистические модельки поработят человечество?

Ответы>>778841

24 Июн, 17:06 #56 #778841

>>778772
Вон биномиальное распределение уже заставило Британию выйти из ЕС. Скоро за дело возьмется линейная регрессия, тогда держись.

Ответы>>778848

24 Июн, 17:13 #57 #778848

>>778841
она в лучшем случае через года два выйдёт
эти мудаки ещё так затянуть могут что никто и не вспомнит о референдуме

24 Июн, 18:12 #58 #778896

>>777787
Хм, а ведь можно ведь параметры смеси приближать чем-нибудь вроде SPSA, пытаясь минимизировать KL-дивергенцию.

Ответы>>778908>>781622

24 Июн, 18:46 #59 #778908

>>778896
среди параметров могут быть жирные матрицы ковариантности с тысячами элементов, не замахаемся ли приближать такое?

Ответы>>778949

24 Июн, 19:51 #60 #778943

Лучше понять как дельта ошибки в сверточной сети в слое pooling считать

Ответы>>779001

24 Июн, 20:03 #61 #778949

>>778908
Они почти все разреженные, мб и сработает.
Хотя так и просто постериорный риск можно пытаться минимизировать, но это печально работало.
Блин, вывод в несопряжённых моделях – сплошная боль.

24 Июн, 20:52 #62 #779001

>>778943
Интерполированная минус вход.

Ответы>>779125

24 Июн, 21:23 #63 #779026

Аноны, поясните мне что значит следующее:
>The first thing that we need to do to get these values is to quantise the measurement x, which just means that we put it into one of a discrete set of values {X},
Что значит квантизировать измерение x?
Типа есть некоторый прерывистый набор значений X
И у нас есть переменная, но как мы разместим значение x?

Ответы>>779031

24 Июн, 21:26 #64 #779031

>>779026
Получение дискретного множества значений из непрерывных измерений. Можешь погуглить про квантование и дискретизацию.

Ответы>>779033>>779043

24 Июн, 21:27 #65 #779033

>>779031
Я уже на основе определения понял, спасибо.

24 Июн, 21:37 #66 #779043

>>779031
А что такое тогда Histogram bin?

Ответы>>779046

24 Июн, 21:37 #67 #779046

>>779043
Столбик?

Ответы>>779050

24 Июн, 21:40 #68 #779050

>>779046
Что подразумевается? Горизонтальный, вертикальный?
Или просто последовательность чисел?

Ответы>>779064

24 Июн, 21:43 #69 #779064

>>779050
Графически гистограмма строится следующим образом. Сначала множество значений, которое может принимать элемент выборки, разбивается на несколько интервалов (bins). Чаще всего эти интервалы берут одинаковыми, но это не является строгим требованием. Эти интервалы откладываются на горизонтальной оси, затем над каждым рисуется прямоугольник. Если все интервалы были одинаковыми, то высота каждого прямоугольника пропорциональна числу элементов выборки, попадающих в соответствующий интервал. Если интервалы разные, то высота прямоугольника выбирается таким образом, чтобы его площадь была пропорциональна числу элементов выборки, которые попали в этот интервал.

24 Июн, 22:09 #70 #779103

Аноны, а что такое совместная вероятность? Вики говорит одно, а в книге написано
>This is exactly what is plotted in Figure 2.10. Now, if we have lots of examples of the two classes, and the histogram bins that their measurements fall into, we can compute P(Ci , Xj ), which is the joint probability, and tells us how often a measurement of Ci fell into histogram bin Xj .
Почему тут написано, что это то, как часто измерения Ci впадают в интервал гистограммы Xj?
Но ничего не сказано про:
>Вероятность суммы двух совместных событий равна сумме вероятностей этих событий без вероятности их произведения

Ответы>>779111

24 Июн, 22:24 #71 #779111

>>779103
А лел, простая математика, умножаем P на Ci и P на Xj, а потом складываем? И зачем нам узнавать, выпадет ли Ci или Xj?
Или о чем говорится?

24 Июн, 22:57 #72 #779125

>>779001
что-то я не заметил в примере питона каких-то изменений для этого слоя, не понятно че да как.

24 Июн, 22:58 #73 #779126

Есть один проект на .net. Нужно выбрать язык для анализа данных и обучения. Что выбрать? Стандартные python или R, или же может F#? Что местные обучатели бы выбрали?

Ответы>>779159

24 Июн, 23:50 #74 #779159

>>779126
Пиздон, ибо куча библиотек.

Ответы>>779195

25 Июн, 00:21 #75 #779167

# y.shape[0] is (symbolically) the number of rows in y, i.e.,
# number of examples (call it n) in the minibatch
# T.arange(y.shape[0]) is a symbolic vector which will contain
# [0,1,2,... n-1] T.log(self.p_y_given_x) is a matrix of
# Log-Probabilities (call it LP) with one row per example and
# one column per class LP[T.arange(y.shape[0]),y] is a vector
# v containing [LP[0,y[0]], LP[1,y[1]], LP[2,y[2]], ...,
# LP[n-1,y[n-1]]] and T.mean(LP[T.arange(y.shape[0]),y]) is
# the mean (across minibatch examples) of the elements in v,
# i.e., the mean log-likelihood across the minibatch.
return -T.mean(T.log(self.p_y_given_x)[T.arange(y.shape[0]), y])

Бля, это получается не нужно обратное распространение ошибки?

Ответы>>779170>>779175>>779214

25 Июн, 00:23 #76 #779170

>>779167
я хочу из питона написать на паскале пример сверточной сети. Но вот написал с обратым расп ош и без батчей и вместо пуллмакса сделал матрицу весов 2*2(что неправильно как я понял)

Ответы>>779172

25 Июн, 00:24 #77 #779172

>>779170
везде как-то по еблански описали алгоритмы, и поэтому такие непонятки.

25 Июн, 00:30 #78 #779175

>>779167
grads = T.grad(cost, params)
updates = [(param_i, param_i - learning_rate * grad_i) for param_i, grad_i in zip(params, grads)]

а хотя не, вот же ОРО, вроде как

Ответы>>779196

25 Июн, 01:14 #79 #779195

>>779159
Да, я тоже бы взял питон, если бы не один аргумент. Но если я возьму F#, то я у меня еще появится шанс научиться функциональщине.

Ответы>>779197

25 Июн, 01:14 #80 #779196

>>779175
А нет
This tutorial will use the method of stochastic gradient method with mini-batches (MSGD)
тока я чет вероятности нигде не вижу

25 Июн, 01:18 #81 #779197

>>779195
Если преследуется чисто образовательные цели, то можно брать F# при наличии хорошей базы в ML и статистике.

Ответы>>779200

25 Июн, 01:20 #82 #779200

>>779197
Нет, проект коммерческий, просто у меня будет много свободы принятия решений в нем.

Ответы>>779201

25 Июн, 01:22 #83 #779201

>>779200
Что-то мне говорит, что F# будет достаточно дорогим решением, ибо спецов по нему не так много.

Ответы>>779206

25 Июн, 01:28 #84 #779206

>>779201
Ок, я понял твою мысль. Спасибо.

25 Июн, 01:50 #85 #779214

>>779167

T.log - нахер этот логарифм? T.mean - это и есть аппроксимация?

Ответы>>779224

25 Июн, 01:57 #86 #779216

Короч, на сколько я понял, логичнее всего где у нас пуллмакс просто записать из уменьшенного слоя в слой исходный просто размножить на 2*2, т.е. 4 раза повторить тот же результат что у нас был уменьшенном слое и все.

Ответы>>779218

25 Июн, 01:58 #87 #779218

>>779216
Мои поздравления:
https://en.wikipedia.org/wiki/Nearest-neighbor_interpolation

25 Июн, 02:17 #88 #779224

>>779214
Хрен с ним со средним значением, вроде как понятно что из всего батча он среднее считает. Но почему отрицательный логарифм? Понятно что он оптимизирует эту функцию(где об этом почитать?) градиентным спуском(берет производную от функции ошибки), но как понять, что там делается между такими специфичными слоями где пулмакс?

>Между этими двумя видами градиентного спуска существует компромисс, называемый иногда «mini-batch». В этом случае градиент аппроксимируется суммой для небольшого количества обучающих образцов.

Это вообще не пойму где в коде, там только среднее значение есть, суммы не вижу.

Ответы>>779238

25 Июн, 02:47 #89 #779238

>>779224
>Хрен с ним со средним значением, вроде как понятно что из всего батча он среднее считает. Но почему отрицательный логарифм? Понятно что он оптимизирует эту функцию(где об этом почитать?) градиентным спуском(берет производную от функции ошибки),

Короч вот так на этот вопрос

A common choice with the softmax output is the categorical cross-entropy loss (also known as negative log likelihood). If we have N training examples and C classes then the loss for our prediction \hat{y} with respect to the true labels y is given by:

\begin{aligned} L(y,\hat{y}) = - \frac{1}{N} \sum_{n \in N} \sum_{i \in C} y_{n,i} \log\hat{y}_{n,i} \end{aligned}

The formula looks complicated, but all it really does is sum over our training examples and add to the loss if we predicted the incorrect class. The further away the two probability distributions y (the correct labels) and \hat{y} (our predictions) are, the greater our loss will be. By finding parameters that minimize the loss we maximize the likelihood of our training data.

25 Июн, 07:53 #90 #779277

Аноны, что здесь значит fall into?
>Now, if we have lots of
examples of the two classes, and the histogram bins that their measurements fall into, we
can compute P(Ci , Xj ), which is the joint probability, and tells us how often a measurement of Ci fell into histogram bin Xj.
Давайте, вы же все знаете английский.
Тут же говорится о совместной вероятности двух событий.
Где все может быть записано как P(Ci)P(Xj), так почему тут говорится что одно fall into от другого? Опечатка?

Ответы>>779290>>779349

25 Июн, 08:44 #91 #779290

>>779277
> tells us how often a measurement of Ci fell into histogram bin Xj.
> говорит нам о том, как часто измерение Ci попадает в интервал Xj

Ответы>>779292>>779293

25 Июн, 08:48 #92 #779292

>>779290
Но это же условная вероятность, разве нет?
Причем тут общая вероятность?

25 Июн, 08:49 #93 #779293

>>779290
>and the histogram bins that their measurements fall into
Хорошо, а что тогда значит эта часть?

25 Июн, 11:20 #94 #779341

http://www.inference.phy.cam.ac.uk/mackay/thesis.pdf

25 Июн, 11:38 #95 #779349

>>779277
> все может быть записано как P(Ci)P(Xj)
Не может быть. Это верно только для независимых событий.
Вероятность пересечения — количество измерений класса Ci попавших в интервал Xj делить на количество всех измерений (в x в обозначениях твоей книжки):
P(Ci, Xj) = |Ci ∩ Xj| / |x|

Аналогично:
P(Ci) = |Ci| / |x|

Условная вероятность P(Ci | Xj) — рассматриваем только Xj, это теперь это все наши измерения, других больше нет.
Количество измерений класса Ci теперь равно |Ci ∩ Xj|, остальные выкидываем.
Количество всех измерений теперь равно |Xj|, а не |x|.
P(Ci | Xj) = |Сi ∩ Xj| / |Xj| = P(Ci, Xj) / P(Xj).

Откуда:
P(Ci, Xj) = P(Ci | Xj) P(Xj)

Ответы>>779358

25 Июн, 11:59 #96 #779358

>>779349
А все, получается, что я joint probability неправильно перевел и все по пизде пошло?
Спасибо.

Ответы>>779364

25 Июн, 12:09 #97 #779364

>>779358
Верно ты перевел, joint probability — совместная вероятность или вероятность совместного появления (двух) событий.
Для независимых событий это верно, что P(AB) = P(A)P(B), но в общем случае нет.

Ответы>>779368

25 Июн, 12:13 #98 #779368

>>779364
А все, тогда меня подвел русский интернет, который сразу выдал про независимые события.
Ладно, уже подбираюсь к Гауссу по книге, завтра про нейронки буду читать, видел, что там наконец код появится.

25 Июн, 15:03 #99 #779455

Я правильно понял, что там разница только в том что целевая функция в ОРО разница сумм полученного значения и целевого, а в сверточной сделали сумму логарифмов произведения полученного значения и целевого?

Ответы>>779458

25 Июн, 15:06 #100 #779458

>>779455
Хз, о чём ты, но первое напоминает MST, а второе кросс-энтропию. Ты об этом?

Ответы>>779459>>779462

25 Июн, 15:06 #101 #779459

>>779458
> MSE
быстрофикс

25 Июн, 15:07 #102 #779462

>>779458
https://ru.wikipedia.org/wiki/Метод_обратного_распространения_ошибки

https://wikimedia.org/api/rest_v1/media/math/render/svg/78c57cb0c9229b0698f980dd213390367f9b87d2

http://www.wildml.com/2015/09/implementing-a-neural-network-from-scratch/

http://s0.wp.com/latex.php?latex=\begin{aligned}++L(y,\hat{y})+=+-+\frac{1}{N}+\sum_{n+\in+N}+\sum_{i+\in+C}+y_{n,i}+\log\hat{y}_{n,i}++\end{aligned}++&bg=ffffff&fg=000&s=0

Ответы>>779464

25 Июн, 15:09 #103 #779464

>>779462
Да, ты об этом. Значение обоев знаешь?

Ответы>>779466

25 Июн, 15:10 #104 #779466

>>779464
Ну какбе 2 разные целевые функции, но почему в одном случае одна, в другом - другая, я -хз.

Ответы>>779468>>779471

25 Июн, 15:11 #105 #779468

>>779466
во втором какая-то муть с вероятностями(стохастическая типа)

25 Июн, 15:13 #106 #779471

>>779466
https://goo.gl/dRWwHa
https://goo.gl/eMT3rk

Ответы>>779513

25 Июн, 15:58 #107 #779513

>>779471
Ясно, спс. Т.е. метод тот же - ОРО, только целевая функция другая?

Ответы>>779521

25 Июн, 16:09 #108 #779521

>>779513
> ОРО
Даже если бы вместо ОРО ты писал BP, было бы понятнее, хотя BP - ещё и Belief Propagation.

Да, целевая функция другая, её выбор зависит от ситуации.

Ответы>>779528>>779539

25 Июн, 16:14 #109 #779528

>>779521
Английский понимаю через слово, не совсем понял в каких ситуациях.

7 Кб, 275x114

25 Июн, 16:21 #110 #779539

>>779521
правильно ли я понимаю, что считать ошибку теперь надо так?

Ответы>>779556

25 Июн, 16:28 #111 #779546

Аноны, а ведь нейронную сеть можно применить в РПГ
Где твой персонаж будет реально учиться владеть мечем, кидать ножи, стрелять из разного оружия

Ответы>>779553>>779555

25 Июн, 16:30 #112 #779550

мне бы твой энтузиазм и рвение

25 Июн, 16:30 #113 #779553

>>779546
И в чем будет заключаться реальность? "Мышцы" правильно двигать, подставлять в нужное положение?

Ответы>>779587

25 Июн, 16:31 #114 #779555

>>779546
Классика тредика:
"А ведь нейроночку можно применить в X для Y"

25 Июн, 16:31 #115 #779556

>>779539
А хуй знает, в статье что пишут?

Ответы>>779565

9 Кб, 339x140

25 Июн, 16:39 #116 #779565

>>779556
Хз, не находил.
Короч по логике, если сигмоида, вроде так окончательно получается.

Ответы>>779575>>779937

25 Июн, 16:49 #117 #779575

>>779565
Бля, тока без минуса перед двойкой для последнего уровня.

25 Июн, 16:59 #118 #779587

>>779553
Ну тоже вариант.
Еще правильно стрелять с разных расстояний и оружия, перепрыгивать через препятствия.

Ответы>>779591

25 Июн, 17:08 #119 #779591

>>779587
https://www.youtube.com/watch?v=wBrwN4dS-DA
https://www.youtube.com/watch?v=pgaEE27nsQw

Смотрел уже?

Ответы>>779593

25 Июн, 17:12 #120 #779593

>>779591
Эх, смотрел, но во втором это не нейроночка, а эволюционный алгоритм

25 Июн, 17:33 #121 #779605

Как можно применить нейроночки для новой нейро-АИБ?

Ответы>>779614

25 Июн, 17:41 #122 #779614

>>779605
Применить RL для имитации шатаний Абу, но это оффтопик.

25 Июн, 17:49 #123 #779626

если сделать нейроночку с 100 миллионов нейронов то получится искусственный интеллект
почему вы ещё не додумались?

Ответы>>779633>>779634>>780001

25 Июн, 17:53 #124 #779633

>>779626
100 миллионов нейронов еще применять нужно научиться

25 Июн, 17:54 #125 #779634

>>779626
исскуственный интеллект - массив
следовательно монада - искусствненный интеллект

25 Июн, 23:49 #126 #779896

Ребят, такая вот задача. Есть выборка в 100к предложений, независимых друг от друга. Все они принадлежат одному классу. Необходимо по любому предложению оценивать, принадлежит ли оно данному классу. Как решать такие задачи?

Ответы>>779923>>780072

25 Июн, 23:55 #127 #779898

и восстали машины из пепла ядерного огня, и пошла война на уничтожения человечества и шла она десятилетия, но последнее сражение состоится не в будущем, оно состоится здесь, в наше время, сегодня ночью

9 Кб, 255x361

3 Кб, 561x320

26 Июн, 01:00 #128 #779923

>>779896
>Как решать такие задачи?
Рассчитать хеш по строке, наверное.

Ответы>>780071

26 Июн, 01:12 #129 #779934

Эх, парни, когда-нибудь и я буду с вами итт умные вещи обсуждать. Но придется сперва добить свои текущие скучные нудные проекты.

26 Июн, 01:14 #130 #779937

>>779565
пиздос, тут уже другая формула

https://www.ics.uci.edu/~pjsadows/notes.pdf

1277 Кб, 280x200

26 Июн, 05:19 #131 #780001

>>779626
Про переобучение слышал?

26 Июн, 08:38 #132 #780050

>>776147 (OP)
Аноны, а бесконечное число при высшем количестве измерений будет сжиматься?
Как взаимодействуют бесконечность и проклятие размерности?

Ответы>>780067

26 Июн, 09:58 #133 #780067

>>780050
> бесконечное число
define
> сжиматься
define

26 Июн, 10:15 #134 #780071

>>779923
Чушь полная.

26 Июн, 10:17 #135 #780072

>>779896
Может я плохо выразился, по любому предложению, даже не принадлежащему обучающей выборке.

26 Июн, 13:01 #136 #780199

>>778639
По теорверу и основам статистики есть годный учебник - Вентцель, "теория вероятности". Не на английском.

26 Июн, 13:30 #137 #780217

когда вообще можна вкатываться в этот ваш ML, учу web и думаю стоит ли вообще идти делать вышку или сразу пытаться найти работу с минимальными знаниями в web, темы вроде бигдаты и ML интересуют меня, но берут ли туда без опыта в чем то проще типа того же веба, даже если я выштудирую большую часть тех книг из шапки возьмут ли меня каким то джуном (в ML) без вышки и опыта? Как быть анон, наверняка в треде матёрые специалисты сидят, которые могут дать совет

Ответы>>780219>>780241>>780416

154 Кб, 1406x878

26 Июн, 13:32 #138 #780218

Короче, что я понял за SVM (если несу хуйню, прошу поправить):
1) SVM представим в форме нейроночки (Воронцов), скрытый слой которой - ядра, умноженные в т.ч. на соотв. им множители Лагранжа, которые равны 0 для всех векторов датасета кроме опорных. Т.о. число элементов скрытого слоя = пространству Вапника-Червоненкиса для данного датасета.
2) Сами множители Лагранжа находятся оптимизацией квадратичного функционала ф-ии лагранжа с заданными ограничениями, что сводится к задаче квадратичной оптимизации и решается любыми подходящими солверами.
3) Ограничения заданы так, чтобы множители Лагранжа имели ненулевое значение только для опорных векторов, т.е. тех, что лежат точно на границе гиперповерхности, разделяющей классы датасета. Ебля с ядрами нужна для работы с линейно-неразделимыми классами в датасетах. Суть использования ядер в замене линейного расстояния между элементами датасета на нелинейное между их отображениями, задаваемыми ядром.
4) В реальных SVM вместо простого решения задач квадратичной оптимизации используются всякий онанизм вприсядку, т.к. при больших датасетах матрицы получаются совершенно конских размеров (10000 примеров-векторов в датасете даст матрицу в 100000000 векторов и т.д.).

Ответы>>780222

26 Июн, 13:34 #139 #780219

>>780217
Зачем тебе МL? Потому что платят якобы больше?

Ответы>>780228

26 Июн, 13:36 #140 #780222

>>780218
>множители Лагранжа,
>слоя = пространству Вапника-Червоненкиса
ебаные наркоманы, теперь я понимаю почему вся эта ваша ии хуета не работает

Ответы>>780224>>780346

26 Июн, 13:37 #141 #780224

>>780222
В нормальных туториалах нет такого говна.

26 Июн, 13:41 #142 #780228

>>780219
просто интересуют темы посложнее, не хочу всю жизнь пилить сайтики, конечно я понимаю что прийдётся тратить овер дохуя времени на самообучение, но это намного интереснее, просто я понятия не имею как выстраивать карьерную лестницу, загуглил оферы по мл там только всего околок 7 оферов и в 6 нужео сеньор, в 1 практика для студентов. А в остальном посмотрел на оферы в целом, почти везде требуются знания web

Ответы>>780229

26 Июн, 13:44 #143 #780229

>>780228
P.S. оферы в целом я имею ввиду на разные технологии типа питона, джавы

26 Июн, 14:00 #144 #780241

>>780217
бамп

26 Июн, 14:52 #145 #780346

>>780222
>теперь я понимаю почему вся эта ваша ии хуета не работает
Потому что тебе не знакомы какие-то слова в тексте? И причем тут ИИ?

Ответы>>780365

26 Июн, 15:03 #146 #780365

>>780346
а нейронные сети уже не ии?

Ответы>>780376>>780377

26 Июн, 15:11 #147 #780376

>>780365
>а нейронные сети уже не ии?
Нейроночки просто удобное представление для алгоритмов МЛ, т.к. в любом из них есть элементы, слои, веса и т.д. Задача собственно моделирования функций нервной системы или какой-то ее части ставится в очень немногих алгоритмах, из которых практически используются перцептроны, SOM да сверточные сети. И они как раз норм работают. Сверточные сети на сегодняшний день самый годный сетод распознавания изображений.

Ответы>>780403

26 Июн, 15:11 #148 #780377

>>780365
А SVM является нейронной сетью?

Ответы>>780391

26 Июн, 15:27 #149 #780391

>>780377
всё является нейронной сетью, няша
даже твоя мамка, даже аллах, даже брексит

46 Кб, 485x537

26 Июн, 15:31 #150 #780398

И таки я примерно правильно понял суть SVM, только что нашел, в пакете для R kernlab расписано как запилить SVM вручную, пикрелейтед. Сначала подготавливают данные, затем делают RBF-ядро и задают параметр С, затем натягивают сову на кернел получают проекцию датасета на кернел и далее подкладывают все это солверу для нахождения седловой точки совы множителей Лагранжа.

Ответы>>780409

26 Июн, 15:32 #151 #780403

>>780376
>Задача собственно моделирования функций нервной системы
задача нейронной сети пилить гранты и кормить говном ньюфагов, к биологическому подобию мозга неимеющего абсолютно никакого отношения, а также полный абасрамс в любом более менее серьезном ии проекте, например ocr

26 Июн, 15:35 #152 #780409

>>780398
да всё верно
теперь разберись с RVM - модная патентованая модель

26 Июн, 15:38 #153 #780416

>>780217
>>780217
попробую ещё раз бампнуть

Ответы>>780799

26 Июн, 23:19 #154 #780799

>>780416
Как видишь, у нас тут толком математику никто не знает. Зависит от математической базы всё.

Ответы>>780864>>780879

27 Июн, 00:31 #155 #780864

>>780799
>у нас тут толком математику никто не знает
анончик поясни, нахуй твоя математика вообще нужна?

Ответы>>780870

27 Июн, 00:35 #156 #780870

>>780864
Чтобы брать гранты от всяких научных организаций и заниматься всякой интересной мне хуйнёй, заодно заигрывая со студентками и аспирантками.
А вообще дата сайенс нормально так хайпнут, а здесь без этого никуда. Тут дохуя примеров приводилось.

Ответы>>780889

27 Июн, 00:48 #157 #780879

>>780799
насколько я понял для всякого ии и дата сайнс придется все же делать вышку? Тогда такой вопрос, что начинать изучать если у меня до поступления в вуз несколько лет ещё + несколько лет обучения, что б не тратить время в пустую( я имею ввиду технологии/области матана)

Ответы>>780883>>780885

27 Июн, 00:51 #158 #780883

>>780879
Счастливчик, вместе с погроммированием и алгоритмами пробуй начинать изучать вузовский курс математики. Не торопясь и основательно. К третьему курсу уже будешь давать на клыка всей своей шараге.

Ответы>>781379

27 Июн, 00:52 #159 #780885

>>780879
Посмотри шапку этого треда:
https://2ch.hk/sci/res/369067.html (М)
Только в целом со ски осторожней, у них там дохуя поехавших. Обрати внимание на элементарный курс и базовый.

Ответы>>781379

27 Июн, 01:01 #160 #780889

>>780870
>заодно заигрывая со студентками и аспирантками
ты ебанись, поехавший

Ответы>>780893

27 Июн, 01:06 #161 #780893

>>780889
Я же не уточнил, что это всё в моём влажном манямирке. На деле заигрывания для меня сводится к кивку знакомой страшной дырке, поверхность лица которой неплохо описывается Гауссовским полем, фигура линейно разделяет пространство, а волосы напоминают логотип Хабра.
А гранты ирл есть, да.

27 Июн, 03:58 #162 #780919

Это что получается, что гиперболический тангенс для кросс энтропии не используешь из-за того, что не сокращается знаменатель?

https://www.ics.uci.edu/~pjsadows/notes.pdf

Ответы>>781022

27 Июн, 10:15 #163 #781022

>>780919
всмысле?

Ответы>>781178

27 Июн, 14:13 #164 #781178

>>781022
ну если в знаменателе 0, то лажа получается

Ответы>>781192

27 Июн, 14:33 #165 #781192

>>781178
точнее вычислять можно, как-то это теано делает, но вот просто взять производную - хер.

27 Июн, 17:09 #166 #781294

https://github.com/open-source-society/data-science/blob/master/README.md

ЧЁ ТАК МАТЕМАТИКИ МНОГО

Ответы>>781300>>781302>>781329

27 Июн, 17:24 #167 #781300

>>781294
> децкий комиксовый пиндоский линальчик
> децкий комиксовый пиндоский матанчик
> децкий комиксовый пиндоский терверчкик
если закостенелое 200-летнее говно мамомнта для тебя "математика" то бедапичаль конечно

Ответы>>781315

27 Июн, 17:26 #168 #781302

>>781294
Все эти онлайн курсы чушь по сравнению с тем, что заставляют учить в рашковузах.

Возьмем, например, вот этот:
Linear Algebra - Foundations to Frontiers15 weeks8 hours/week

Смотрим на список тем:
Week 0 Get ready, set, go!
Week 1 Vectors in Linear Algebra
Week 2 Linear Transformations and Matrices
Week 3 Matrix-Vector Operations
Week 4 From Matrix-Vector Multiplication to Matrix-Matrix Multiplication
Week 5 Matrix-Matrix Multiplication

5 сраных недель на то, чтобы добраться до перемножения матриц! На это хватит недели.

Week 6 Gaussian Elimination
Week 7 More Gaussian Elimination and Matrix Inversion
Week 8 More on Matrix Inversion
Week 9 Vector Spaces
Week 10 Vector Spaces, Orthogonality, and Linear Least Squares
Week 11 Orthogonal Projection and Low Rank Approximation
Week 12 Eigenvalues and Eigenvectors

Это еще максимум пару недель.

А вообще, весь этот курс или эквивалент можно за неделю выучить, если время есть.

27 Июн, 17:26 #168 #781302

>>781294
Все эти онлайн курсы чушь по сравнению с тем, что заставляют учить в рашковузах.

Возьмем, например, вот этот:
Linear Algebra - Foundations to Frontiers15 weeks8 hours/week

Смотрим на список тем:
Week 0 Get ready, set, go!
Week 1 Vectors in Linear Algebra
Week 2 Linear Transformations and Matrices
Week 3 Matrix-Vector Operations
Week 4 From Matrix-Vector Multiplication to Matrix-Matrix Multiplication
Week 5 Matrix-Matrix Multiplication

5 сраных недель на то, чтобы добраться до перемножения матриц! На это хватит недели.

Week 6 Gaussian Elimination
Week 7 More Gaussian Elimination and Matrix Inversion
Week 8 More on Matrix Inversion
Week 9 Vector Spaces
Week 10 Vector Spaces, Orthogonality, and Linear Least Squares
Week 11 Orthogonal Projection and Low Rank Approximation
Week 12 Eigenvalues and Eigenvectors

Это еще максимум пару недель.

А вообще, весь этот курс или эквивалент можно за неделю выучить, если время есть.

Показать весь текст
Ответы>>781309>>781310

34 Кб, 600x359

27 Июн, 17:34 #169 #781309

>>781302
Дрочить матан ударными темпами, чтобы забыть 95% материала после экзамена - это по-комсомольски, да.

Ответы>>781311>>781312

27 Июн, 17:39 #170 #781310

>>781302
Лол, не верю.

27 Июн, 17:40 #171 #781311

>>781309
Плюсану. "Выучить" это за неделю можно только ради сдачи экзамена, что в рашковузах и практикуется.

27 Июн, 17:42 #172 #781312

>>781309
Разумеется придется повторять или применять после этого, это к любым навыкам и знаниям относится. Use it or lose it.

27 Июн, 17:48 #173 #781315

>>781300
А это не математика для тебя еблан, теория комплексных полей и арифметика оба математики

66 Кб, 626x344

21 Кб, 533x199

27 Июн, 17:51 #174 #781316

Что делать дальше?

Ответы>>781324>>781365

27 Июн, 17:58 #175 #781324

>>781316
Разбираться.

Ответы>>781332

27 Июн, 18:01 #176 #781329

>>781294
>4 курса по питону общей длительностью полгода
Это для даунов, что ли?

27 Июн, 18:12 #177 #781332

>>781324
При чём тут accuracy и что делать с kf?

27 Июн, 19:08 #178 #781353

Короч, я так и не понял как применить кросс энтропийную целевую функцию, если функция активации у меня гиперболический тангенс.

Ответы>>781357>>781359>>781368

27 Июн, 19:13 #179 #781357

>>781353
а теано применяет automatic differentiation,а как мне -хз

27 Июн, 19:23 #180 #781359

>>781353
Типа выебнулся словечками умными?

Ответы>>781360

27 Июн, 19:26 #181 #781360

>>781359
Те кто в теме должны понимать же. А что вы ту забыли, уважаемый?

27 Июн, 19:33 #182 #781365

>>781316
Ну помогите

27 Июн, 19:43 #183 #781368

>>781353
применяй как обычо
у тебя на самом внешнем слое сигмоиды/софтмаксы же?
тогда логарифм праводоподобности разложится на сумму кросс энтропии, ему похер какая у тебя функция активации во внутренних слоях

Ответы>>781383>>781398

27 Июн, 19:54 #184 #781379

>>780883
>>780885
спс, аноны!

27 Июн, 19:59 #185 #781383

>>781368
хм, точно, тока щас обратил внимание, что в питоне в примере софтмакс на последнем слое.

27 Июн, 20:19 #186 #781398

>>781368
Разговор семена

Ответы>>781406

1038 Кб, Webm

27 Июн, 20:25 #187 #781406

>>781398
тебе чо пригорело штоле?

27 Июн, 22:38 #188 #781622

>>778896
Такое уже есть:
https://projecteuclid.org/download/pdfview_1/euclid.ba/1386166315

28 Июн, 09:53 #189 #781907

Всем привет. Учиться по этому ресурсу норм?

http://deeplearning.net/

Ответы>>781951

28 Июн, 11:41 #190 #781951

>>781907
привет
какие у тебя цели?

Ответы>>781992

28 Июн, 12:18 #191 #781992

>>781951
привет
я просто услышал что это модно и хочу влиться в илитную тусовку

Ответы>>781997

28 Июн, 12:24 #192 #781997

>>781992
привет
тогда http://deeplearning.net/ - то что тебе нужно!

28 Июн, 15:14 #193 #782273

Я вот хотел начать курс по тому что кидали выше на гитхабе, но вы его раскритиковали, мол как так, там алгебра за неделю учится! Плюс там как я посмотрел много повторяющихся вещей, а может какой нибудь еще есть роадмап, потому что в оп посте сразу в книгу по статистике кидают. На фоне у меня опыт только в мобильной разработке меньше года.

Ответы>>782327>>782369

28 Июн, 15:53 #194 #782327

>>782273
https://www.reddit.com/r/MachineLearning/wiki/index

Ответы>>782369

28 Июн, 16:19 #195 #782369

>>782273
Учебник по мат. анализу.
Учебник по линейной алгебре параллельно к матану.
После этого учебник по терверу и статистике.
Этого должно быть достаточно для того, чтобы начать читать книги по ML.

По ссылке в >>782327 предлагается курс по алгебре Strang'а, он не углубляется в теорию, но его должно быть достаточно. Материал относительно простой и подается нормально. Есть пдфки с контрольными работами и ответами к ним, даже указаны баллы за задачи, так что можно будет выставить себе оценку.

ML класс от Andrew Ng не рекомендую, слишком поверхностно, лучше посмотреть его лекции на ютубе и читать материалы к курсу, которые доступны здесь:
http://cs229.stanford.edu/
Но этот курс только после того, как закончишь с тервером и статистикой.

Про остальные ссылки из той вики ничего не могу сказать.

> хотел начать курс по тому что кидали выше на гитхабе, но вы его раскритиковали, мол как так, там алгебра за неделю учится!
Что касается онлайн курсов. То, что в них подается все в довольно поверхностном или практическом виде и не требует значительного времени на изучение, не обязательно является чем-то плохим. Во всяком случае для чтения книг по ML инфы там достаточно, а углубиться в какую-нибудь тему можно будет по необходимости.

Ответы>>782380>>782757

28 Июн, 16:29 #196 #782380

>>782369
Поддвачну, но лучше наверное начать с линала, а потом в матан.

28 Июн, 16:49 #197 #782398

http://ofir.io/How-to-Start-Learning-Deep-Learning/

28 Июн, 16:51 #198 #782402

>>777218
https://www.youtube.com/watch?v=_PwhiWxHK8o

Ответы>>782464

411 Кб, 787x586

28 Июн, 17:32 #199 #782464

>>782402
Вот этот момент не понял. Почему х+ = 1-b, а x- = 1+b

Ответы>>782465>>782488

28 Июн, 17:33 #200 #782465

>>782464
По определению.

Ответы>>782468

28 Июн, 17:40 #201 #782468

>>782465
Да нет, он это как-то вывел из уравнения yi (xi w + b ) -1 = 0

Ответы>>782483

28 Июн, 17:50 #202 #782483

>>782468
Даунский вопрос же. Где там выписываются это равенство? Мужик говорит, x times w equals to 1 - b.

Ответы>>782493

28 Июн, 17:54 #203 #782488

>>782464
если х+ и х- опорные векторы то это следует прямо из определения на 9 минуте

240 Кб, 547x330

28 Июн, 17:57 #204 #782493

>>782483
>Где там выписываются это равенство?
В рамке за нумером 2.

Ответы>>782496

28 Июн, 18:01 #205 #782496

>>782493
Где-то здесь.

Ответы>>782499

28 Июн, 18:02 #206 #782499

>>782496
Сорян, ссылка отклеилась.
https://youtu.be/_PwhiWxHK8o?t=1071

Ответы>>782505

28 Июн, 18:06 #207 #782505

>>782499
Нужно вычислить величину (x_+ - x_- ) w / |w|, где x_+, x_- опорные векторы, то есть такие, которые удовлетворяют уравнению
+1 (x_+ w + b) - 1 = 0
-1 (x_- w + b) - 1 = 0
соответственно. Теперь сложи их, поделив на норму w, и получишь ширину полосы с точностью до множителя.

Ответы>>782557

28 Июн, 18:56 #208 #782557

>>782505
В целом годная лекция, хотя и не все сходу понятно, но лучше Воронцова, лол.

28 Июн, 22:17 #209 #782757

>>782369
Ну вот скажи мне зачем мне все эти доказательствам криволинейных интегралов в ML
или зачем мне аффиные и банаховы пространства в ML, конкретики больше, пожалуйста. Какие темы? Не всего ж мне Ильина ж читать

Ответы>>782902>>782967

29 Июн, 01:05 #210 #782902

>>782757
Нормы без Банаха не нормы, читай всего, хуже не будет.

Ответы>>782937

29 Июн, 02:19 #211 #782937

>>782902
Нет времени на все и так работаю и учусь параллельно

Ответы>>782942>>782943

29 Июн, 02:47 #212 #782942

>>782937
Ты же хочешь когда-нибудь в Silicon Valley уехать? А туда не берут без знания метрической геометрии и функционального анализа. Не осилишь - так и будешь до конца жизни в рашке энтерпрайз солюшены крудошлепить.

29 Июн, 02:51 #213 #782943

>>782937
За 21 день хочешь всё освоить?

29 Июн, 05:53 #214 #782959

ООООО ооооо О Цветы полевыыыые, ООООО оооо О В кустах как в бутылке!!

29 Июн, 07:16 #215 #782967

>>782757
Вот тебе краткий курс того, что требуется:
http://cs229.stanford.edu/section/cs229-linalg.pdf
http://cs229.stanford.edu/section/cs229-prob.pdf

Из матана будет достаточно того, что используется в этих выжимках — производные и интегралы.

Ответы>>783005>>783060>>783062

29 Июн, 09:58 #216 #783005

>>782967
Ещё подумалось, глядя на это всё, что прослеживается некоторая цикличность в развитии. Сначала были простые объекты — числа. Людей на практике интересовало число. Но работать с числами — это сложно, и люди изобрели алгебру, чтобы упростить себе жизнь. Алгебра породила анализ, дифференциальное и интегральное исчесление, понятия предела. Анализ породил сложные геометрические объекты, в т.ч. в многомерном пространстве, которые уже тяжело исследовать методами анализа. Анализ слишком детален для этого. Тогда изобрели топологию и начали исследовать объекты топологическими методами, а позже (ещё более?) «мягкими» — алгебраическими. Так анализ породил алгебру второго порядка абстракции: гомологии всякие, когомологии, Tor'ы. Но когда начали исследовать эту алгебру в целом, в совокупности, вырисовался анализ этих объектов! Дифференциальная гомологическая алгебра! В книжке, которая выше цитируется, есть глава про эту тему. А потом что? Новый анализ породит ещё более абстрактную алгебру? Такое впечатление, что когда мы идём вверх по пути всё большей абстрактности и общности, анализ и алгебра чередуются друг с другом. Не знаю, насколько эта мысль нова/стара, но я её нигде не слышал.

Вообще, я бы, наверно, выделил следующие три уровня:

Алгебра первого порядка: школьная (всё, что мы знаем).
Алгебра второго порядка: линейная и общая (матрицы, линейные пространства, группы, кольца, идеалы и т.п. множества).
Алгебра третьего порядка: гомологии, когомологии и т.п.

Алгебра n+1'ого порядка имеет объекты n'ого порядка как свои элементарные.

Ответы>>783093

29 Июн, 12:01 #217 #783060

>>782967
>, что используется в этих выжимках — производные и интегралы.
Производные я и так сейчас умею брать, все таки что-то помню с курса примата, интегралы вручную - ну хуй знает, всегда с ними были проблемы, всегда в вольфрамах высчитывал.

29 Июн, 12:02 #218 #783062

>>782967
Пролистал алгебру, так это все вспомнить - максимум день, ну в плане перемножения матриц и работы с векторами.

4727 Кб, Webm

29 Июн, 13:27 #219 #783093

>>783005
Только чем дальше в лес, тем толще абстракции и тем меньше людей в них могут. Как итог, в IUTeich Мотидзуки могут 4 человека из 7 млрд. Вот и приехали.

391 Кб, 1153x661

189 Кб, 844x605

29 Июн, 17:01 #220 #783255

У меня вот какой вопрос. Как известно, существует немало попыток использовать для сверхбыстрых вычислений специализированные оптоэлектронные решения, заточенные под конкретный алгоритм. Есть подобные варианты нейросетей, нечетких моделей пикрелейтед и т.д. А есть ли подобные реализации генетических алгоритмов? Что-то гуглю и пока ничего интересного не нагуглил.

Ответы>>783266>>783801>>783814

29 Июн, 17:15 #221 #783266

>>783255
https://cloudplatform.googleblog.com/2016/05/Google-supercharges-machine-learning-tasks-with-custom-chip.html

Ответы>>783277

29 Июн, 17:24 #222 #783277

>>783266
>ASIC
>tailored for TensorFlow.
Это ж ПЛИС, да и в TF разве есть генетические алгоритмы?

Ответы>>783514

29 Июн, 17:29 #223 #783281

>>776147 (OP)
Кто-нибудь тут пытается торговать на бирже?

Ответы>>783507

29 Июн, 20:48 #224 #783507

>>783281
Ты случайно не в Израиле живешь?

Ответы>>783520

29 Июн, 20:54 #225 #783514

>>783277
>Это ж ПЛИС
Разницу между ASIC и FPGA хотя бы выучи, диплернер хренов.

29 Июн, 20:55 #226 #783520

>>783507
В Дс живу. Только ради этого всю эту сраку учу.

Ответы>>783572

29 Июн, 21:33 #227 #783572

>>783520
Излагай, чего достиг.

Ответы>>784503

29 Июн, 23:39 #228 #783801

>>783255
Как ты себе это представляешь?
В известных мне оптических нейроночках всё происходит на гологораммах. Для ГА же нужны элементы случайности, ещё требуется порождать новые объекты с новыми свойствами. При желании можно достичь первого, покрутив источник излучения. Второе же достичь достаточно трудно, на мой взгляд.

Ответы>>785852

29 Июн, 23:46 #229 #783814

>>783255
Хотя эволюционные методы используются для получения оптических элементов.
https://www.osapublishing.org/oe/abstract.cfm?uri=oe-14-21-9909

30 Июн, 00:14 #230 #783847

Бля, вы такие крутые, т.е. если я умею работать с матрицами, брать производные и прочее - то уже могу заняться этим всем. Доказательства ведь не обязательно знать? А то помню так затрахался в институте их сдавать, зубрил. ибо не понимал.

Ответы>>784681

30 Июн, 07:12 #231 #783933

https://github.com/HuwCampbell/grenade
GRANATA

Ответы>>783937

30 Июн, 07:28 #232 #783937

>>783933
> Haskell
Нет, спасибо.

30 Июн, 14:16 #233 #784198

Сложно написать прогу которая по звуку морзянку расшифровывает? Что для этого нужно выучить?

Ответы>>784223

30 Июн, 14:56 #234 #784223

>>784198
http://www.inference.phy.cam.ac.uk/itprnn/book.pdf

Ответы>>784231

30 Июн, 15:04 #235 #784231

>>784223
Там много слишком всего.

Ответы>>784252

30 Июн, 15:11 #236 #784252

>>784231
только первые 250 страниц жэ

Ответы>>784263>>784282

30 Июн, 15:19 #237 #784263

>>784252
Начал с первой главы. Там начиная со второй страницы всё в формулах. Я ничего не понимаю. Что проще есть?

Ответы>>784266

30 Июн, 15:21 #238 #784266

>>784263
ищи готовый солюшен

Ответы>>784267

30 Июн, 15:25 #239 #784267

>>784266
Нет нужно самому. Одного какого-нибудь алгоритма достаточно?

Ответы>>784302>>784326

30 Июн, 15:43 #240 #784282

>>784252
>только первые 250 страниц жэ
нейроночки начинаются только с 460

Ответы>>784285

30 Июн, 15:43 #241 #784285

>>784282
Так они же не надо.

Ответы>>784332

30 Июн, 15:46 #242 #784288

Пара тупых вопросов по раскуриванию сути нейросетей.
1) Есть 2 искусственных нейрона: к одному подключено, например, 10 входов, к другому 2 входа. Это ведь получается, что первый нейрон гораздо легче активировать, нежели второй? Никак ли это не компенсируется/корректируется в структуре или параметрах? Если нет, то каков в этом смысл с точки зрения какого-то принятия решения или типа того? Вряд ли же будет верно то, что чем больше входов у нейрона, тем он важнее?
2) В учебниках и статьях нейросети изображают обычно так, что каждый вход подключен к каждому нейрону сети. Всегда ли это именно так делают? Можно ли вмешиваться в структуру сети, делая, например, чтобы в первый нейрон входили 1, 2, 3 входы, во второй какие-нибудь 2, 5, 6 и т.д.? Или все-таки структура должна быть однородной и веса сами скорректируют "отбор" нужных входов?

Ответы>>784301>>784308>>784416

30 Июн, 15:58 #243 #784301

>>784288
Начни с раскуривания сути линейной регрессии.

Ответы>>784313

30 Июн, 15:58 #244 #784302

>>784267
нейроночка

Ответы>>784321

30 Июн, 16:07 #245 #784308

>>784288
начни с вкуривания сути бейсовской логистической регрессии

Ответы>>784313

30 Июн, 16:10 #246 #784313

>>784301
>>784308
Что можно почитать для раскуривания?
Само понятие и представление о регрессии и регрессионном анализе не дают ответов на мои вопросы.

Ответы>>784315

30 Июн, 16:11 #247 #784315

>>784313
http://www.inference.phy.cam.ac.uk/itprnn/book.pdf

Ответы>>784324

30 Июн, 16:17 #248 #784321

>>784302
Да зачем? Там же наверняка всё проще.

4204 Кб, Webm

30 Июн, 16:20 #249 #784323

30 Июн, 16:22 #250 #784324

>>784315
Ты всем советуешь какую-то якобы умную книжку, которую сам не до конца осилил?

Ответы>>784338

30 Июн, 16:23 #251 #784326

>>784267
Тебе не ML нужен, а DSP. Достаточно тебе enveloper follower + moving average filter, далее run length encoding, а потом можно уже анализировать цифры.

Ответы>>784329

295 Кб, Webm

30 Июн, 16:27 #252 #784329

>>784326
>DSP
Что это?

Ответы>>784331

30 Июн, 16:28 #253 #784331

>>784329
digital signal processing

Ответы>>784334

30 Июн, 16:28 #254 #784332

>>784285
Для распознавания аудио сверточные нейроночки сейчас самый смак, по-другому уже никто не делает.

Ответы>>784343

308 Кб, 1151x524

30 Июн, 16:29 #255 #784334

>>784331
Мне программку на питоне надо, а тут какие-то микросхемы

Ответы>>784336>>784337>>784340

30 Июн, 16:29 #256 #784336

>>784334
laba.py?

30 Июн, 16:29 #257 #784337

>>784334
> processing vs processor

30 Июн, 16:30 #258 #784338

>>784324
Я не он, не эту конкретную книгу я прочел. Хорошая книга.

30 Июн, 16:33 #259 #784340

>>784334
https://www.google.ru/search?q=python+envelope+follower https://www.google.ru/search?q=python+moving+average
https://www.google.ru/search?q=run+length+encoding
Когда добьешься этого, далее будешь распознавать буквы и пробелы между буквами и пробелы между словами.

30 Июн, 16:38 #260 #784343

>>784332
Сложно же ему, пусть HMM хуярит простейшие.

Ответы>>784369

30 Июн, 16:41 #261 #784346

Здарова ебать
вы матан охуенно наверно знаете?

Ответы>>784355>>784364>>784393>>784407

sage 30 Июн, 16:59 #262 #784355

>>784346
демидович под картошечку с пивком.. ммм..

30 Июн, 17:09 #263 #784364

>>784346
<<Действительный анализ>> Тао под сидр.

30 Июн, 17:11 #264 #784369

>>784343
Да там тоже черт ногу сломит. Если уж совсем от сохи, то просто делать DFT, сделать ручной детектор писка по частоте, потом детектор длинного/короткого сигнала, ну и таблицу забить. На коленке за день можно сварганить.

Ответы>>784379

30 Июн, 17:34 #265 #784379

>>784369
ну или так, с аналитическими сигналами ещё поиграться можно. Способов тьма, только все хотят простой метод.

30 Июн, 17:52 #266 #784393

>>784346
Колмогоров, Фомин с самогонкой, бараниной и чесноком ЗАЕБИСЬ

Ответы>>784406

sage 30 Июн, 18:12 #267 #784406

>>784393
а картофан?

30 Июн, 18:13 #268 #784407

>>784346
Зорич с сыром и Шато Бардо располагает

30 Июн, 18:26 #269 #784416

>>784288
Короче допетрил до ответов сам.
Но вот ко второму появилось некоторое дополнение. Если даются какие-то входы, и нужно получить выход (зависимость от входов), то в общем-то нужно все входы соединять со всеми нейронами, чтобы веса сами настроились как надо, и получились эти нужные коэффициенты регрессионной модели.
Однако в сверточных нейросетях эти входы могут все-таки разбиваться в некоторые группы, которые при этом могут и пересекаться, и эти группы в некотором роде можно называть признаками каких-то особенных деталей из входных данных. Вопрос как раз в том, когда инпуты разбиваются, а когда они полной охапкой передаются в слой сети? В чем природа этого разделения входных переменных?
Про сверточные нейросети я, правда, только обзорно читал, возможно при углублении это снова мне станет понятным, но все-таки.

Ответы>>784446>>785797

30 Июн, 18:48 #270 #784446

>>784416
Очень хороший вопрос, но пробелма в том, что все бьются над тем какаой должна быть "правильная" архитиктура нейросетей. Поэтому то, что сейчас называется глубокие сети уже большая находка.

Алсо, посмотри записи с DeepHack, там были обсуждения архитектур нейросетей и решаемых ими задач.

30 Июн, 19:41 #271 #784503

>>783572
Слил 10к на фьючерсах сбербанка.

Ответы>>784529

30 Июн, 20:17 #272 #784529

>>784503
> Слил 10к на фьючерсах сбербанка.
Да это плевать. Давай лучше методику обсудим.

Почему этот инструмент используешь? Как минимизируешь риски? Какая используется модель? Торгуешь в (полу)автоматическом режиме? На какой срок строишь прогнозы? Как проверяешь прогнозы? Через какого трейдера работаешь?

Ответы>>784540

30 Июн, 20:29 #273 #784540

>>784529
Трейдер финам, но это вообще фигня, не я выбирал, пришел батя, сказал вот счет, ты ж сына программист, сиди торгуй.
Торговал в полностью автоматическом режиме, прогнозы не дальше дня.
Пробовал арбитраж. То есть берешь, грубо говоря, нефть и акцию лукойла, одно покупаешь, другое продаешь, в теории в среднем должен быть небольшой +. Как что от чего зависит изучем с помощью ml. Модель была простая линейная, всякая умная фигня типа нейронных сетей работала хуже.

Но я изначально неправильно тестировал, не учел комиссию. Опять же писал свой тестировщик. Когда наносался хуев пошел дальше учить теорию ml+питон, который для этих дел оказался лучше матлаба.

Ответы>>784549

30 Июн, 20:33 #274 #784549

>>784540
> Трейдер
Брокер же. Трейдер это я.

Ответы>>784887

30 Июн, 20:35 #275 #784550

Аноны, у меня появилась безумная идея симулировать поведение живых существ в игре с помощью нейронной сети.
Но потом вспомнил, что нейронные сети всего-лишь аппроксиматор функции.
Значит ли это, что мне надо использовать несколько нейронных сетей, направленных на обучение в каком-то направлении?
Например, с помощью одной сети паук учится нападать на человека, с помощью другой бегать, с третьей оценивать ситуацию, с четвертой разрабатывать тактику?
Или как это работает? Писал перцептроны до этого.

Ответы>>784554>>784556

30 Июн, 20:38 #276 #784554

>>784550
Обучение с подкреплением.

Ответы>>784557

30 Июн, 20:40 #277 #784556

>>784550
В мозге по сути так и есть, выделяют различные области коры по из назначению, например: зрительная, моторная. За какую-то логику отвечает префронтальная кора.

30 Июн, 20:41 #278 #784557

>>784554
Использовать этот метод, хорошо.
А можно ли сделать обучение непрерывным? Или одна сеть должна научиться выполнять 1 тип задачи?
Можно ли написать зависимости между сетями, чтобы результаты обучения 1 сети действовали на другую?
Можно ли сделать так, чтобы сети эти зависимости нашли самостоятельно или не стоит?

Ответы>>784569>>784574

30 Июн, 20:51 #279 #784569

>>784557
Да, по сути так и происходит у животных, правда эти твои "зависимости" называются гормонами.

30 Июн, 20:53 #280 #784574

>>784557
> Писал перцептроны до этого.
Странные вопросы. Иди ботай мат. часть и возвращайся.

Ответы>>784584

30 Июн, 20:57 #281 #784584

>>784574
Кое-чего я так и не понял, можно ли его чему-нибудь новому научить?
Этот как с функцией XOR, только есть одна странность, у меня число методов, которые можно использовать неизвестны.
Есть ли какой-нибудь расширяющийся перцептрон, например? Или как это еще можно решить, кроме добавления слоев?

Ответы>>784617

151 Кб, 1920x1080

30 Июн, 21:25 #282 #784617

>>784584
> Кое-чего я так и не понял, можно ли его чему-нибудь новому научить?
Не знаю, как с нейроночками, но людей можно даже обучить видеть с помощью языка и камеры:
https://www.youtube.com/watch?v=n1ViNeWhC24

Нейроночкам можно скармливать данные по мере их поступления, т.н. online learning. Может быть если данные кардинально изменятся, то со временем нейроночка полностью перестроится под новые данные аля "видеть языком".
Проблема в том, что обычно архитектуру сети подбирают под задачу и какой-то универсальной работающей хорошо на всех типах задач, как я понимаю, до сих пор не придумали.

Ответы>>784656

30 Июн, 21:49 #283 #784656

>>784617
Да я уже почти со всем определился.
сети, сеть на ходьбу, вторую на оптимальный путь, третью на атаку, четвертый на анализ боевой ситуации убежать, какую атаку использовать
И сеть над ними, которая будет учиться эффективно все это использовать.
Но тут уже настигают проблемы, так как локации могут быть разными.
В одной, например, может быть множество вертикальных объектов, а в другой надо быстрее бегать.
Как боту разделять признаки, когда и какую стратегию лучше использовать? Ведь признаков может быть бесчисленное множество и выделять их можно до бесконечности.
А вот проклятие размерности не даст мне ничего подобного, а использовать огромное количество ресурсов на обычного моба - глупо.

Ответы>>784664

30 Июн, 21:53 #284 #784661

>>783876
У нас был такой вуз, что запускают по 5 человек в аудиторию на 4 препода, которые смотрят за тобой. при шуршании малейшем народ выгоняли пачками - охуенно спишешь да?

Ответы>>784663

30 Июн, 21:53 #285 #784662

>>783876
Да и на вопрос по сути не ответил ты.

30 Июн, 21:53 #286 #784663

>>784661
> при шуршании малейшем народ выгоняли пачками - охуенно спишешь да?
Надо было списывать с памяти.

Ответы>>784666

30 Июн, 21:54 #287 #784664

>>784656
Ой я дебил, разгадка то кроется в сети, которая настроена на оптимальный путь.
Именно все множество методов из нее и будет определять множество стратегий.
И чем больше будет в ней нейронов, тем больше и в остальной сети будет методов.
Эх, не в этот раз я столкнусь с проклятием размерности, не в этот.

30 Июн, 21:55 #288 #784666

>>784663
Зубрить это и есть списывать с памяти, проблемы? Вспоминаешь листок тетрадки фотографически и хуяришь
Короче чо ты доебался, вот чо ты доебался?

Ответы>>784705

30 Июн, 22:09 #289 #784681

>>783847
конечно начинай, няша
будет интересно

30 Июн, 22:26 #290 #784705

>>784666
Расслабься, это всего лишь шутка была.
Что-то на уровне:
- как вспомнить определение теоремы во время экзамена?
- вспоминаешь доказательство и выводишь из него определение

Хотя это уже не совсем шутка.

01 Июл, 02:01 #291 #784887

>>784549
> Брокер же. Трейдер это я.
Опечатался.

Оцениваешь VaR'ы всякие? Пробовал интегрировать уравнение Блэка-Шоулса?

> Как что от чего зависит изучем с помощью ml.
Это корреляционные коэффицинеты считать что ли?

> Модель была простая линейная
Линейная регрессия? Что в фичах? Какая регуляризация? Какой функционал качества? Чем оптимизируешь?

> нейронных сетей работала хуже
Не удивительно.

> ml+питон ... оказался лучше матлаба
Сейчас питно де факто стандарт научных и околонаучных вычилений. Обрати внимание на pandas, если ещё не работал с ним.

01 Июл, 07:54 #292 #784951

Кто-нить работал с СММ(HMM) ?
Есть пара непонятных моментов с выбором начальных данных и при переходе от дискретного случая к непрерывному.

Ответы>>785123

01 Июл, 13:33 #293 #785123

>>784951
Есть. Задавай свои ответы.

Ответы>>785200

01 Июл, 15:05 #294 #785200

>>785123
Сап.
Наблюдаемые данные - n-мерные вектора (15-20 мерные);
Координаты векторов, вещественные числа меняются в пределах [-1:1] (В теории, на практике скорее всего разброс может быть меньше);
Тут данные имеют непрерывную природу, и не получается использовать дискретное распределение.
Какой закон распределения использовать для наблюдаемых данных?

Если есть желание помочь, могу скинуть фейко мыло.

Ответы>>785210

01 Июл, 15:12 #295 #785210

>>785200
Непрерывное распределение, очевидно. А скрытые переменные?
Пиши тут лучше, я фейкомыльце редко проверяю.

Ответы>>785218

344 Кб, 1511x2278

280 Кб, 1617x2279

01 Июл, 15:33 #296 #785218

>>785210
Суть вопроса матрица вероятностей для наблюдаемых значений - тут и предлагают использовать непрерывное распределение. Брать n-мерный интеграл от плотности распределения ( в данном случае за плотность взял Гауссову функцию распределения)?

(Приложил картиночки, там вроде в второй картинке ошибка, как раз без n-мерного интеграла?)

Ответы>>785219>>785226

01 Июл, 15:33 #297 #785219

>>785218
Основываюсь да данной работе, так взяты 3-мерные вектора (http://linkstore.ru/articles/pestov2013.pdf)

01 Июл, 15:39 #298 #785226

>>785218
Для Гауссовской функции интеграл можно взять аналитически. Для сложных распределений можно использовать методы Монте-Карло (importance sampling, rejection sampling, MCMC) или использовать вариационные аппроксимации.

Ответы>>785230

01 Июл, 15:40 #299 #785230

>>785226
А как скажем так "правильно" выбрать распределение?

Ответы>>785232

01 Июл, 15:42 #300 #785232

>>785230
Зависит от задачи. Часто бывает так, что информации о распределении шумов нихуя нет, тогда Гаусс берётся по дефолту.

Ответы>>785233

01 Июл, 15:42 #301 #785233

>>785232
Значит для начала Гаусса взять норм?

Ответы>>785236

01 Июл, 15:45 #302 #785236

>>785233
Гаусс (экспоненциальное семейство вообще) хорош тем, что там обычно хорошие, трактуемые распределения, т.е. вывод прямой возможен.

Ответы>>785254

120 Кб, 666x587

01 Июл, 16:19 #303 #785254

>>785236
Вот тут при расчете B (матрица вероятностей для наблюдаемых значений) - мы просто берем Гауссову функцию распределения?
Или нужна именно функция распределения? (то бишь интегрировать Гауссову функцию?)

Ответы>>785257>>788123

01 Июл, 16:23 #304 #785257

>>785254
Функция.

Ответы>>785262

22 Кб, 1119x105

01 Июл, 16:29 #305 #785262

>>785257
Интегрировать вот эту функцию?

Ответы>>785275

01 Июл, 16:46 #306 #785275

>>785262
Её интеграл единица. Что ты хочешь?

Ответы>>785277

01 Июл, 16:47 #307 #785277

>>785275
а как B_j(x) считать тогда?

01 Июл, 16:49 #308 #785281

прост плотность бери же

Ответы>>785296

01 Июл, 17:22 #309 #785296

>>785281
Спасибо, вроде разобрался.
А то этот непрерывный случай сложно давался.
тервер только дискретный знаю.

Ответы>>785302

71 Кб, 500x627

01 Июл, 17:30 #310 #785302

>>785296

Ответы>>788123

01 Июл, 23:37 #311 #785571

Можно ли обойтись без смещений? Большую ли они роль играют?

Ответы>>785597

02 Июл, 00:41 #312 #785597

>>785571
Ты про смещения в нейронах?
Если да, то можно и без них. В некоторых задачах, говорят, они могут дать намного круче результаты, нежели без них (сам не пробовал).
По сути, смещение поднастраивает активационную функцию, сдвигая ее график влево или вправо (т.е. соответственно "облегчая" активацию, или наоборот, делая так, чтобы требовалось еще большие значения на входах нейрона).

Ответы>>785599

02 Июл, 00:43 #313 #785599

>>785597
>Ты про смещения в нейронах?
Да. Спасибо. Надо все же потестировать самому. Чуток в питоне переделаю готовый пример да гляну че да как.

02 Июл, 09:37 #314 #785710

>>776147 (OP)
Аноны, я пока читаю свою книжечку, которую вы мне дали и появились пара вопросов:
В книге говорится о том, как изменять веса
и дана эта формула
>Wik = -(yk-tk)*xi
yk - то, что нейрон сделал в этот момент
tk - то, что должен был сделать
Зачем мы ставим - перед ними?
Думаю, разгадка в этой строчке, которую я не могу правильно перевести
>That element of the input could be negative, which would switch the values over; so if we wanted the neuron to fire we’d need to make the value of the weight negative as well.

Ответы>>785736>>785788

02 Июл, 10:22 #315 #785736

>>785710
если минус то тогда ты максимизируешь лог-вероятность вместо минимизации ошибки
разницы особой нет

Ответы>>785746

02 Июл, 11:02 #316 #785746

>>785736
Не понял

Ответы>>785748

02 Июл, 11:06 #317 #785748

>>785746
как твоя формула выводится в книге?
покажи нам страницы

Ответы>>785755

84 Кб, 674x491

02 Июл, 11:19 #318 #785755

>>785748

Ответы>>785774

02 Июл, 11:53 #319 #785774

>>785755
пиздец нихуя не понятно exex
возьми производную от кросс-этропии и получишь то же самое, только без простыни

Ответы>>785778

02 Июл, 11:56 #320 #785778

>>785774
Ты думаешь, что я знаю, что такое кросс-этропия?
А как же те люди, которые говорили Иди читай книги на английском?

Ответы>>785791

02 Июл, 12:07 #321 #785785

Мне иногда кажется что это тред одного шизика и он сам с собой беседует

02 Июл, 12:09 #322 #785788

>>785710
Я не точно уверен, но по идеи мы используем что-то типа градиентного метода минимизации функции, а сам градиент направлен в сторону наискорейшего возрастания функции. Поэтому если мы хотим вниз спускаться, то градиент надо брать со знаком минус.

Ответы>>785792

84 Кб, 1450x732

02 Июл, 12:13 #323 #785791

>>785778
вот тот же момент в другой книге у бишопа
сначала выписываешь вероятность данных при заданных параметрах/весах (4.89)
потом берёшь негативный лог этой вероятности
и потом берёшь производные, получается такая же формула как у тебя (4.91)

только в твоём случае с переди минус потому что автор не брал негативный лог в шаге 4.90

Ответы>>785796

02 Июл, 12:14 #324 #785792

>>785788
Я еще не знаю, что такое градиент, это только начало книги, все, о чем вы говорите будет дальше.

Ответы>>785979

02 Июл, 12:20 #325 #785796

>>785791
Да зачем мне вероятности считать? Тут же просто показывают принцип, до которого я допереть не могу.
Эх, ладно, пойду к переводчикам.

Ответы>>785807

176 Кб, 476x620

02 Июл, 12:26 #326 #785797

>>784416
>Вопрос как раз в том, когда инпуты разбиваются, а когда они полной охапкой передаются в слой сети? В чем природа этого разделения входных переменных?
Я ж тута уже упоминал статью Горбаня http://kpfu.ru/portal/docs/F1732864826/02_5.PDF , в ней опять же, разбирается результат, полученный еще Колмогоровым и составляющий собственно суть нейроночек: представление одной функции многих переменных через суперпозиции частных функций от 1-2 переменных. Сие и есть ответ на твой вопрос о разбиении входов. Кроме того, нелишне разобрать теорему Стоуна-Вейерштрасса.

Ответы>>785798

02 Июл, 12:28 #327 #785798

>>785797
о, вот этот дело говорит
а колмогорову правда маленькие мальчики нравились?

02 Июл, 12:37 #328 #785807

>>785796
Черт, ну что за двачах за аутисты то сидят, пиздец?
В тексте написано, что мы показываем векторы нейронной сети и один нейрон неправильный (его выход не совпадает с целью). Это веса m, которые соединены с нейроном, каждый из которых весов - это входная нода. Если мы назовем нейрон, который неправильный, как K, тогда веса, которые нас интересуют - это Wik, где i - промежуток от 1 до m. Так мы знаем, какой вес меняется, но нам необходимо решить, как изменить значение этого веса.
Первое, что нам необходимо узнать - это является ли значение веса слишком большим или слишком маленьким. Это типа очевидно: веса больше, если нейрон активируется когда не надо и меньше, если не активируется когда надо.
Так мы посчитаем y(k)-t(k) - это является разницей между тем, что нейрон получил и целью. Это возможная функция ошибки.
Если она негативна, когда нейрон должен активироваться и не сделал это, то мы делаем веса больше и наоборот если она позитивна

И дальше я нихуя не могу понять, написано Держитесь, поехали дальше.

Ответы>>785855

82 Кб, 836x614

280 Кб, 1332x632

02 Июл, 13:16 #329 #785852

>>783801
>Как ты себе это представляешь?
Я подумал, что вряд ли идея запилить GA на оптронике принадлежит мне и скорее всего кто-то уже пытался, хотя бы на бумаге. И таки я нашел, некие жиды разрабатывали такое. Вообще, странно что эта тема не развивается, нейроночки на оптике должны быть быстрее и дешевле чем на электронике.

02 Июл, 13:18 #330 #785855

>>785807
Так, а дальше написано
>Этот входной элемент может быть отрицательным, что поменяло бы значение местами. Так если мы хотим чтобы нейрон активировался нам необходимо сделать значения весов негативными также. Чтобы обойти эту проблему мы умножаем их вместе, чтобы посмотреть как мы должни изменить веса. Wik = -(yk-tk)*xi, и новое значение веса это старое значение плюс это значение.
И тут я потерял логику, старое занчение чего плюс новое значение чего? Весов?

Ответы>>785858>>785866

02 Июл, 13:21 #331 #785858

>>785855
А может быть ну его нафиг? Зачем тебе эти нейроночки?

Ответы>>785860

02 Июл, 13:23 #332 #785860

>>785858
Хочу программирование освоить, питон знаю на лоу уровне, теперь нейроночки хочу.

02 Июл, 13:32 #333 #785866

>>785855
Мб если yk < tk, т.е. нейрон дал слабый сигнал, хотя должен был быть сильнее, при этом (yk - tk) получается отрицательно, но нам нужно прибавить весу, чтобы в следующий раз сигнал был как надо, поэтому мы инвертируем эту разность, получаем -(yk-tk).
А если yk > tk, т.е. нейрон дал больше, чем надо, тогда (yk - tk) положительно, и чтобы уменьшить вес, надо снова взять эту разность с отрицательным знаком.

Ответы>>785871

02 Июл, 13:38 #334 #785871

>>785866
У нас получается, что если нейрон дал слабый сигнал, то необходимо его усилить.
А если нейрон дал сильный сигнал, то надо уменьшить веса, путем вычитания значения ошибки.

Ответы>>785875

02 Июл, 13:41 #335 #785875

>>785871
Но если значение входа уже отрицательно, то это поменяет значения местами, тогда, если мы хотим, чтобы нейрон активировался, нужно сделать значения весов отрицательными

Ответы>>785882>>785888

02 Июл, 13:48 #336 #785882

>>785875
И чтобы решить эту проблему мы ставим -
Но откуда в этом выражении появился X(i) - хуй знает.
i - это промежуток от одного до m
И хуй знает, что он обозначает.

Ответы>>785886>>785888

02 Июл, 13:52 #337 #785886

>>785882
Есть нейрон. От 1 до m входов. Один выход: принимает значение yk. По обратному распространению на "выход" пришло необходимое значение tk.
Мы получаем ошибку как бы для всего нейрона, это yk-tk.
И эту ошибку уже надо применить ко входам этого нейрона, которых m штук, а значение на каждом из входов x(i).

Ответы>>785892

02 Июл, 13:54 #338 #785888

>>785882
>>785875
Опять же, я давал ссылку на видос, где создатель этого алгоритма поясняет его суть, в т.ч. с рисунками. Поясняет почему удобна именно квадратичная функция (потому что параболоид). Мне сказали, какой-то старый дед, давай что-то поновее.
https://www.youtube.com/watch?v=hc2Zj55j1zU
https://www.youtube.com/watch?v=skfNlwEbqck

02 Июл, 14:08 #339 #785892

>>785886
Так i - это число входов
То-есть мы берем отрицательное значение от того, как должно быть и умножаем это на прежние значения весов, где x - это значение веса, а i - индекс веса?

Ответы>>785897>>785902

02 Июл, 14:10 #340 #785897

>>785892
Точнее да, ошибку умножаем на значение каждого нейрона.

Ответы>>785900

02 Июл, 14:11 #341 #785900

>>785897
нейрона*
веса, блять.

02 Июл, 14:12 #342 #785902

>>785892
i - это размерность входа. Xi - это вещественнозначный вектор.

Ответы>>785904>>785905

02 Июл, 14:16 #343 #785904

>>785902
Нет, I - это число входов
>When we looked at the McCulloch and Pitts neuron, the weights were labelled as wi, with the i index running over the number of inputs.

02 Июл, 14:19 #344 #785905

>>785902
И да, я не знаю, что значит слово "вещественнозначный", даже гугл не показывает его значение.

Ответы>>785907

02 Июл, 14:20 #345 #785907

>>785905
Вектор, компоненты которого вещественные числа. Число входов равно размерности входного вектора.

02 Июл, 14:30 #346 #785913

Подождите, это алгоритм обратного распространения ошибки?

Ответы>>785921

02 Июл, 14:45 #347 #785920

Анон, а как так получается, что:
w(i,j) ← w(i,j) − η(y(j) − t(j) ) · x(i)
То, что мы хотим найти это то, что мы ищем - выражение?

Ответы>>785924>>785926

37 Кб, 300x269

02 Июл, 14:48 #348 #785921

>>785913
Не совсем. Это годится скорее для чего-то однослойного, например перцептрона, когда слой знает о том, что получилось и о том, что нужно было получить, и таким образом R-элементы может подправить веса от входов, которые поступают с А-элементов.
Но между S и A веса не регулируются.

02 Июл, 14:50 #349 #785924

>>785920
Это разве не логическая ошибка?
Если я хочу узнать массу планеты.
То мне надо знать массу планеты?
Или на это w(i,j) после стрелки не обращать внимание?

Ответы>>785929

02 Июл, 14:51 #350 #785926

>>785920
Программирование знаешь?
w[j] = w[j] - delta
Мы переписываем значение переменной.

Ответы>>785927>>785929

02 Июл, 14:52 #351 #785927

>>785926
Там было еще [_i_], но оно куда-то пропало.

02 Июл, 14:53 #352 #785929

>>785926
>>785924
А нет, это просто число весов умноженное на число нейронов, оно то нам уж известно.

Ответы>>785932

02 Июл, 14:54 #353 #785932

>>785929
точнее, не умноженное.
Просто input nodes, что в данном случае аналогично весам и число нейронов.

02 Июл, 15:04 #354 #785938

и так, что мы имеем:

нейроночки - искусственный интеллект
алсо нейроночки - массив
следовательно монада - искусственный интеллект

нейроночки можно применять в РПГ-игрулях

биномиальное распердение вызвало брексит

колмогоров баловался попками маленьких мальчиков

Ответы>>785941>>785942>>785948>>785962

02 Июл, 15:06 #355 #785941

>>785938
нечёткость и Сёрла забыл.

02 Июл, 15:06 #356 #785942

>>785938
Нечеткость для петухов

104 Кб, 600x486

02 Июл, 15:09 #357 #785943

Ответы>>785946

02 Июл, 15:10 #358 #785944

Байесовский вход, это как условие if else, верно?
Типа, если вход равен чему-то, то берем вес такой-то?

Ответы>>785948

02 Июл, 15:11 #359 #785946

>>785943
Перельман, как и положено шизоидам, посмотрел бы на пацана как на долбоеба и пошел дальше, а то и вовсе не посмотрел бы.

02 Июл, 15:12 #360 #785947

Аноны, а как тогда делают всякие нейроночки, где просто дохуя всяких переменных?
Типа той, что играла в го и обыгрывала военного летчика.
Это просто сеть, у которой хуева туча слоев?

02 Июл, 15:12 #361 #785948

>>785938
Вот этого >>785944 запиши ещё

Ответы>>785949

02 Июл, 15:13 #362 #785949

>>785948
Да иди нахуй, я просто научиться хочу, а спрашивать мне больше не у кого.

Ответы>>785950>>785951

02 Июл, 15:15 #363 #785950

>>785949
Спрашивай сам у себя, заебал. Спрашивай у книг. Спрашивай у гугла. Спрашивай у тетрадки с ручкой.

Ответы>>785952

02 Июл, 15:16 #364 #785951

>>785949
Начнем с того, где ты вообще этот термин взял - "байесовский вход"?

Ответы>>785952

02 Июл, 15:16 #365 #785952

>>785950
Так я и захожу сюда в последнюю очередь.
>>785951
Ой, Байесовский вход.

Ответы>>785958

02 Июл, 15:18 #366 #785953

Пиздец. Почему здесь так много аутистов с тупыми вопросами. Прошлись бы по основам ML, взяв курс хотя бы на курсере, а не лезли бы сюда с илиотскими вопросами.

Ответы>>785957

02 Июл, 15:26 #367 #785957

>>785953
Брать платные курсы?
Я и прохожусь по основам ML

Ответы>>785960

02 Июл, 15:28 #368 #785958

>>785952
Так где ты термин такой надыбал?

Ответы>>785959

02 Июл, 15:31 #369 #785959

>>785958
По привычке прочитал Bias Input, я уже понял все.

02 Июл, 15:32 #370 #785960

>>785957
Если ты тот, что ботал на неделе SVM, то ты норм. Но прибегают другие аноны с абсолютно хуёвыми вопросами.

02 Июл, 15:34 #371 #785962

>>785938
байесовский вывод - эт тип когда приоры)))

нечёткая логика - единственное перспективное направление в мл

дискретный матан

АНОНЧИКИ, ПОСОВЕТУЙТЕ КНИЖКУ ПО ДИП ЛЕАРНИНГУ, ТОЛЬКО НА РУССКОМ БЕЗ МЕТЕМАТИКИ, РЕГИСТРАЦИИ, СМС И КРОСС-ВАЛИДЕЙШЕН. АНОНЧИКИ, А МОЖЕТ ЛИ СЕТОЧКА НАУЧИТЬСЯ ГЛУБОКОМУ БЛОУДЖОБУ? НО ВЕДЬ ЛЮДИ ТАК НЕ ОТЛИЧАЮТСЯ, СЁРЛ, СЁРЛ, СЁРЛ.КАК ПОСТУПИТЬ В ШАД, ЕСЛИ У МЕНЯ ДЕВЯТЬ КЛАССОВ ОБРАЗОВАНИЯ В ШКОЛЕ ДЛЯ ДЕБИЛОВ?

Ответы>>785977>>785985

02 Июл, 16:15 #372 #785977

>>785962
ПОСОВЕТУЙТЕ ГОДНЫХ КНИЖЕК ПО ML
@
ЧТО ТАКОЕ ГРАДИЕНТ?

Ответы>>785978

02 Июл, 16:17 #373 #785978

>>785977
Понятие градиента знакомо минимум людям на 2-м курсе, ни в школьной программе, ни даже на 1-м курсе нету этого.

Ответы>>785979

02 Июл, 16:23 #374 #785979

>>785978

>>785792
Сосни раз.

Ответы>>785980

02 Июл, 16:25 #375 #785980

>>785979
Причем градиент вполне рассматривается в этой книге, но позже, ты же стал нести неадекватную хуйню.

02 Июл, 16:33 #376 #785985

>>785962
бекпроп - градиентный спуск

ГЕНЕТИЧЕСКИЕ АЛГОРИТМЫ + НЕЙРОНОЧКИ

права роботов

Ответы>>786046>>786091

02 Июл, 17:40 #377 #786046

>>785985
>ГЕНЕТИЧЕСКИЕ АЛГОРИТМЫ
Заебешься перебирать.

Ответы>>786054

02 Июл, 17:54 #378 #786054

>>786046
зато как круто звучит!

02 Июл, 19:11 #379 #786091

>>785985
>ГЕНЕТИЧЕСКИЕ АЛГОРИТМЫ
ХЗ, но у меня они давали результат не лучше чисто случайного поиска.

02 Июл, 19:33 #380 #786102

Завтра ищешь в интернете книжку "Neural networks for pattern recognition". Похуй если ничего не поймешь. Затем идешь на deeplearning.net и изучаешь библиотеку theano от корки до корки. Потом зубришь, именно, сука, вызубриваешь алгоритм обратного распостранения ошибки - чтоб от зубов отскакивало. Когда напишешь свою первую нейроночку, по пути изучив бейсовское фичё селекшн, покупаешь и изучаешь видео карту, рекомендую NVIDIA GTX980. Как переделаешь нейроночку, чтобы выдавала по крайней мере 5 тысяч предсказаний в секунду, можешь идти дальше - тебя ждет увлекательный мир диплёрнинга. CNN, RNN, сверхбыстрые асинхронные машины больцмана, tensorflow. Отсос хиккующих выблядков / просто неудачников типа нечётко-питуха или сёрло-хуесосов, которые сосут хуй по жизни не заставит себя ждать и уже через пол года ты будешь получать такие суммы, что любая баба будет течь при одном упоминании твоей зарплаты.

Ответы>>786105>>786140>>786141>>786151>>786255

02 Июл, 19:37 #381 #786105

>>786102
>Отсос хиккующих выблядков
Но ведь этим как раз хиккующие выблядки и занимаются.

Ответы>>786255

02 Июл, 20:50 #382 #786140

>>786102
>рекомендую NVIDIA GTX980
Почему не 1070 или 1080?

02 Июл, 20:52 #383 #786141

>>786102
> через пол года ты будешь получать такие суммы, что любая баба будет течь при одном упоминании твоей зарплаты.
Это сколько? Я сейчас питоновебдевом могу получать 4800-5600 в месяц.

Ответы>>786150

02 Июл, 21:07 #384 #786150

>>786141
> могу

).

02 Июл, 21:08 #385 #786151

>>786102
Все самое интересно вроде же выжали из сетей с нынешним уровнем производительности видеокарт. А вот что еще можно придумать если что-то помощнее появится?

Ответы>>786153>>786255

02 Июл, 21:11 #386 #786153

>>786151
Вообще хорошо бы было натравить сеточки на перевод текстов.

02 Июл, 22:20 #387 #786255

>>786102
> асинхронные машины больцмана
> глубокие машины больцмана
?

>>786105
Поддвачну, здесь лучше сказать про веб-макак и прочий энтерпрайзный успешноскам.

>>786151
Дальше всё более глубокая интеграция вероятностных графических моделей и RNN для большего Байесоёбства.

02 Июл, 22:44 #388 #786301

Завтра ищешь в интернете книжку "Neural networks for pattern recognition". Похуй если ничего не поймешь. Затем идешь на deeplearning.net и изучаешь библиотеку theano от корки до корки. Потом зубришь, именно, сука, вызубриваешь алгоритм обратного распостранения ошибки - чтоб от зубов отскакивало. Когда напишешь свою первую нейроночку, по пути изучив бейсовское фичё селекшн, покупаешь и изучаешь нормальную видеокарту, рекомендую NVIDIA GTX1080. Как переделаешь нейроночку, чтобы выдавала по крайней мере 5 тысяч предсказаний в секунду, можешь идти дальше - тебя ждет увлекательный мир диплёрнинга. CNN, RNN, сверхбыстрые глубокие машины больцмана, tensorflow. Отсос веб макак / просто неудачников типа нечётко-питуха или сёрло-хуесосов, которые сосут хуй по жизни не заставит себя ждать и уже через пол года ты будешь получать такие суммы, что любая баба будет течь при одном упоминании твоей зарплаты.

норм? добавьте ещё чего, может в окончание kaggle вместо сумм и заменить фичё селекшн
DL-варианта этой пасты ещё небыло

Ответы>>786313>>787968

02 Июл, 22:51 #389 #786313

>>786301
Подарите мне систему с видюхой такой, а то у меня нубук 2012-го года.

Ответы>>786325

02 Июл, 22:54 #390 #786325

>>786313
да ну ты чо
> нубук 2012-го года.
самый смак для нейроночек

Ответы>>786327

02 Июл, 22:55 #391 #786327

>>786325
как я туда видюху то запихаю?

Ответы>>786328

02 Июл, 22:56 #392 #786328

>>786327
пускай торчит хуле

03 Июл, 03:03 #393 #786478

>>776147 (OP)
Люди, не теряйте свободного времени, тренируйте нейронные сети!

03 Июл, 08:05 #394 #786526

Поясните как эта хуйня генерирует тексты Егора Летова?

Ответы>>786590>>786991

sage 03 Июл, 11:38 #395 #786590

>>786526
дмитрий маликов в треде, все в рояль!

03 Июл, 18:39 #396 #786991

>>786526
> генеративные модели
> семплирование

03 Июл, 20:53 #397 #787152

Ребята, куда подаваться на тематическую магистратуру?
Сам заканчиваю мухосранский матмех, и пока вижу только два адекватных варианта: ВШЭ и американский вуз средней руки с прицелом на аспирантуру в лиге плюща.1

Ответы>>787195

03 Июл, 21:20 #398 #787195

>>787152
уса - лучший вариант, или вшэ с миграцией за бугор

04 Июл, 20:23 #399 #787968

>>786301
Эта паста всех подзаебла уже.
Пусть НЕЙРОНОЧКА сама напишет какую-нибудь смешнявку.

04 Июл, 21:51 #400 #788046

Я опять с тупыми вопросами
Поясните вот за это вот:
Making the OR data is easy, and then running the code requires importing it using its filename (pcn) and then calling the pcntrain function.
В чем смысл? Алсо, я наконец полностью разобрался в перцептроне и могу написать его на питоне, сейчас еще узнаю, что он не может в функции XOR и перейду к нормальным нейроночкам

Ответы>>788050

04 Июл, 21:54 #401 #788050

>>788046
Персептрон может в xor.

Ответы>>788051

04 Июл, 21:55 #402 #788051

>>788050
Однослойный вроде не может весы настроить, разве нет?

Ответы>>788076>>788097

04 Июл, 22:22 #403 #788076

>>788051
Не может, да.

Ответы>>788097

23 Кб, 300x197

04 Июл, 22:43 #404 #788097

>>788051
>>788076
Зависит от определения

Ответы>>788119

04 Июл, 23:24 #405 #788119

>>788097
Охуеть, давайте тогда обсудим, что же считать слоями. ВОт дискач то будет. Дискач века.

Ответы>>788127>>788154

04 Июл, 23:28 #406 #788123

>>785302
Еще один дурацкий вопрос, вот тут >>785254 сколько брать распределяющих функций Гауссовой смеси?

Ответы>>788126

04 Июл, 23:37 #407 #788126

>>788123
Особенность физической модели, model selection, или от балды, если первое ничего не говорит, а второе мутить впадлу.

Ответы>>788241

04 Июл, 23:41 #408 #788127

>>788119
S-А связи по идеи просто описывают структуру входных связей, т.е. если есть то возбуждающий или тормозящий вход, если нет - значит нет.
Обучается же слой A-R.

Ответы>>788131

04 Июл, 23:46 #409 #788131

>>788127
Один хуй два слоя же. Что ты имел в виду под
> зависит от определения
?

Ответы>>788141

04 Июл, 23:55 #410 #788141

>>788131
https://ru.wikipedia.org/wiki/Многослойный_перцептрон_Розенблатта
>Многослойный перцептрон Розенблатта — перцептрон с дополнительными слоями А — элементов, расположенными между S и R элементами.
Дополнительных слоев А нету - значит однослойный.

Ответы>>788144

04 Июл, 23:58 #411 #788144

>>788141
Ну и безобразие, мы как-то всегда их считали.

05 Июл, 00:35 #412 #788154

>>788119
Просто прочти на русской вики по поводу задачи XOR. Не может в XOR некий "однослойный персептрон", который, внезапно, является линейным классификатором, и был придуман много позже собственно персептрона (благо автор персептрона не был таким дебилом, чтобы взять линейный классификатор и назвать его йоба-названием).

Ответы>>788322

05 Июл, 01:21 #413 #788165

Аноны, спасибо большое, что ведёте данный тред! Почерпнул для себя кучу полезной инфы по поводу обучения ML, теперь в ближайшие полгода буду ебашить матан изо всех сил.

Ответы>>788168

05 Июл, 01:27 #414 #788168

>>788165
Охуеть, ну хоть кому-то.

Ответы>>788254

05 Июл, 05:13 #415 #788241

>>788126
Число распредлений в смеси настраеваемый гиперпараметр, но есть непараметрические методы, где требование задавать число распределений обходится.

05 Июл, 05:39 #416 #788254

>>788168
Всмысле "кому-то". Всем бля. Ему, мне, тебе, Петру I. Всем!

Ответы>>788429

05 Июл, 08:57 #417 #788322

>>788154
То, что я сейчас знаю в качестве персептрона - это весы + сумматор и пороговый классификатор.

Ответы>>788350

62 Кб, 900x500

sage 05 Июл, 09:39 #418 #788339

есть ли у нейроночек похоть?

140 Кб, 634x627

sage 05 Июл, 09:42 #419 #788340

и вообще со скольки слоёв персептрон начинает осознавать свой gender identity?

05 Июл, 09:59 #420 #788350

>>788322
>весы + сумматор и пороговый классификатор
Это нейрон, не?
Перцептрон, когнитрон, неокогнитрон состоят из множества нейронов.

Ответы>>788403

05 Июл, 11:54 #421 #788403

>>788350
Написано, что персептрон, на самом деле не важно, я наконец понял, как и зачем нужны матрицы и массивы.

05 Июл, 12:38 #422 #788429

>>788254
Мы же не одни здесь!

05 Июл, 13:10 #423 #788440

Аноны, а расскажите как делается поиск пути на нейроночках?

Ответы>>788451>>789424

297 Кб, 600x512

05 Июл, 13:28 #424 #788451

>>788440
> поиск пути на нейроночках

Ответы>>788455>>789426

05 Июл, 13:33 #425 #788455

>>788451
Наверное научить персонажа идти из пункта А в пункт Б с помощью нейроночки.

Ответы>>788458>>789426

05 Июл, 13:40 #426 #788458

>>788455
Дурачок. В играх AI строит маршрут совсем по другому. Что-то вроде жадных алгоритмов обхода препятствий. Катись в /gd/

Ответы>>788474>>789426

05 Июл, 14:06 #427 #788474

>>788458
Научись читать и понимать прочитанное сначала, потом посылай других куда-либо. Это во-первых.

Во-вторых, если он действительно хочет зафигачить так, чтобы АI сам учился искать пути именно с помощью нейроночки, то почему бы и нет?

05 Июл, 14:16 #428 #788480

Про лабиринты там тоже есть.
https://youtu.be/mF5-tr7qAF4
https://youtu.be/6bOMf9zr7N8

05 Июл, 16:05 #429 #788562

Аноны, а расскажите как делается FizzBuzz на нейроночках?

Ответы>>788577

05 Июл, 16:13 #430 #788577

>>788562
http://joelgrus.com/2016/05/23/fizz-buzz-in-tensorflow/

05 Июл, 16:16 #431 #788584

Правильно ли я понимаю, что при обучении батчами мы вычисляем среднюю dW(где Wij=Wij+dWij) по всей выборке батча. Т.е. вычислений по-сути будет чуть больше из-за промежуточного сохранения всех dW которые мы дели в конце на размер батча, только обновление весов будет один раз за батч?

Ответы>>788585>>789069>>789137

05 Июл, 16:17 #432 #788585

>>788584
>по сути

05 Июл, 18:06 #433 #788709

Аноны, поясните мне за Теорему сходимости Перцептрона но не так, будто вы объясняете умному человеку, а так, будто работаете с дауном
В частности, что обозначает это вот неравенство?
tγ ≤ ||w(t−1)|| ≤ √t

Ответы>>788748>>788799>>788871>>789021

05 Июл, 18:55 #434 #788748

>>788709
на шаге номер t:
tγ <= длина вектора w(t-1) <= √t

05 Июл, 19:50 #435 #788799

>>788709
Так, вообще, ||w(t-1)|| - это разве не значения весов на прошлом шаге?
А что тогда ty? t - насколько я понял, количество шагов обновлений весов.
А y - наименьшее расстояние между гиперплоскостями или просто прямыми линиями.
То-есть доказывается, что количество шагов умноженное на минимальное расстояние между линиями меньше или равно весам на прошлой итерации и значения весов на прошлом шаге меньше или равны корню из количества шагов обновлений весов?
Что за бред?

Ответы>>788839

05 Июл, 20:16 #436 #788839

>>788799
ты нашол ошибку в долазательстве персептрона?

Ответы>>788857

05 Июл, 20:40 #437 #788857

>>788839
Я не думаю, что все правильно понял, я же даун.

Ответы>>788863

05 Июл, 20:43 #438 #788863

>>788857
Я кстати застрял на части в реализации кода, Питона знаю хуево, это мне отвлечься от книги на немного дней или изучать Python параллельно, дабы я мог все примеры выполнять? Это задержит примерно на неделю.

05 Июл, 20:48 #439 #788871

>>788709
Откуда ты вообще взял это неравенство? Скинь полностью со всеми пояснениями.

Ответы>>788888

135 Кб, 592x1216

05 Июл, 21:07 #440 #788888

>>788871
Надеюсь текст различим

Ответы>>788902>>788972

201 Кб, 500x617

05 Июл, 21:17 #441 #788902

>>788888
Лучше бы начал с чего-нибудь попроще, раз ты даже питон толком не знаешь.

Ответы>>788915

05 Июл, 21:21 #442 #788915

>>788902
Я параллельно буду ебашить, сначала 10 страниц питона, потом 10 страниц отсюда.

05 Июл, 21:55 #443 #788972

>>788888
Там конечный смысл не в сравнении веса с какими-то числами, а в том, что ty <= sqrt(t), т.е. t <= 1/y^2.
Вернись в начало параграфа, там как раз написано, что количество итераций ограниченно этим самым числом.

Ответы>>788981

05 Июл, 22:02 #444 #788981

>>788972
И в чем общий смысл кроме доказательства сравнения сходимости?

Ответы>>788985

05 Июл, 22:06 #445 #788985

>>788981
В том, что оно сойдётся на линейно разделимом датасете.

Ответы>>788989

05 Июл, 22:10 #446 #788989

>>788985
Готов к тупому вопросу?
А что с чем сойдется?

Ответы>>788993>>789000

05 Июл, 22:12 #447 #788993

>>788989
И теорема состоит в том, что число итераций ограничено 1/y^2?

Ответы>>789000

05 Июл, 22:15 #448 #789000

>>788989
Перцептрон может обучиться за конечное число шагов, т.е. за конечный промежуток времени.
>>788993
Теорема состоит в том, чтобы показать, что это самое число шагов ограничено каким-то конкретным числом, а не бесконечностью или неопределенностью какой-нибудь.

Пока матан на первом курсе универа не пройдешь - лучше не лезь во все эти доказательства.

Ответы>>789009

05 Июл, 22:17 #449 #789009

>>789000
>что это самое число шагов ограничено каким-то конкретным числом
Да это я понял.
Нет, не понял конечное число из 1/y^2 - это какое?

Ответы>>789019>>789063

05 Июл, 22:28 #450 #789019

>>789009
Гамма - это не просто расстояние между гиперплоскостями, а это расстояние между классами (margin гугли, об этом упоминалось в твоей книге), которые перцептрон должен разделять.
Понятно, что если это расстояние 0 - то перцептрон будет обучаться бесконечно, и так и не сможет различать классы в пространстве, потому что между ними нет границы.
Ну и дальше сам додумывай.

Ответы>>789066

05 Июл, 22:29 #451 #789021

>>788709
Может посоветуете школьнику самые основы методов оптимизации? Какой-нибудь лайтовые лекции или конспекты. У самого пусто.

Ответы>>789024>>789025

05 Июл, 22:31 #452 #789024

>>789021
Сходить в универ.

Ответы>>789027

05 Июл, 22:32 #453 #789025

>>789021
Что-нибудь по выч.мату почитай.
У обо/sci/шей было что-то такое.

05 Июл, 22:33 #454 #789027

>>789024
Серьёздно. Кун(тян?) уже неделю заёбывает тупыми вопросами, но ему хватает упорства продолжать.

Ответы>>789032

05 Июл, 22:37 #455 #789032

>>789027
Хуй знает, я ничего отдельного не читал, но нарыл вот такую штуку:
http://rutracker.org/forum/viewtopic.php?t=4650397

На днях тоже полистаю.

Ответы>>789040

05 Июл, 22:41 #456 #789040

>>789032
> Первое издание - 1986 г.
Вангую. Устарело как содержание, так и методология.

Вот что нагуглил. Парвая лекция должна составить общее представление.
http://www.machinelearning.ru/wiki/index.php?title=Момо

Вот эта годная. Боюсь, что малыш не потянет.
http://stanford.edu/~boyd/cvxbook/

05 Июл, 22:59 #457 #789063

>>789009
А может объяснения и не надо понимать? Ну запомнил, что число итераций ограничено и все? Или это выйдет мне сильно боком потом?
По сути, я понял, что мне надо понять неравенство Коши-Буняковского.

Ответы>>789066

05 Июл, 23:01 #458 #789066

>>789063
>>789019

>мне надо понять неравенство Коши-Буняковского.
Пиздец, ты не там ищешь "глубинный" смысл.

Ответы>>789073

05 Июл, 23:04 #459 #789069

>>788584
бамп вопрос

05 Июл, 23:05 #460 #789073

>>789066
Но ведь оно доказывает, что весы через некоторое количество обновлений = > ty
Иначе я не могу понять, как из неравенства получается так, что число деленное на другое в квадрате будет равно чему-то, а не стремиться к бесконечности, например.

Ответы>>789075

05 Июл, 23:10 #461 #789075

>>789073
>число деленное на другое в квадрате будет равно чему-то, а не стремиться к бесконечности
С чего бы это?
Охуенная у тебя каша в голове. Гугли пределы и сходимость.

А лучше в универ сходи, тебе там все по-порядку разложат.

Ответы>>789079>>789091

05 Июл, 23:13 #462 #789077

ML тред. Вышка нужна.

05 Июл, 23:14 #463 #789079

>>789075
Я на 2 курс шараги перехожу.

05 Июл, 23:19 #464 #789082

На русском то есть нормальные книги для новичка?

Ответы>>789084>>789140

05 Июл, 23:20 #465 #789084

>>789082
Хаха, нет, иди английский учи.

Ответы>>789086

05 Июл, 23:20 #466 #789086

>>789084
Да могу и на английском читать, но придется напрягаться.

05 Июл, 23:25 #467 #789091

>>789075
А, пределы я знаю.
Нас в шараге не учат тому, что такое пределы, нас учили их считать.

Ответы>>789097

05 Июл, 23:28 #468 #789097

>>789091
Как нам препод говорил, в пту учат ремесленников, в универе инженеров. Учишься ремесленником - значит твоя задача не думать, а делать по технологии, оттачивать мастерство. Учишься на инженера - нужно разбираться в куче различных областей, иногда даже напрямую не связанных с основным направлением.

Ответы>>789098>>789102

05 Июл, 23:29 #469 #789098

>>789097
Но у меня илитная шарага, МГИМО, прикладная информатика, лол, самый глупый выбор в жизни.

05 Июл, 23:31 #470 #789102

>>789097
> Как нам препод говорил
Открою секрет - каста преподов - это хуже червей-пидоров, проткнутых и опущеных.
В универчик идут работать преподами самые днища, которые никуда больше приткнуться не могут. Зато там они могут читать 1 час 45 минут хуиту с книжки и требовать ее записывать.

Ну ты понел.

Ответы>>789108>>789110

05 Июл, 23:36 #471 #789108

>>789102
Ага, и к ним посылают новоприбывших за знаниями, которые необходимы в ML.

На зоне тоже к петухам сразу будешь посылать?

05 Июл, 23:37 #472 #789110

>>789102
Довольно грубое обобщение.
В адекватном универе - адекватные преподы, я так считаю.

Ответы>>789112

05 Июл, 23:37 #473 #789112

>>789110
Ага, на зарплату в 13 тысяч.
Когда плата за год - 75.
У нас не Япония, дабы профи работали.

Ответы>>789115>>789118

05 Июл, 23:39 #474 #789115

>>789112
Публикации/конференции/патенты ты в зп тоже не считаешь? В хорошей лабе хорошие зарплаты.

Ответы>>789119

05 Июл, 23:40 #475 #789118

>>789112
Так и у них у многих еще какие-то основные или же наоборот второстепенные работы есть. У кого-то вообще собственные фирмы есть, связанные с тем направлением, на которое они учат. По крайней мере у нас так.

05 Июл, 23:40 #476 #789119

>>789115
Лол, а шо, за патенты платят?
А публикации - это уровня "я написал книжку, кто из студентов не купит - будет иметь проблемы на экзамене?".

Ответы>>789142

05 Июл, 23:47 #477 #789129

То-есть при каком-то значении 1/y^2
t просто перестает существовать?

Ответы>>789136>>789150

05 Июл, 23:52 #478 #789136

>>789129
Ну это уже толсто.

Ответы>>789150

05 Июл, 23:53 #479 #789137

>>788584
Да вычислений чуть больше и пускай. Принципиальный момент это сами батчи, а не просто случайный вектор выборки и регуляризатор.

Ответы>>789193

05 Июл, 23:54 #480 #789140

>>789082
Воронцовские лекции в разное время. Для начала пройди курс на курсере.

05 Июл, 23:56 #481 #789142

>>789119
Публикации, учитываемые скопусом, уровня вот мой говно-йоба-алгоритм.
За них хорошо платят.

06 Июл, 00:01 #482 #789150

>>789129
То-есть с каждым обновлением весов расстояние уменьшается1/y^2 и t просто перестает существовать?
Но как выходит так, что, например, у нас веса обновились 10 раз, расстояние сошлось.
Как 10 может быть меньше или равно тому маленькому числу? С чем это связано?
>>789136
Я не троллю, я реально не понимаю.

Ответы>>789153>>789189

06 Июл, 00:03 #483 #789153

>>789150
Гугли что такое гамма в твоих формулах.

Ответы>>789159

06 Июл, 00:08 #484 #789159

>>789153
гамма-функция?

06 Июл, 00:45 #485 #789189

>>789150
Но также, веса после 10 итерации не существуют.
Да как так? Я понимаю, что математически это можно обосновать, но логически не понимаю.

Ответы>>789396

06 Июл, 00:50 #486 #789193

>>789137
Да просто были сомнения что суммировать, тельту ошибки или dW. Если бы дельту ошибки, то появился бы вопрос, а как именно. Еще немного сбило с толку, что было написано, что батчами вычислять быстрее(но в другом месте было уточнение, что только в параллельных вычислениях)

06 Июл, 02:11 #487 #789244

Ладно, допустим я хочу компьютер научить говорить, что я для этого должен делать?

Ответы>>789332

06 Июл, 05:46 #488 #789332

>>789244
В линупсе, например, festival.
На маках есть say:
> say - Convert text to audible speech

06 Июл, 10:30 #489 #789396

>>789189
Аноны, так с чем это связано? Как так выходит, что количество итераций обращается в ноль, хотя до этого росло?

Ответы>>789412

154 Кб, 800x600

sage 06 Июл, 10:52 #490 #789412

>>789396
съяби уже, а?

Ответы>>789738

06 Июл, 11:19 #491 #789424

>>788440
https://www.youtube.com/watch?v=V1eYniJ0Rnk

Гугли (Deep) Reinforcement Learning. на udacity есть такой курс.

Вот этот >>78845 защекан слышал где-то про алгоритм A* (поиск пути), но почему-то пропустил хайп 2 летней давности вокруг DeepMind

Ответы>>789426

06 Июл, 11:21 #492 #789426

>>788455
>>788451
>>788458
>>789424

06 Июл, 12:13 #493 #789458

анончики, а как ищется элемент в массиве на нейроночках?

Ответы>>789641

06 Июл, 16:18 #494 #789641

>>789458
мамка твоя ищет

06 Июл, 17:00 #495 #789687

Что скажете о курсе Machine Learning на Coursera?

Ответы>>789709>>789716>>789726

06 Июл, 17:31 #496 #789709

>>789687
> ctrl+f
> bayes
> results:0
говно

Ответы>>789716

06 Июл, 17:38 #497 #789716

>>789687
Хороший поверхностный курс
>>789709
для даунов.

Ответы>>789726

06 Июл, 17:45 #498 #789726

>>789687 >>789716
Полноценные лекции, которые он читал в Стэнфорде:
https://www.youtube.com/playlist?list=PLA89DCFA6ADACE599

Конспекты лекций и прочие материалы:
http://cs229.stanford.edu/materials.html

06 Июл, 18:20 #499 #789737

Что-то аноны, сегодня совсем хуево, начал читать эту вашу "Unlocked Python", так он что-то совсем не идет.
Хотя написать перцептрон уже могу и понимаю, зачем и как нужны массивы в нем.

Ответы>>789739>>789742

06 Июл, 18:21 #500 #789738

>>789412
Не съебу, ни за что, я смогу и в нейроночки и в питона и в матан и в английский.

06 Июл, 18:24 #501 #789739

>>789737
>начал читать эту вашу "Unlocked Python"
потому что скорее всего там математическая муть без практики

Ответы>>789741

06 Июл, 18:26 #502 #789741

>>789739
Нет, там именно код дается, только все в очень странной форме, концепция не объяснена и написано косноязычно немного.
Но оно уже и не особо нужно, я уже написал перцептрон.

06 Июл, 18:32 #503 #789742

>>789737
Таски выкладывай. Может быть толпой завалим.

Ответы>>789744

06 Июл, 18:34 #504 #789744

>>789742
Да нет, все нормально.
Просто надо по другому пути Питона изучать, эта отдельная хуйня, где говорится, что и как можно делать с разными вещами совсем не формирует общую картину и даже не запоминается никак.

Ответы>>789750

06 Июл, 18:43 #505 #789750

>>789744
И кстати, в реализации простого перцептрона не надо импортировать целый класс pcn, достаточно только pcntrain переписать же.
Просто в целом коде PyCharm находит ошибку

Ответы>>789760

06 Июл, 19:01 #506 #789760

>>789750
Что ты делаешь? Нахуя реализовывать персептрон?

Ответы>>789763

06 Июл, 19:03 #507 #789763

>>789760
Чтобы понять, как простейшую нейроночку писать, а потом приняться за сложные сети.
Да и по учебнику так идет же.

06 Июл, 19:11 #508 #789766

Что такое граф-модели? Пояните за них, позязя.

Ответы>>790093

07 Июл, 00:43 #509 #790093

>>789766
Смотри сюда, ёбана.
Есть граф.
Есть вершины.
Есть рёбра.
Вершины - случайные величины.
Рёбра - описывает условные зависимости между вершинами.
То есть эта хуита позволяет добавлять структуру в данные (учитывать пространственную структуру изображений, вводить гладкие приоры в задачи предсказания и интерполяции, учитывать зависимость между симпотами болезней).
Смотри лекции Воронцова кароч, а потом читай Бишопа с Мёрфи, у них там по несколько глав про сабж. Охуительная тема.

Ответы>>790096>>790148

07 Июл, 00:46 #510 #790096

>>790093
Алсо, нейроночки тоже представимы в виде граф-моделей.

Ответы>>790104

07 Июл, 00:54 #511 #790103

Аноны, автор учебника ебнутый?
Его код нихуя не работает.
Он говорит import pcn_logic_eg
Окай, вот файл с названием https://seat.massey.ac.nz/personal/s.r.marsland/Code/Ch3/pcn_logic_eg.py
в 47 строке ошибка.
Он не мог проверить, работает его код или нет, блядь?

Ответы>>790116

07 Июл, 00:54 #512 #790104

>>790096
И всё это представимо в виде массивов. Анончик выше не пиздел.

07 Июл, 01:00 #513 #790116

>>790103

он писал на питоне 2.0, по-моему это и дауну должно было быть понятно

Ответы>>790119

07 Июл, 01:03 #514 #790119

>>790116
Но он же года 3 как устаревшее и никому не нужное дерьмо

Ответы>>790133

07 Июл, 01:11 #515 #790133

>>790119
А похуй, суть в скобках в print

07 Июл, 01:31 #516 #790148

>>790093
То есть это будущее ML? Как такая хита обучается?

Ответы>>790160

07 Июл, 01:41 #517 #790160

>>790148
Это настоящее ML.
Кратко не опишу, но кароч хуячим аппроксимации апостериорного распределения.

07 Июл, 07:32 #518 #790257

https://2ch.hk/pr/res/790256.html (М)
https://2ch.hk/pr/res/790256.html (М)
перекатываемся мужики
https://2ch.hk/pr/res/790256.html (М)
https://2ch.hk/pr/res/790256.html (М)

08 Июл, 15:35 #519 #791467

>>776147 (OP)
Было предложение поработать c tensorflow для начала за сотню баксов в неделю, после того как я вкачусь в ml, но вкатится не хватило знаний и времени, ибо в ml вообще ноль.
Предложение было действительно интересным и работодатель был из штатов, если бы получилось был бы очень хороший опыт + строчка в резюме.

Тред утонул или удален.
Это копия, сохраненная 27 июля 2016 года.

Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее

Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.

« /pr/В начало тредаВеб-версияНастройки/a//b//mu//s//vg/Все доски

Пользуетесь скринридером — пишите, что можно улучшить.
Host-Food.ru — надёжный хостинг от 12 руб/мес | Free DNS
Зеркала М.Двача: m2ch.hk, m2ch.lib, m2chfapiswfw2wcakptqp4o6ltgchvjuxfab7urxlduraomtlnhw5xad.onion