М.Двач / Программирование

Двач.hk не отвечает.
Вы видите копию треда, сохраненную 7 августа 2016 года.

Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее

Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.

799 Кб, 927x800

НЕЙРОНОЧКИ #5 07 Июл, 07:30 #790256 В конец треда | Веб

Тред #1: https://arhivach.org/thread/147800/
Тред #2: https://arhivach.org/thread/170611/
Тред #3: https://arhivach.org/thread/179539/
Тред #4: https://arhivach.org/thread/185385/

Machine Learning 101:
1. Introduction to Statistical Learning ( http://www-bcf.usc.edu/~gareth/ISL/ISLR Sixth Printing.pdf )
Читается легко, неплохая разминка перед ESL
2. Pattern Recognition and Machine Learning, Bishop.
3. Bayesian Methods for Hackers. Введение в байесовские методы, годно.
4. http://neuralnetworksanddeeplearning.com
Введение в нейронные сеточки для самых маленьких. Написано простым английским.
5. https://yandexdataschool.ru/edu-process/courses - базовые курсы ШАДа.

Machine Learning Advanced
1. Elements of Statistical Learning (http://statweb.stanford.edu/~tibs/ElemStatLearn/printings/ESLII_print10.pdf )
Сложность - 9 из 10. Шутки в сторону, можно читать годами. Если вы сможете полностью проработать эту книгу и прорешать упражнения, обязательно свяжитесь со мной - у меня найдется работа для вас.
2. Optimization for Machine Learning. Edited by Suvrit Sra, Sebastian Nowozin and Stephen J. Wright, MIT Press, 2012.
Иногда from sklearn.linear_model import LogisticRegression перестает работать и тогда нужно все переписать. Оптимизация квадратичных приближений на больших объемах данных, разреженные модели, суррогатные оптимизации - вот это все тут есть.
3. http://www.cs.nyu.edu/~mohri/mlbook/
Как ESL, только слегка по-проще. Попробуйте, может зайти.

Дальше вас ждет дикий и необузданный мир. Два маяка https://vk.com/deeplearning и http://deeplearning.net/reading-list/ осветят дорогу: это списки литературы и обзоры статей для прощупывания пульса индустрии.

яп
1. http://julialang.org/
2. https://www.microsoft.com/en-us/research/project/infernet/
3. https://www.r-project.org/
4. питухон и так все знают

Misc
1. Telegram: @techsparks
Подкаст про всякие гик-штуки.

F.A.Q
По мотивам предыдущего треда.
Эти ваши книжки стоят овер 9000 рублей, как быть?
http://libgen.io
Книги хорошо, но с чего начать практический вкат?
Во-первых, вам нужна любая unix-based система. На Windows возможно запустить нижеперечисленное, но ждите пердолева с настройкой и неодобрительных взглядов анонимуса. Кроме того, в компаниях, так или иначе связанных с разработкой йоба-ПО и machine learningом, Linux/OS X является стандартом. Привыкайте.
Во-вторых, определитесь с языком. Python и C++ наиболее мейнстримовые инструменты, с ними вы без еды не останетесь. Есть еще R, на котором пацаны живут статистикой и анальными пакетами. Некоторые инструменты являются языко-независимыми (Vowpal Vabbit, XGBoost), но обвязывать их вы все равно будете из какой-либо среды.
На Java разработано много production-ready инструментов для бигдаты и если вы угораете по терабайтам данных, то имеет смысл посмотреть в её сторону. Впрочем, лучше это делать уже потом, когда прийдет осознание потребностей.
В-третих, выбирайте себе задачу. Что угодно: распознать качпу, обнаружить ботов по логам, найти раковых больных. Список можно посмотреть, например, на kaggle.com. После чего приступаете к решению выбранной задачи.
Не прийдется ли мне потом с таким наборищем знаний идти в макдак работать?
Несмотря на хайп вокруг ML, далеко не во всех IT компания есть необходимость в ML и понимание круга задач, которые можно решить этими методами. Но поверьте, в 2016 компетентный специалист будет востребован. В России потребителями ваших знаний могут стать: Яндекс, Mail.ru, Вконтакте, Rambler, Касперский, Билайн, Связной, ABBYY, Хуавэй. В биоинформатике есть определенный спрос, можно поскролить http://blastim.ru
Здорово, но я так и не понял чем же вы занимаетесь в IT компаниях?
Попытаюсь ответить со своей колокольни и сразу хочу предупредить, что это едва ли консенсуальное мнение.
ML-специалист - это такое зонтичное определение для человека, способного увидеть проблему, выгрепать кучу логов и данных, посмотреть на них, придумать решение проблемы и врезать это решение его в продакшн. По сути, это кодер, решающий не чисто технические, а, в некотором роде, человеческие проблемы.
Имхо, мы все же остаемся в первую очередь разработчиками.
Но ведь есть Machine Learning per se, чем он занимается?
Действительно есть. Одаренная прослойка людей изобретает новые методы, но это правильнее называть просто математикой. Сейчас пищей для ума являются нейронные сети и их возможные архитектуры, но даже они двигаются рука об руку с практикой.
Что такое TensorFlow?
TensorFlow - часть гуглового инструмента для перемножения тензоров и оптимизации функционалов. Часть - потому что важные куски типа параллелизации еще не выкачены в паблик. Если вам все ещё непонятно что это, значит это вам и не нужно, сириусли. Google перестарался с рекламой и теперь люди думают, что TF - это серебряная пуля и затычка для каждой бочки. До TF был Theano, который выполнял свою работу не хуже. И, в отличии от TF, он уже находится в стабильной фазе.

Ответы>>790421>>791054>>792348>>792354>>793973>>795341>>795414>>796504>>797118>>799262

07 Июл, 13:09 #2 #790421

>>790256 (OP)
Сап, нейрооБоги. Я ньюфаг, посмотрел лишь пару десятков разных роликов на трубе на тему нейронных сетей. Понимаю, как они устроены примерно, но не понимаю, как это всё делается именно в коде. Посоветуйте простой хэллоуворлд, дабы разобраться в основах всего этого. ЯП не принципиален.

Ответы>>790424

07 Июл, 13:11 #3 #790424

>>790421
http://karpathy.github.io/neuralnets/

Ответы>>790449

07 Июл, 13:47 #4 #790449

>>790424
> ctrl+f
> bayes
> results:nihooya
неодобрямс

Ответы>>791056>>793040

sage 07 Июл, 15:31 #5 #790514

http://jaidevd.github.io/posts/a-geometric-proof-of-the-perceptron-convergence-theorem/

07 Июл, 21:16 #6 #790853

Господа, есть ли что ловить мне, при условии, что в разные дифуры/матан не умею?

Ответы>>790859>>791054

07 Июл, 21:23 #7 #790859

>>790853
Ты всегда можешь научиться.

Ответы>>790961

07 Июл, 22:45 #8 #790961

>>790859
Посоветуй хорошую книгу по математике или доступные видео-курсы, если знаешь, браток.

Ответы>>791047>>791363

08 Июл, 00:07 #9 #791044

Кто-нибудь знает что есть такое dense prediction?
Периодически попадается это словосочетание во всяких статейках по распознаванию образов на нейронках, но какого-то конкретного примера или определения или описания того, что именно это отличает от чего-то другого не находил.
Еще иногда встречается фраза dense outputs.

Ответы>>791297>>791432

08 Июл, 00:08 #10 #791047

>>790961
Почитай про производные и интегралы, порешай примеры, этого будет достаточно.

Ответы>>791054

08 Июл, 00:14 #11 #791054

>>790853
>>790256 (OP)
>>791047
Оп, добавь платиновый вопрос в ЧАВО.

08 Июл, 00:15 #12 #791056

>>790449
Байес-кун, поясни за реализации на питно. Вот для классики есть scikit-learn, а для байесов?

Ответы>>791433

08 Июл, 03:57 #13 #791155

Дайте гайд как развернуть какую-нибудь нейросеть.
Или ответьте на следующие вопросы
1. На Windows полная хуйня, все на Linux?
2. Debian тоже не канает, нужна убунта?

Ответы>>791158>>791281

08 Июл, 04:08 #14 #791158

>>791155
анус себе разверни

164 Кб, 1376x1492

08 Июл, 10:31 #15 #791281

>>791155
> убунта
Лучше всего Plan 9.

08 Июл, 10:49 #16 #791297

>>791044
наверно имеется ввиду плотность вероятности?
дай пример

Ответы>>791440

70 Кб, 1366x728

08 Июл, 11:58 #17 #791334

Привет вам, терминаторы, я и дальше двигаюсь по книге.
Задержался на повторение питона и кое в чем застрял.
Что здесь делает self.weights, как оно влияет на activations?

Ответы>>791357>>791534>>791658

08 Июл, 12:25 #18 #791357

>>791334
они скалярно умножаются на вход
активация есть параметры ("веса") умножонные на вход
активация потом пихается через нелинейную функцию активации

совсем как в настоящих мозгах

Ответы>>791393

08 Июл, 12:39 #19 #791363

>>790961
у ленга хорошие книги
я по ним учился, все по ним учились. и ты учись

08 Июл, 13:34 #20 #791393

>>791357
И почему ничего не произошло после того, как я удалил часть с Confusion Matrix.
Ууух, я наконец разобрался почти, как работает перцептрон.
По идее тут нету сумматора?

08 Июл, 13:43 #21 #791401

Вот вы говорите, что подготовка данных занимает 95% времени, и что это скучно и неинтересно. Можете привести какой-нибудь конкретный пример датамайнинга из вашей практики, рассказать как это делается и есть ли специальные инструменты, которые упрощают процесс? А может даже есть вакансии на рынке для тех, кто не смог в матан и готовит данные для датасаентистов?

Ответы>>791409

08 Июл, 14:03 #22 #791409

>>791401
> есть ли специальные инструменты, которые упрощают процесс?
чумазая индусня
по одной рисинке за датум

08 Июл, 14:43 #23 #791432

>>791044
Полносвязные слой мб, порой их называют dense layer?

Ответы>>791440

08 Июл, 14:45 #24 #791433

>>791056
Тебе реализация теоремы на пиздоне нужна или чего?

Ответы>>791829

08 Июл, 14:56 #25 #791440

>>791297
>>791432
https://arxiv.org/pdf/1411.4038.pdf вот например. Там еще несколько не до конца ясных фраз, типа end-to-end training (гугл везде разное трактование end-to-end дает; один из синонимов я находил - сквозной, но хз на сколько это связано с обучением), еще patchwise training (patch - кусочек изображения, или одно изображение из целого набора?)
Что-то связанное с полносвязным - мб. Хотя у меня была мысль, что это что-то связанное с тем, что в выводе сети - полная картинка, а не просто выбор класса из нескольких.

08 Июл, 15:36 #26 #791468

Было предложение поработать c tensorflow для начала за сотню баксов в неделю, после того как я вкачусь в ml, но вкатится не хватило знаний и времени, ибо в ml вообще ноль.
Предложение было действительно интересным и работодатель был из штатов, если бы получилось был бы очень хороший опыт + строчка в резюме.

Ответы>>791470>>791483

08 Июл, 15:41 #27 #791470

>>791468
> за сотню баксов в неделю
А если бы вкатился, то потом сколько? 200 баксов в неделю?

Ответы>>791655

08 Июл, 15:41 #28 #791471

Что делать если перцептрон не настраивается на XOR, когда я ввел еще одно измерение в массив?

Ответы>>791472

08 Июл, 15:42 #29 #791472

>>791471
>>791471
А нет, настраивается, только я не понял, по какому принципу вводится еще одно измерение в массив.

Ответы>>791474

08 Июл, 15:44 #30 #791474

>>791472
Что за хуйня?
Если ввожу вот так вот:
inputs = np.array([[0,0,1],[0,1,0],[1,0,0],[1,1,0]])
targets = np.array([[0],[1],[1],[0]])
То не настраивается
А если в targets будут единицы по краям, то сможет настроиться, что за хуйня?

Ответы>>791477

08 Июл, 15:46 #31 #791477

>>791474
Потому что единицы по краям это уже не ксор?

Ответы>>791481

08 Июл, 15:47 #32 #791481

>>791477
Но в книге сказано ввести еще одну ось в таргеты и все заебись

Ответы>>791492

08 Июл, 15:49 #33 #791483

>>791468
что за проект был в штатах?
жалко конеш ;з

Ответы>>791655

08 Июл, 15:55 #34 #791492

>>791481
нарисуй/представь эти точки в 3-пространстве и посмотри, можно ли их разделить плоскостью

Ответы>>791499

110 Кб, 644x1127

08 Июл, 16:03 #35 #791499

>>791492
Ну хуй знает, в книге написано вот это вот:
Типа можно линейно поделить

Ответы>>791524

08 Июл, 16:21 #36 #791524

>>791499
нарисуй другой вариант и нельзя будет настроить
прямые через точки одного класса пересекаются, их не разделить
параметры добавляются что бы зделать перцептрон более умным - чем больше параметров, тем более сложные функции он сможет моделировать

08 Июл, 16:28 #37 #791530

А помните, с какого треда все началось?
С моего :3
https://www.youtube.com/watch?v=O9l5NVIjv94

08 Июл, 16:29 #38 #791532

На каком языке лучше всего программировать нейросети?
Хаскель? Лисп? Go? Erlang? Ассемблер?

Ответы>>791579>>791580

08 Июл, 16:31 #39 #791534

>>791334
По какой книге?

Ответы>>791795

08 Июл, 17:31 #40 #791579

>>791532
Конечно же ассемблер
А еще лучше - сразу в машинном коде

Если серьезно - python c библиотекой pandas, либо matlab

08 Июл, 17:33 #41 #791580

>>791532
J, поскольку нейроночка - массив и J хорошо могёт в массивы

08 Июл, 18:46 #42 #791655

>>791470
Не обсуждал, было бы выше ну 150, 200, деньги не так важны в данном конкретном случае, главное получить и сделать работу, ведь область специфична и нова и интересна.
>>791483
Связано с медициной. Надо было применить ml на данных, получаемых от пользователей системы.

Ответы>>791675>>791680

08 Июл, 18:49 #43 #791658

>>791334
А, я долбоеб, он в вычислениях же складывает и перемножает, так что сумматор есть.

08 Июл, 19:19 #44 #791675

>>791655
> было бы выше ну 150, 200, деньги не так важны в данном конкретном случае
Средний рейт за вебдев фриланс что-то около 800 баксов в неделю ($20/hr).
Даже если тебе лично не нужны деньги, работа за копейки плохо влияет на систему в целом. Нефиг демпингом заниматься, для этого и так всякие пакистанцы с индусами существуют.

То, что ты нихуя не умеешь не оправдание. Если клиент не доволен твоей работой, у него есть опция не платить или открыть диспут.

> ведь область ... и нова и интересна.
Только так и работаю всегда иначе не получается увы, я не помню с какого рейта начинал, что-то вроде 400-500 баксов в неделю, но это тащем-то тоже мало.

Ответы>>791680

08 Июл, 19:26 #45 #791680

>>791675
Тред читаю жопой, но это разве мало за удалёнку?

>>791655
>>791655
Типа QMR-DT?

Ответы>>791697

08 Июл, 19:54 #46 #791697

>>791680
>Типа QMR-DT?
Я же говорю, что я не вник в ml.
Впервые от тебя вообще слышу этот термин, погуглил - так там вообще дебри ml.

08 Июл, 22:36 #47 #791795

>>791534
Завтра ищешь в интернете книжку "Neural networks for pattern recognition". Похуй если ничего не поймешь. Затем идешь на deeplearning.net и изучаешь библиотеку theano от корки до корки. Потом зубришь, именно, сука, вызубриваешь алгоритм обратного распостранения ошибки - чтоб от зубов отскакивало. Когда напишешь свою первую нейроночку, по пути поучавствовав в kaggle компетишенах, покупаешь и изучаешь нормальную видеокарту, рекомендую NVIDIA GTX1080. Как переделаешь нейроночку, чтобы выдавала по крайней мере 5 тысяч предсказаний в секунду, можешь идти дальше - тебя ждет увлекательный мир диплёрнинга. CNN, RNN, сверхглубокие машины больцмана, tensorflow. Отсос веб макак / просто неудачников типа нечётко-питуха или сёрло-хуесосов, которые сосут хуй по жизни не заставит себя ждать и уже через пол года ты будешь получать такие суммы, что любая баба будет течь при одном упоминании твоей зарплаты.

Ответы>>791814

08 Июл, 23:01 #48 #791814

>>791795
> изучаешь библиотеку theano
Почему не tensorflow?

Ответы>>791826

08 Июл, 23:06 #49 #791823

Аноны, а как вам вот эта книжка?
http://www.deeplearningbook.org/

08 Июл, 23:07 #50 #791826

>>791814
видишь ли, TensorFlow - часть гуглового инструмента для перемножения тензоров и оптимизации функционалов. Часть - потому что важные куски типа параллелизации еще не выкачены в паблик. Если вам все ещё непонятно что это, значит это вам и не нужно, сириусли. Google перестарался с рекламой и теперь люди думают, что TF - это серебряная пуля и затычка для каждой бочки. До TF был Theano, который выполнял свою работу не хуже. И, в отличии от TF, он уже находится в стабильной фазе.

Ответы>>791839>>791996

08 Июл, 23:12 #51 #791829

>>791433
На хуйтоне и тебя туда же. Смотрю и вижу, ты дохуя некомпетентен, членодевка.

Ответы>>791850

08 Июл, 23:23 #52 #791839

>>791826
такое ощущение, будто шизопоток читаю.

Ответы>>791842

08 Июл, 23:26 #53 #791842

>>791839
Это жеж капча из шапки

Ответы>>791847

08 Июл, 23:30 #54 #791847

>>791842
похоже, что шапку писал шизик.

08 Июл, 23:33 #55 #791850

>>791829
Охуительно, всегда хотел быть трапом, но ты говоришь про Байеса так, словно это какой-то злоебучий алгоритм.

Ответы>>791854

08 Июл, 23:37 #56 #791854

>>791850
Ты из этих мимоматематиков-илитарием? Но нет, ты некомпетентный мусор.

Ответы>>792062

09 Июл, 06:08 #57 #791996

>>791826
> Часть - потому что важные куски типа параллелизации еще не выкачены в паблик
Уже давно выкачены (с версии 0.8):
https://www.tensorflow.org/versions/r0.9/how_tos/distributed/index.html

76 Кб, 825x825

09 Июл, 11:51 #58 #792062

>>791854
запахло жарёной попкой
остынь маня, не принимай нас всерьёз

Ответы>>792068

09 Июл, 12:03 #59 #792068

>>792062
AbstractSingletonProxyFactoryBean

09 Июл, 12:12 #60 #792072

Аноны, поясните мне за Линейную Регрессию.
Нахуй она вкупе с нейроночками нужна?
И что она делает? Просто подбирает точки, которые наиболее близкие?
Но я совершенно не понимаю, каким хуем это относится к этому
>np.dot(np.dot(np.linalg.inv(np.dot(np.transpose(inputs),inputs)),np.transpose(inputs)),targets)
В части np.dot(np.transpose(inputs),inputs)
Мы берем наши входы, переворачиваем матрицу и перемножаем ее со входами?
Дальше берем от этого обратную матрицу и еще раз умножаем на перевернутые входы?
А после этого я нихуя не понял

Ответы>>792076>>792081>>792096>>792099

09 Июл, 12:16 #61 #792076

>>792072
Или мы берем перевернутую матрицу , через np.dot перемножаем ее на входы и все это в конце перемножаем с целями?
А нахуя? Чего из этого мы достигнем?

09 Июл, 12:25 #62 #792081

>>792072
Раскури матрицы и операции над матрицами. Раскури сам метод линейной регрессии.
Раскури все формулы, которые используются в нейронках (сумматор, активационная функция, функции ошибки и т.д.).
Потом найди взаимосвязи между ними. Это основы, это надо знать.

Ответы>>792082

09 Июл, 12:27 #63 #792082

>>792081
Да как его раскуришь то?
Я про сумматор, функцию активации знаю, узнал на примере пиздоновского кода.
Но про эти матрицы и массивы не понимаю, а про Линейную регрессию пишут
>Линейная регрессия — метод восстановления зависимости между двумя переменными
И что мне это должно давать?

Ответы>>792084

09 Июл, 12:34 #64 #792084

>>792082
Раскурить - не значит прочитать определение.
Посмотри какие бывают модели регресии и как они выглядят математически. Как их в матричном виде можно записать.
Посмотри что такое регрессионный анализ и какие методы там используются.
В нормальный вуз не пошел - проебал всю базу, теперь надо нагонять самому.

Ответы>>792085

09 Июл, 12:36 #65 #792085

>>792084
Да это же я, какой вуз? Я из шараги на 2 курс перехожу.
И там такому не будут учить, а может и будут, мат.статистика будет.
А зачем ждать вуза, если я сейчас хочу?

Ответы>>792086

09 Июл, 12:38 #66 #792086

>>792085
Значит надо искать нужные книги и курсы. По статейкам из инетика, блять, нельзя получить полные знания.

Ответы>>792090

09 Июл, 12:41 #67 #792090

>>792086
Нормальные книги и курсы либо уже предполагают йоба-высокий порог вхождения, либо написаны ебанутым языком.

Ответы>>792095

09 Июл, 12:44 #68 #792095

>>792090
>йоба-высокий порог вхождения
>написаны ебанутым языком
Значит ты что-то пропустил в своем обучении.
Другие люди читают, изучают - и ничего.

09 Июл, 12:44 #69 #792096

http://rgho.st/private/6tkcbcgY4/399bf7ef4ab0e9a09f965ba81aa88f92
оставлю тут
в первых главах нормально разжёвана линейная регресия и вся хуйня
>>792072

09 Июл, 12:52 #70 #792099

>>792072
>Но я совершенно не понимаю, каким хуем это относится к этому
https://ru.wikipedia.org/wiki/Метод_наименьших_квадратов
Читай раздел "Пример — система линейных уравнений". Вот этот код на питоне есть ни что иное как (A'A)^-1A' в википедии, где A' - транспонирование.

Выводится эта формула из того факта, что если тебе нужно минимизировать функцию Ax-b -> min, тебе нужно приравнять производную к нулю, далее она приравнивается и вычисляется и получается формула, что A'Ax=A'b. В школе ты не проходил вычисление производных для матриц, но это не суть. А суть в том, что это уравнение действительно дает правильный ответ (такую матрицу A, что Ax-b наиболее близко к нулю).

Ответы>>792107

18 Кб, 500x400

09 Июл, 13:05 #71 #792107

>>792099
кароч ортогональная проекция на пространство столбцов

09 Июл, 13:45 #72 #792139

В шапку нужен абзац про основы математики.
На днях постараюсь предложить что-нибудь.

Ответы>>792221>>792328

09 Июл, 15:06 #73 #792221

>>792139
Того же Письменного в шапку впихнуть, хотя он для опущенцев (я по нему учился).

Ответы>>792328

09 Июл, 17:15 #74 #792323

>(t − Xβ)T(t − Xβ)
>Где β = (XT X)^(−1)XTt
Аноны, зачем мы умножаем перевернутые входы на таргеты?
В скобках мы ищем отрицательное значение от самого короткого расстояния между двумя точками?
И эти транспонированные цели умножаем на то, что нам уже известно? Типа это средняя линия?

Ответы>>792325

09 Июл, 17:18 #75 #792325

>>792323
первое выражение - квадратичная ошибка
она минимизирована если бета = второе выражение

Ответы>>792350

09 Июл, 17:20 #76 #792328

>>792139
>>792221
если прекратят спрашивать за платину то наши тренделя заглохнут
ведь 90% контента - нубовопросы и нубоответы

09 Июл, 17:24 #77 #792329

Пасаны, объясниет за всю хуйню с моментом и шагом. Шаг если взять маленький, то вроде как застрянет на локальных минимумах, если взять большой, то в конце обучения лучше достроить с маленьким? Некоторые берут для каждой эпохи уменьшают шаг в 0.99.

Ответы>>792330>>792332

09 Июл, 17:26 #78 #792330

>>792329
> Пасаны, объясниет за всю хуйню с моментом и шагом.
Шаг если взять маленький, то вроде как застрянет на локальных минимумах, если взять большой, то в конце обучения лучше достроить с маленьким? Некоторые берут для каждой эпохи уменьшают шаг в 0.99.

Объяснил.

Ответы>>792331

09 Июл, 17:29 #79 #792331

>>792330
А момент, нахуй он нужен? Там есть от него профиты?

Ответы>>792334

09 Июл, 17:30 #80 #792332

>>792329
можешь увеличивать шаг если градиент маленький или не меняется например, чтобы перепрыгнуть через седло или быстрее сойтись
и наоборот

вообще:
градиентный подьём/спуск - говно
максимумы - говно и оверфиттинг
тема нейроночек раскрывалася в конце 3го тренделя

Ответы>>792333

09 Июл, 17:31 #81 #792333

>>792332
Так как обучать, чтобы не заморачиваться с этой хуйней? А то ждешь, ждешь, а оно может все в шаге дело.

Ответы>>792336

09 Июл, 17:32 #82 #792334

>>792331
Какой нахуй момент? Среднее по батчу?

Так ведь он выступает как регуляризатор. Всё что связано с эффективным методами оптимизации это сплоная эмпирика. Просто постарайся запомнить эвристики и понять когда их надо применять.

09 Июл, 17:38 #83 #792336

>>792333
попробуй заменить градиентный пердёж на метод нютона например
там нет гиперпараметров типа длины шага

Ответы>>792340>>792346

09 Июл, 18:02 #84 #792340

>>792336
сам-то делал? И как оно?

Ответы>>792344

09 Июл, 18:18 #85 #792344

>>792340
шило на мыло ебля с выбором хорошей начальной точки

09 Июл, 18:25 #86 #792346

>>792336
Посмотрите на долбоёба и как он обращает матрицу для миллиона параметров.

Ответы>>792356

09 Июл, 18:28 #87 #792348

>>790256 (OP)
Аноны, накидайте байесовский моделей, где используются распредления отличные от Дирихле или Гауссовского, или её графовое представление имеет длинную цепочку узлов(больше >3.

Ответы>>792352>>792356

09 Июл, 18:30 #88 #792350

>>792325
А почему оно тогда оно решает проблему линейной регрессии?
B в этом случае - это линия или плоскость?

Ответы>>792356

09 Июл, 18:32 #89 #792352

>>792348
РОбъясни, зачем эта хуйня нужна в НС?

09 Июл, 18:36 #90 #792354

>>790256 (OP)
ОП, нахуя переименовал тердик в НЕЙРОСЕТОЧКИ? На них мир клином не сошёлся ведь.

Ответы>>792440

69 Кб, 960x720

09 Июл, 18:38 #91 #792356

>>792346
да диагональную бери, прокатит

>>792348
нейроночки

>>792350
смотря какие базисные фунцкии выбраны
линейность тут от параметров, а не от входных данных

Ответы>>792359

09 Июл, 18:43 #92 #792359

>>792356
В учебнике это написано, что реализация линейной регресии.
Типа мы сначала по теореме пифагора ищем самое короткое расстояние и минимизируем error function

Ответы>>792380

09 Июл, 19:07 #93 #792380

>>792359
такая
> (XT X)^(−1)XTt
формула получится если взять производую первого выражения и приравнять к нулю
производная = 0 необходимое условие для минимума
что бы доказать что это минимум ты должен немного поебстись со вторыми производными
теперь понятно?

Ответы>>792389

09 Июл, 19:55 #94 #792389

>>792380
Ты вот про это хотел сказать?
>Computing the smallest value of this means differentiating it with respect to the (column) parameter vector β and setting the derivative to 0, which means that XT (t − Xβ) = 0
Если B = 0, то и первое выражение равно нулю?

Ответы>>792402

09 Июл, 20:19 #95 #792402

>>792389
да, производная равна нулю
> XT(t − Xβ) = 0
дальше раскрываем скобки
> XTt − XTXβ = 0
> XTt = XTXβ
> β = (XTX)-1XTt
вот и всё, что бы доказать что это минимум берём вторую производную
> ХTХ
что бы доказать что вторая производная положительа во все стороны надо доказать что ХTХ положительно-определенa иногда нет
умнож с обоих сторон на вектор и транспонируй левую половину
детали оставляются тебе в качестве упражения

Ответы>>792417

09 Июл, 20:48 #96 #792417

>>792402
Я уже перестал соображать, получится строка
(t − Xβ)T(t − Xβ)?

Ответы>>792418

72 Кб, 453x604

09 Июл, 20:50 #97 #792418

>>792417
строка - массив

Ответы>>792424

09 Июл, 20:50 #98 #792420

Мне тут приходится буквально с боем отгрызать улучшения в настройке сети. Взял пример из искаженных цифр. Батчи почему-то не помогли. Уменьшил шаг в 10 раз, посмотрим что будет.

Ответы>>792443>>792445

09 Июл, 20:58 #99 #792424

>>792418
>np.dot(np.dot(np.linalg.inv(np.dot(np.transpose(inputs),inputs)),np.transpose(inputs)),targets)
Ну вот эта строка соответствует (XTX)^(-1)XTt
Еще есть строка outputs
>outputs = np.dot(inputs,beta)
Что все равно,что X*((XTX)^(-1)XTt)
И если взять таргеты(t), вычесть из этого output и возвести в квадрат, то получится сумма квадратов остатков регрессии?
Сама линейная регрессия в строке с (XTX)^(-1)XTt ?
И если данные не линейно делимые, то оно не сможет нихуя?

Ответы>>792430

09 Июл, 21:14 #100 #792430

>>792424
Как же со мной тяжело наверное, пиздец, такого дауна еще и поискать надо.

Ответы>>792439

230 Кб, 600x551

09 Июл, 21:25 #101 #792439

>>792430
не такой уж ты и долбоёб
на держи мемс)

09 Июл, 21:27 #102 #792440

>>792354
но ведь ОП - это ты, шизик

09 Июл, 21:29 #103 #792443

>>792420
попробуй другую модель

Ответы>>792449

09 Июл, 21:31 #104 #792445

>>792420
Bias или variance?

Ответы>>792459

09 Июл, 21:35 #105 #792449

>>792443
Мне еще не совсем понятно, как сделать разделение на отдельные символы - сегментацию, я генерю капчу(цифры склеены и с шумами) чтобы провериь на сколько сетка хороша, ибо обычная задача: просто распознать отдельный символ на котором же и обучал - неинтересна. Обучил я пока вроде норм для распознавания, но вот как просегментировать- хз.

Ответы>>792455>>792463

17 Кб, 590x420

09 Июл, 21:41 #106 #792455

>>792449
CNN же вроде делают сегментацию автоматически?

Ответы>>792456

09 Июл, 21:43 #107 #792456

>>792455
С помощью автоэнкодера или как?

09 Июл, 21:49 #108 #792459

>>792445
вот отсюда взял скрипт старой капчи
http://www.captcha.ru/

09 Июл, 21:56 #109 #792463

>>792449
Попробуй это
http://papers.nips.cc/paper/557-multi-digit-recognition-using-a-space-displacement-neural-network.pdf

Ответы>>792528>>792599

09 Июл, 22:20 #110 #792488

Аноны, а ведь чем больше у нейронной сети слоев, тем больше она может логически "или" поддерживать?
Например, обычный перцептрон не сможет в XOR, ибо там нет логического OR и данные просто так нельзя поделить
А если слоев больше, то сеть уже способна запомнить, как разделить эту XOR функцию, верно?

Ответы>>792491>>792816>>792820>>792823

09 Июл, 22:24 #111 #792491

>>792488
Или можно сказать, что чем больше Слоев у сети, тем большее ее разрядность?
В таком случае, если мы имеем что-то, имеющее множество исключений, то как нейронка такое обрабатывает?

sage # OP 09 Июл, 22:42 #112 #792505

призываю кк

Ответы>>792512>>792542

09 Июл, 22:58 #113 #792512

>>792505
>призываю
Кого призываешь? Ты ебанутый?
ПАЦАНЫ, У НЕГО НЕЙРОНКА СВИХНУЛАСЬ, ВСЕ В ПРОШЛОЕ

09 Июл, 23:06 #114 #792514

Сделайте мне разгадыватель двачекапчи, я запарился ее вводить неправильно.

Ответы>>792816

09 Июл, 23:28 #115 #792528

>>792463
Это как я понял алгоритм Витерби, но как его применять я не понял, а тем более для сегментирования.

09 Июл, 23:49 #116 #792542

>>792505
https://www.youtube.com/watch?v=OBYM-BY4J-g
всегда пожалуйста.

10 Июл, 02:58 #117 #792599

>>792463
Короч, сначала надо разобраться что Лекун имел ввиду вот этой SDNN сеткой. Я так понял обучаешь как обычную CNN но потом расширяешь до SDNN.

Ответы>>792610

10 Июл, 03:33 #118 #792610

>>792599
И используешь сети маркова, чтобы найти самую вероятную комбинацию букв. Без пояснений хуй пойми с чего начинать.

Ответы>>792611

10 Июл, 03:37 #119 #792611

>>792610
ууууу там еще шняга с тренировкой

The replicated net work and the HMM can be trained simultaneously by back propagating gradients through the HMM.

10 Июл, 10:59 #120 #792682

Постойте, весь алгоритм обучения нейроночки - это функция производной между выходами и таргетами?

Ответы>>792684

10 Июл, 11:05 #121 #792684

>>792682
не совсем же. производную целевой функции умножаем на производную функции активации, а потом на значение нейрончика.

10 Июл, 12:03 #122 #792707

Кто-то делал сегментацию с помощью нейроночек? Вроде же возможно сделать как-то с помощью сверточной сети по типу автоэнкодера.

Ответы>>792722>>792724>>792751

10 Июл, 12:55 #123 #792722

>>792707
вот на вроде этой
http://arxiv.org/pdf/1506.02640v4.pdf

10 Июл, 12:57 #124 #792724

>>792707
Ты уже не первый тред про сегментаци спрашиваешь. В сверточной сети оно автоматически делается.

Ответы>>792742

10 Июл, 13:16 #125 #792742

>>792724
потому что у меня не видюхи, я тренирую на проце, мне нужно знать смогу ли я на нем чет внятное сделать. приходится ограничиваться символами.

sage 10 Июл, 13:29 #126 #792751

>>792707
Завтра ищешь в интернете книжку "Neural networks for pattern recognition". Похуй если ничего не поймешь. Затем идешь на deeplearning.net и изучаешь библиотеку theano от корки до корки. Потом зубришь, именно, сука, вызубриваешь алгоритм обратного распостранения ошибки - чтоб от зубов отскакивало. Когда напишешь свою первую нейроночку, по пути поучавствовав в kaggle компетишенах, покупаешь и изучаешь нормальную видеокарту, рекомендую NVIDIA GTX1080. Как переделаешь нейроночку, чтобы выдавала по крайней мере 5 тысяч предсказаний в секунду, можешь идти дальше - тебя ждет увлекательный мир диплёрнинга. CNN, RNN, сверхглубокие машины больцмана, tensorflow. Отсос веб макак / просто неудачников типа нечётко-питуха или сёрло-хуесосов, которые сосут хуй по жизни не заставит себя ждать и уже через пол года ты будешь получать такие суммы, что любая баба будет течь при одном упоминании твоей зарплаты.

10 Июл, 13:34 #127 #792756

Антоши, можете пояснить за обозначения в этой сети?
Это Forward фаза обучения мульти-перцептрона.
N здесь - это output nodes, L - input nodes,
Знаю, что вторая формула - это градиент, минимизация функции ошибки.

Ответы>>792758

18 Кб, 495x238

10 Июл, 13:36 #128 #792758

>>792756
Пик забыл.

Ответы>>792763>>792805

10 Июл, 13:42 #129 #792763

>>792758
Я понимаю, что у нас L входных нейроной, а что такое Xi и Viζ не знаю.
И про вот это свойство i=0 тоже не знаю.

Ответы>>792765

sage 10 Июл, 13:45 #130 #792765

>>792763
сажи Петросяну

Ответы>>792767

10 Июл, 13:48 #131 #792767

>>792765
Да отвали, я реально хочу узнать.
И агриться в дальнейшем не буду.

10 Июл, 14:03 #132 #792774

Сап, подскажите, будет ли ML нужен в ближайшие 10 лет, или это просто хайп, станущий ненужным через 2 года? Стоит ли вкатываться, останется ли работа через 2-3 года еще?

Ответы>>792778

75 Кб, 450x548

10 Июл, 14:06 #133 #792778

>>792774
Нужен. В рашке не найдёшь.

Ответы>>792811

10 Июл, 14:28 #134 #792805

>>792758
А, все, кажется понял, у нас есть слой j представлен в виде греческой буквы
Количество нейронов в слое N
А i=0 - это начальное значение.
v - это веса
А x - это значение самого нейрона?
Вторая формула - это пороговая функция.
Все правильно? Только почему у нейрона 0, если у нас есть смещенный с показателем -1?

Ответы>>792809>>792812

10 Июл, 14:35 #135 #792809

>>792805
Все, теперь осталось понять, как алгоритм сам использует это chain-rule для того, чтобы минимизировать функцию ошибок еще и дополнительных скрытых слоев и я специалист.
Кстати, про градиентный спуск нихуя не понял кроме того, что это как шар, катящийся по поверхности вниз и он может застрять где-нибудь и минимизация функции ошибок и есть этот самый градиентный спуск

Ответы>>792810>>792812

10 Июл, 14:36 #136 #792810

>>792809
>специалист
Точнее смогу разобраться в коде, лол, таких тупых специалистов не существует.
Решил, что надо понять сначала принцип и потом только лезть в код.

10 Июл, 14:36 #137 #792811

>>792778
Пиздишь как дышишь. Из свежих примеров Призма и Маскарад. В гос. заказе и технологии двойного названчения: системы управления дорожным трафиком, автопилоты для комбайнов, автобусов, трамваем, машин, танков.

Ответы>>792835>>792861>>792888

10 Июл, 14:37 #138 #792812

>>792805
>>792809
Надо запилить нейроночку на скрытие тупых вопросов.

Ответы>>792813>>792814>>792819>>792828

10 Июл, 14:38 #139 #792813

>>792812
Простого спам фильтра будет достаточно.

Ответы>>792828

10 Июл, 14:38 #140 #792814

>>792812
Ансамбли сделают по качеству и по скорости.

Ответы>>792828

10 Июл, 14:40 #141 #792816

>>792488
>обычный перцептрон не сможет в XOR
Вроде может, если начать искажать
>>792514
У меня нет идей, как загуглить этот шрифт

127 Кб, 420x313

10 Июл, 14:42 #142 #792819

>>792812
давай чо
данныx для тренировки за 5 тредов накопилось предостаточно

Ответы>>792822>>792826

10 Июл, 14:42 #143 #792820

>>792488
Достаточно двух слоёв с нелинейностью и n-ым число входов. Либо один слой, но подавать на вход нелинейные комбинации признаков.

Ответы>>792826

10 Июл, 14:44 #144 #792822

>>792819
Двачую. Устроим соревнование: сначала кто лучше фильтрует тупые вопросы, а потом кто лучше раскапчёвывает.

Ответы>>792828

10 Июл, 14:44 #145 #792823

>>792488
>обычный перцептрон не сможет в XOR
Что значит "обычный" перцептрон? Есть еще необычные? В XOR не может однослойный перцептрон, который есть простая линейная модель.

10 Июл, 14:47 #146 #792826

>>792819
>>792820
только надо как то собрать и подготовить все эти вопросы
наймём школьников из рнр тредика?

Ответы>>792829>>792958

10 Июл, 14:49 #147 #792828

>>792812
>>792813
>>792814
>>792822
Пока вы будете учиться меня игнорировать, я уже напишу свою многослойную сеть и смогу в обратное распространение ошибки.
И матан выучу.
Тогда вопросы уже не будут тупыми и фильтр не сработает.

Ответы>>792830

10 Июл, 14:49 #148 #792829

>>792826
Почему php? Не разу не был в том треде. Собиру посты по апишке и подниму админку для разметки.

Ответы>>792958

10 Июл, 14:50 #149 #792830

>>792828
Дурачок, с собранным датасетом минутное дело.

Ответы>>792831

10 Июл, 14:51 #150 #792831

>>792830
Зная двачи - для вас это на десятилетие затянется.

10 Июл, 14:56 #151 #792835

>>792811
Там Ваенга же не просто так прилеплена.

10 Июл, 15:37 #152 #792861

>>792811
> В гос. заказе и технологии двойного названчения
Бюджеты пилят сыночки генералов, реальные разработки опаздывают от рынка на лет пять, так? Или нет?

Ответы>>792871

10 Июл, 15:51 #153 #792871

>>792861
Хуй знает. Знаю оптиков, работающих по военке, вот их оче часто заставляют подписывать документы о неразглашении. Тут похожая хуйня будет, скорее всего.
Знаю, что некоторые компании порой заказывают у русских лаб некоторые разработки.

Ответы>>792873>>792875>>792883>>792888

10 Июл, 16:02 #154 #792873

>>792871
Ну хоть что-то.

10 Июл, 16:07 #155 #792875

>>792871
Там и правда пиздецово. Такие перлы пишут. Но вопрос был о возможностях, поэтому возможности будут.

Ответы>>792883

10 Июл, 16:13 #156 #792883

>>792875
>>792871
Как будто 15-ти рублевые дочери офицеров в тред загнаны

10 Июл, 16:27 #157 #792888

>>792871
>>792811
Реальных ML-продуктов в рашке нет. Даже уровня каких-нибудь самоделок от энтузиастов типа пакетов\библиотек с реализациями нейроночек, не говоря о продакшен решениях. То, что какие-то там васяны в НИИ проектируют хуи, общей ситуации не меняет.

Ответы>>792892>>792895>>792943>>792954

10 Июл, 16:29 #158 #792892

>>792888
А как же яндех? Знаю, что есть компании, занимающиеся cv.

Ответы>>792898

10 Июл, 16:34 #159 #792895

>>792888
Тебе Яндекс.ДатаФактори и Антиплагиат хуй за щеку обучили.

Ответы>>792898

10 Июл, 16:36 #160 #792898

>>792892
Вот кстати яндех. Казалось бы, крупная контора. А есть у них ML продукты,сравнимые с гугловскими? Рашка хуже африки, даже селедки из Туниса(!) могут в реализацию своих усовершенствованных вариантов SOM https://sites.google.com/site/malikacharrad/research/multisom-package
>>792895
>ДатаФактори
Даже не гуглится.

Ответы>>792900

10 Июл, 16:40 #161 #792900

>>792898
Вот же она.
https://yandexdatafactory.com/

Да, с забугорными монстрами соперничать трудно, но дело продвигается. На хабре давно была статья, как яндех помогал ЦЕРНу обрабатывать данные.
Интересно было бы посмотреть обзор рынка ML в рашке.

чот проиграл с себя, когда писал "рынка ML в рашке"

Но предложения по работе на том же hh есть, хотя и не в тех количествах, как хотелось бы.

sage 10 Июл, 17:14 #162 #792929

О каких вы нейросетях в СНГ говорите, если старперы в вузах до сих пор им всячески сопротивляются?

Ответы>>792931>>792954

10 Июл, 17:16 #163 #792931

>>792929
А причем тут старперы? Молодежи в стране нет? Почему в нейроночки может уже даже африка, но не расеюшка?

Ответы>>792932>>792954

10 Июл, 17:20 #164 #792932

>>792931
Потому, что 90-ые добили рашкинскую науку для производства робототехники, если в СССР хоть пытались, но надорвались, в России же все пустили через хуй. Энджой йор быдло, которое готово наебать, и коррупция.

Ответы>>792954

125 Кб, 480x608

10 Июл, 17:38 #165 #792939

Бейсовский вывод на данный момент является наилучшим подходом для машинного обучения. Исключительная выразительность и простота позволят Вам быстро составлять элегантные и эффективные статистические модели.
Подход еще не столь распространён. Пока ваши конкуренты используют устаревшие технологии на базе нечоткой логики или классического подхода с точечными оценками, вы сможете в разы поднять свою эффективность, задействовав EP - последнее достижение науки в области вариационных методов. Но это еще не всё.
В жизни любого ML-проекта наступает момент, когда он превращается в продукт и сопровождению проекта привлекаются дополнительные разработчики. На этом этапе распространённость и доступность методов начинает играть решающую роль. Благодаря активной популяризации бейсотвкого вывода в среде коммерческих разработчиков, а также поддержке со стороны лидера разработки методов машинного обучения - университета Кембриджа, Вы можете быть уверены, что в будущем Вам не придется переписывать свой проект как это было с печально известной разработкой Нечётко-питуха.
Бейс обеспечит вам гарантии успеха и стабильности Ваших начинаний. Выберите Бейсовский вывод сейчас и через несколько лет Вы сможете наслаждаться результатами своих трудов - успешным проектом, выполненным с учётом всех современных технологий и индустриальных стандартов. Бейс - Ваш проводник к успеху в мире машинного обучения. Выбирайте Бейсовский вывод.

Ответы>>792940

10 Июл, 17:41 #166 #792940

>>792939
Двачую этого! Хоть кто-то понимает что значит байесовский вывод в методах машинного обучения. А ведь этот подхот столько ништяков даёт. Чего стоит хотя бы введение кастомных гиперприор на холодном старте.

10 Июл, 17:50 #167 #792943

>>792888
Миф и пропаганда. Есть и дохуя.

sage 10 Июл, 18:15 #168 #792954

>>792888
>>792929
>>792931
>>792932
Свинокакел порвался.

10 Июл, 18:22 #169 #792958

>>792826
>>792829
Поднял размечалку на VPS'ке. Сделайте нормальную морду и придумайте название(сейчас рабочее filter2ch). На бэке стоит Jinja. Доверстаю и вброшу API'шку.

http://188.166.162.151:5000
Не положите только, ок?

Ответы>>792959

10 Июл, 18:26 #170 #792959

>>792958
Тред не читал, что именно по ссылке? Фильтр постов? Как и что фильтрует?

Ответы>>792960

10 Июл, 18:28 #171 #792960

>>792959
Выше шла речь о том, чтобы разметить посты. Сверстать главную и можно размечать. Дальше учим сетки, ебёмся с Байесами, etc.

Ответы>>792962>>793057

182 Кб, 745x289

10 Июл, 18:36 #172 #792962

>>792960
Есть же API которое возвращает посты в json, не понимаю смысла в твоей размечалке.

Ответы>>792967

10 Июл, 18:41 #173 #792967

>>792962
Будет и API которое возвращает посты в json c платиновыми вопросами.

Ответы>>792974

10 Июл, 18:49 #174 #792974

>>792967
Я говорил про апи двача, которое уже имеется.

Разметить = to label? То есть цель размечалки в том, чтобы коллективно расставить метки где говно, а где нет?

Ответы>>792996

10 Июл, 19:01 #175 #792996

>>792974
Всё верно. Положил nginx ибо идея не зашла.

10 Июл, 19:46 #176 #793040

>>790449
http://camdavidsonpilon.github.io/Probabilistic-Programming-and-Bayesian-Methods-for-Hackers/

Ответы>>793057

10 Июл, 20:07 #177 #793057

>>792960
какая нибудь хуйня типа https://en.wikipedia.org/wiki/Naive_Bayes_spam_filtering по идее могла бы сработать

>>793040
> MCMC
не особо одобрямс %)

Ответы>>793066

10 Июл, 20:16 #178 #793066

>>793057
Был бы датасет был бы предметный разговор.

Ответы>>793096

10 Июл, 20:53 #179 #793096

>>793066
бегло пробежался с начала, завтра посмотрю пару предыдущих тредов
потом подчистить все тексты и можно уже что то думать

платина:
Сап, нейрооБоги. Я ньюфаг, посмотрел лишь пару десятков разных роликов на трубе на тему нейронных сетей. Понимаю, как они устроены примерно, но не понимаю, как это всё делается именно в коде. Посоветуйте простой хэллоуворлд, дабы разобраться в основах всего этого. ЯП не принципиален.

Господа, есть ли что ловить мне, при условии, что в разные дифуры/матан не умею?

Дайте гайд как развернуть какую-нибудь нейросеть.

На каком языке лучше всего программировать нейросети?
Хаскель? Лисп? Go? Erlang? Ассемблер?

Аноны, а ведь чем больше у нейронной сети слоев, тем больше она может логически "или" поддерживать?

Сап, подскажите, будет ли ML нужен в ближайшие 10 лет, или это просто хайп, станущий ненужным через 2 года? Стоит ли вкатываться, останется ли работа через 2-3 года еще?

Аноны, поясните мне за Линейную Регрессию.

хуятина:
Кто-нибудь знает что есть такое dense prediction?
Периодически попадается это словосочетание во всяких статейках по распознаванию образов на нейронках, но какого-то конкретного примера или определения или описания того, что именно это отличает от чего-то другого не находил.
Еще иногда встречается фраза dense outputs.

Пасаны, объясниет за всю хуйню с моментом и шагом. Шаг если взять маленький, то вроде как застрянет на локальных минимумах, если взять большой, то в конце обучения лучше достроить с маленьким? Некоторые берут для каждой эпохи уменьшают шаг в 0.99.

Вот вы говорите, что подготовка данных занимает 95% времени, и что это скучно и неинтересно. Можете привести какой-нибудь конкретный пример датамайнинга из вашей практики, рассказать как это делается и есть ли специальные инструменты, которые упрощают процесс? А может даже есть вакансии на рынке для тех, кто не смог в матан и готовит данные для датасаентистов?

Мне еще не совсем понятно, как сделать разделение на отдельные символы - сегментацию, я генерю капчу(цифры склеены и с шумами) чтобы провериь на сколько сетка хороша, ибо обычная задача: просто распознать отдельный символ на котором же и обучал - неинтересна. Обучил я пока вроде норм для распознавания, но вот как просегментировать- хз.

10 Июл, 20:53 #179 #793096

>>793066
бегло пробежался с начала, завтра посмотрю пару предыдущих тредов
потом подчистить все тексты и можно уже что то думать

платина:
Сап, нейрооБоги. Я ньюфаг, посмотрел лишь пару десятков разных роликов на трубе на тему нейронных сетей. Понимаю, как они устроены примерно, но не понимаю, как это всё делается именно в коде. Посоветуйте простой хэллоуворлд, дабы разобраться в основах всего этого. ЯП не принципиален.

Господа, есть ли что ловить мне, при условии, что в разные дифуры/матан не умею?

Дайте гайд как развернуть какую-нибудь нейросеть.

На каком языке лучше всего программировать нейросети?
Хаскель? Лисп? Go? Erlang? Ассемблер?

Аноны, а ведь чем больше у нейронной сети слоев, тем больше она может логически "или" поддерживать?

Сап, подскажите, будет ли ML нужен в ближайшие 10 лет, или это просто хайп, станущий ненужным через 2 года? Стоит ли вкатываться, останется ли работа через 2-3 года еще?

Аноны, поясните мне за Линейную Регрессию.

хуятина:
Кто-нибудь знает что есть такое dense prediction?
Периодически попадается это словосочетание во всяких статейках по распознаванию образов на нейронках, но какого-то конкретного примера или определения или описания того, что именно это отличает от чего-то другого не находил.
Еще иногда встречается фраза dense outputs.

Пасаны, объясниет за всю хуйню с моментом и шагом. Шаг если взять маленький, то вроде как застрянет на локальных минимумах, если взять большой, то в конце обучения лучше достроить с маленьким? Некоторые берут для каждой эпохи уменьшают шаг в 0.99.

Вот вы говорите, что подготовка данных занимает 95% времени, и что это скучно и неинтересно. Можете привести какой-нибудь конкретный пример датамайнинга из вашей практики, рассказать как это делается и есть ли специальные инструменты, которые упрощают процесс? А может даже есть вакансии на рынке для тех, кто не смог в матан и готовит данные для датасаентистов?

Мне еще не совсем понятно, как сделать разделение на отдельные символы - сегментацию, я генерю капчу(цифры склеены и с шумами) чтобы провериь на сколько сетка хороша, ибо обычная задача: просто распознать отдельный символ на котором же и обучал - неинтересна. Обучил я пока вроде норм для распознавания, но вот как просегментировать- хз.

Показать весь текст
Ответы>>793130>>793142

10 Июл, 21:25 #180 #793130

>>793096
Ок. Итак, имеем метки: платина, хуятина, курятина и всё остальное. Ещё бы добавил дополнительные лейблы: школьник-нейроман, нечёткий логик, байесовский пидор, классик-миссионер.

Ответы>>793152

10 Июл, 21:42 #181 #793142

>>793096
"Хуятина" - это нерешенные вопросы?

Ответы>>793152

10 Июл, 21:48 #182 #793152

>>793130
>>793142
я думаю сгрести 2 множества: в одном платина, в другом не платина
для начала бы эти 2 категории научится распознавать лёл

10 Июл, 21:56 #183 #793158

Блядь, как высчитать ошибку на слое пуллмакс?

Ответы>>793166>>793178>>793182

10 Июл, 22:03 #184 #793166

>>793158
1 if max else 0

10 Июл, 22:11 #185 #793178

>>793158
http://cs231n.github.io/convolutional-networks/#pool
http://cs231n.github.io/optimization-2/#grad

Ответы>>793186

10 Июл, 22:17 #186 #793182

>>793158
Делаешь вариационную аппроксимизацию, записываешь конволюцию с сигмоидом, потом уменьшаешь размерность интеграла (здесь поможет дельта функция дирака) как конволюция гауссовых распределений, и с обратной пробит-функцией маргинализируешься над постериором. Любой второкурсник справится. А если делать на МСМС — так задачка вообще на пять минут.

Ответы>>793460

10 Июл, 22:20 #187 #793186

>>793178
как это перевести?

Backpropagation. Recall from the backpropagation chapter that the backward pass for a max(x, y) operation has a simple interpretation as only routing the gradient to the input that had the highest value in the forward pass. Hence, during the forward pass of a pooling layer it is common to keep track of the index of the max activation (sometimes also called the switches) so that gradient routing is efficient during backpropagation.

Ответы>>793190

10 Июл, 22:24 #188 #793190

>>793186
При проходе туда сохраняем индекс максимального элемента.
При проходе обратно ошибка идет только в инпут с сохраненным индексом.

Ответы>>793195>>793198

10 Июл, 22:28 #189 #793194

Пока вы, блять, будите лезть в этого говно, оно никогда не сдохнет. Я понимаю еще, человек написал: "Посоны, я угорел по бейсу, потому решил выучить вореции, чтобы написанные мною нейроночки летали! Посоветуйте годноту". А то пришел, ему видите ли "Нужен гайд как развернуть какую-нибудь нейросеть с бекропом", так пойди попробуй мелочи стрельнуть у бритых пацанчиков в шапках-годонках, они тебе объяснять по понятиям. Может выясниться, что тебе ни нейроночки ни бекпроп не нужны. Неужели, блять, так сложно прикинуть, за каким хуем ты вообше лезешь в отрасль. "рассчитано на грамотных людей" - уёбывай нахуй. Сколько вас таких тут было: "Хочу сдать датасаентистом! Какой книгу выбрать для начала?", "Хочу выучить модель %модель-name%. Посоветуйте литературы". Кто-то подрывается и отвечает вам, может даже по хардкору палит годноту. А вы, все те самые, которые поматросят и бросят. Дальше хелло-ворда дело не идет, не говоря уж о работе с нейроночками. Неужели вы и вправду думаете, что МЛ/бейс/датасаенс стильно-модно-молодежно и, того глядишь, на практике пригодится? Напряги свое серое вещество и подумай, нахуя тебе это. Просто оно тебе не надо, иначе бы ты не создавал здесь очередной хуёвый пост, а загуглил бы давно нашел статьи на реддите/рсдн/100_других_ресурсов. Люди составили тысячи подборок с описаниями, рецензиями - выбирай и читай. Но нет, блять, вместо этого очередной хуй припиздовывет в кодач и устраивает симуляцию деятельности. Нахуя, скажи блять, подбирать тебе книгу, если ты ее даже не прочтешь? Ф пизду вас, мудаков!

10 Июл, 22:28 #190 #793195

>>793190
Спасибо. Так и думал, что переводится, но не хотел верить своим глазам. Придется делать сохранение этого ебучего индекса.

10 Июл, 22:35 #191 #793198

>>793190
а в остальные получается ноль писать, ведь от них зависят ошибки следующего слоя?

10 Июл, 22:43 #192 #793207

А мне наплевать на пидарасов и их парады. Они мне совершенно не мешают. А вот сёрло-питишков я ненавижу за то, что они, как православные и прочие угоревшие по религии, тормозят прогресс, сковывают производящие силы общества и делают мою жизнь хуже, снижают её качество. При этом сёрло-питушки - самая мерзенькая категория религиозных фанатиков и врагов прогресса. В той же категории находятся амиши, например. Но я сравниваю сёрло-питушков с пидарасами потому, что предполагаю, что такое сравнение для них обиднее, чем сравнение с амишами. Сам же я считаю, что сёрло-питушок - существенно хуже пидараса, более того - сравнение с сёрло-питушком скорее оскорбление для пидора, чем наоборот.

11 Июл, 09:53 #193 #793420

Аноны, как так получилось, что строка
>deltah = self.hidden(1.0-self.hidden)(np.dot(deltao,np.transpose(self.weights2)))
Настройка второго и так далее скрытых слоев, это просто (цели - выходы)*выходы
Это потому что функция ошибки в данном случае общая для всех слоев и на отдельном слою больше быть не может?

Ответы>>793421>>793422>>793431

11 Июл, 09:57 #194 #793421

>>793420
И получается, что мы дифференцируем функцию ошибок на всех слоях.

Ответы>>793431

11 Июл, 10:06 #195 #793422

>>793420
И вот это вот интересная вещь
>np.transpose(self.weights2)
Зачем нам переворачивать матрицу весов? Это 2-я линия, делящая наш датасет здесь должна проходить под углом 90 градусов?

Ответы>>793431

sage 11 Июл, 10:23 #196 #793431

>>793420
>>793421
>>793422
забей на бекпроп
дифференцируй численно

Ответы>>793440

11 Июл, 10:51 #197 #793440

НЕЙРОНОЧКА давно уже не модель. НЕЙРОНОЧКА - просто прилипчивое говно на ботинках анонимного эксперта, тонким слоем размазанное по всему /с/. Анононимный эксперт совершил ошибку, растоптав НЕЙРОНОЧКУ. Теперь мучается, пытаясь отчистить подошву от этой вонючей дряни. Засело крепко. Понимаешь, просто больше нечего добавить к тому, что уже было написано здесь. Нормальному человеку таких унижений достаточно, чтобы почувствовать всю ничтожность говна, которое он форсит. Но когда имеешь дело с нейрофанбоем — это совсем другой разговор. Он будет отравлять своей НЕЙРОНОЧКОЙ воздух еще долго после растаптывания. >>793431

Ответы>>793441>>793458

11 Июл, 10:56 #198 #793441

>>793440
Зачем ты вкидываешь это говно?
Ты аутист или тебе нравится переделывать пасты?

Ответы>>793457>>793472

11 Июл, 11:41 #199 #793457

>>793441
Или и то и другое.

11 Июл, 11:42 #200 #793458

>>793440
>паста какуна
Где сейчас ка-кун жрет говно?

Ответы>>793465

11 Июл, 11:53 #201 #793460

>>793182
>>793182
Универсальный ответ на всё.

11 Июл, 12:26 #202 #793465

>>793458
хорошо бы его сюда, в етот итт трендель

11 Июл, 12:40 #203 #793472

>>793441
шикарные пасты же
мгновенная классика треда

Ответы>>793476

11 Июл, 12:45 #204 #793476

>>793472
Наспех скопированное и спизженное говно, которое уже все видели раз 100.

11 Июл, 12:51 #205 #793477

Аноны, можно ли обойтись здесь без неконтролируемого обучения?
Хочу настроить моба на нейронке, как понимаете, у него будет множество модулей.
Например одна из целей - нанести удар с такой-то силой, одной цели - сила удара мне хватит?
А все остальное, вроде локальных показателей различных модулей я помещу в массив.

Ответы>>793481

11 Июл, 12:59 #206 #793481

>>793477
Или если все будет не так, а например, положение моба, скорость его модулей, инерция Если она конечно поддерживается движком и нейроночка для каждого из этих показателей должна увидеть закономерности и в зависимости от одних параметров настраивать другие так эффективно, как она только сможет.
А в таргеты засунуть что-нибудь увеличивающееся и когда нейронка через n итераций уже не сможет сделать все эффективнее, то заканчивать обучение.

Как подобрать нужное число слоев в таком случае и как привести информацию в нормальный для нейроночки вид?

Ответы>>793483

11 Июл, 13:05 #207 #793483

>>793481
> как подобрать нужное число слоев
гугли bayesian model selection
> как привести информацию в нормальный для нейроночки вид
нанять школьников с одеска

Ответы>>793485

11 Июл, 13:08 #208 #793485

>>793483
> нанять школьников с одеска
Вряд ли сетка у школьников чему-нибудь научится(разметка будет хуёвая).

11 Июл, 13:28 #209 #793491

Аноны, в прошлом или этом тренде кто-то говорил про фриланс.
Можно те самые 300-350 долларов поднимать, какая нагрузка для этого нужна? За что лучше браться новичку?

11 Июл, 13:39 #210 #793499

Такс, нашел ошибочку в обучении сети - удалось еще немножко подучить моюсеточку-малолеточку. Посмотрим где она застопориться с обучением. Во второй модели, где макспулл обучение застопорилось на 0.5, видимо где-то неправильно чет я сделал, т.к. в питоне сетка вроде норм обучалась до 0.2 .

sage 11 Июл, 13:44 #211 #793501

аноны, а может ли сеть быть шизиком?
какие вообще заболевания встречаются у нейронных сетей и как их избегать?

Ответы>>793666

11 Июл, 17:13 #212 #793634

Такс, есть такая сеточка для кластеризации
http://arxiv.org/pdf/1506.02640v4.pdf

Почему ее еще не реализовали га питоне на сайте диплернинг?

Ответы>>793734

11 Июл, 17:56 #213 #793666

>>793501
> какие вообще заболевания встречаются у нейронных сетей
Пониженная слоистость

11 Июл, 20:24 #214 #793734

>>793634
Если я уменьшу к-во слоев для обучения поиска позиций символов мне хватит?

12 Июл, 02:08 #215 #793973

>>790256 (OP)
Годноту палю.
http://ocw.mit.edu/courses/electrical-engineering-and-computer-science/6-438-algorithms-for-inference-fall-2014/index.htm

Хули Юля делает в ЯП? Она же ещё сырая.

Ответы>>794261

12 Июл, 14:37 #216 #794261

>>793973
Чем это лучше сотни других таких же курсов? Например, вот этого от Koller:
https://www.coursera.org/learn/probabilistic-graphical-models
Книжку которой они упоминают в своем syllabus.

Ответы>>794392

12 Июл, 16:11 #217 #794349

Не понимаю, зачем нам нужна softmax функция?
Одна функция активации нужна для логических функций, линейная, насколько я понял, для проблемы регрессии.
А softmax нахуя? Что значит это
>the 1-of-N output encoding is used

Ответы>>794368>>794370>>794387

12 Июл, 16:31 #218 #794368

>>794349
когда классов больше 2 - ебашишь софтмакс
мотивация та же что и для сигмоида
>>the 1-of-N output encoding is used
способ кодировать классы векторами
напр если 2 класса, то
(1, 0) - первый класс
(0, 1) - второй

Ответы>>794390

12 Июл, 16:31 #219 #794370

>>794349
> Что значит это
> the 1-of-N output encoding is used
Число n просто представляется в виде вектора [0, ..., 1, ..., 0] с размерностью N и единицей на n-ом месте.
https://en.wikipedia.org/wiki/One-hot

Ответы>>794390

12 Июл, 16:46 #220 #794387

>>794349
>Что значит это
>the 1-of-N output encoding is used
Пиздец вопросы у тебя. Это классика блядь, это знать нада! кодирование "1 из N". Нужно для задания классов, например если тебе нужно закодировать для нейроночки разные объекты, скажем, волк коза и капуста. Если ты эти объекты задашь просто цифрами 1, 2 и 3, то для нейроночки коза будет чем-то средним между волком и капустой, а это абсурд. В случае кодирования 1 из N волк, коза и капуста представляются в виде 3хмерных векторов 001, 010 и 100.

Ответы>>794390>>794391

12 Июл, 16:50 #221 #794390

>>794368
>>794370
>>794387
Спасибо.

12 Июл, 16:50 #222 #794391

>>794387
В его книге написано, что это будет объясняться чуть позже.

12 Июл, 16:51 #223 #794392

>>794261
Тем что в шапке про граф-модели в Бишопе и то, херово.

Ответы>>794396>>794829

12 Июл, 16:55 #224 #794396

>>794392
Русский, ты говоришь на нем?

12 Июл, 17:57 #225 #794427

http://people.eecs.berkeley.edu/~jonlong/long_shelhamer_fcn.pdf

12 Июл, 18:06 #226 #794435

Здравствуй, анон. Ответь на пару вопросов. Как ReLU функция добавляет нелинейность? Можешь пояснить за дропаут?

Ответы>>794443>>794448>>794459

12 Июл, 18:19 #227 #794443

>>794435
Дропаут — это один из разновидностей концовки пера вилки, куда устанавливается ось колеса. Благодаря дропауты вы легко можете снять колесо, не ослабляя цепь.

Все дропауты можно разделить на горизонтальные, вертикальные.

Горизонтальные дропауты — используют на велосипедах без заднего переключателя скоростей. Благодаря этому дропауту, можно легко менять положение колеса и натяжку цепи. Особенностью является то, что нужно сильно зажимать болты или эксцентрик, что бы колесо не скривилось, после натяжения цепи.
Вертикальные дропауты используют для велосипедов, у которых есть задний переключатель скоростей. Дропаут не позволяет менять положение колеса и натяжку цепи, поэтому для натяжения нужно использовать переключатель с натяжителем, или внешний натяжитель.
Так же на некоторые велосипеды с одной скоростью или велосипеды использующие внутреннюю трансмиссию ставят вертикальный дропаут вместе с эксцентриковой кареткой, что бы регулировать натяжение цепи.
На современных велосипедах, которые оснащены системой переключения передач задний переключатель крепиться к держателю на заднем правом дропауте или на специальный накладной кронштейн — так называемы петух.

В зависимости от рамы, расстояние между дропаутами может меняться.

Так же дропауты разделяют на штампованные и кованные.

12 Июл, 18:26 #228 #794448

>>794435
> Как ReLU функция добавляет нелинейность?
ReLU это if + линейность, if создает ветвление.

12 Июл, 18:40 #229 #794459

>>794435
Возьми производную Взял? Есть скачёк в нуле. Так-то сейчас leaky ReLU пиже.

Ответы>>794464>>794476>>794651

12 Июл, 18:42 #230 #794464

>>794459
Нет, не взял. Не знаю, как брать от таких функций.

Ответы>>794488

12 Июл, 18:44 #231 #794468

Вы все еще помните меня с моим шагоходом?
Я наконец допетрил, как сделать так, чтобы он не дрожал и все, что пытались применить до этого - дерьмо.
Ведь по сути у нас есть манипулятор, который хоть и работает аккуратно Хотя кому я пизжу, китайское говно, никто не может себе позволить, спасибо, что он хотя-бы сенсорный
Но создает вибрацию, так вот, оказалось, что если взять материал, который намного больше вибрирует и просто минимизировать его вибрацию.
Блджад, можно это запатентовать и продать пиндосам?

Ответы>>794474>>794489

12 Июл, 18:50 #232 #794474

>>794468
И программа с обратным маятником хоть и была правильной, но легко аккумулировала вибрации, которые и наебывали робота.
Да, нейронка может сделать так, что робот на обратном маятнике будет ходить нормально, но по сути она просто в определенный момент не даст вибрации наебать систему и будет дерганным и медленным, как сука.
Также это заставляет подумать о том, что момент инерции вообще-то надо нивелировать и в качестве передаточного механизма использовать гидравлику.

Ответы>>794489

12 Июл, 18:51 #233 #794476

>>794459
А куда ее вставлять в сверточных?

Ответы>>794487

12 Июл, 19:00 #234 #794480

Есть ли word vector'ы, которые можно апдейтить по мере появления новых слов без необходимости тренировать все с нуля?

12 Июл, 19:11 #235 #794487

>>794476
Ебу дал? В нелинейный слой вместо ReLu или что там у тебя.

Ответы>>794491

12 Июл, 19:14 #236 #794488

>>794464
Ебаные школьники-нейроманты. Короче, для даунов есть вольфрам.
http://www.wolframalpha.com/input/?i=max(0,+x)'

Ответы>>794490

12 Июл, 19:15 #237 #794489

>>794474
>>794468
Кстати, что привлекает школьников, которые даже матана нихуя не знает в нейронки?
Они на что надеются, что они писать будут с ними, блядь?

Ответы>>794494

12 Июл, 19:16 #238 #794490

>>794488
Но это ответ, где объяснение?

Ответы>>794494>>794513

12 Июл, 19:16 #239 #794491

>>794487
ППЦ, столько ебали мозги с экспонентами, чтобы потом показать что они нахер не нужны?

12 Июл, 19:18 #240 #794494

>>794489
Думаю лютый хайп вокруг сеток и их мобильных приложений. Это как с батлерепом, теперь каждый второй школьник батлит хоть школьную литературу и не знает.

>>794490
Сууука! Там есть кнопка step-by-step.

Ответы>>794496>>794497

12 Июл, 19:20 #241 #794496

>>794494
То-есть временный хайп заставляет их идти изучать целую отрасль в науке? Охуеть.
Кстати, что с процессорами под нейронки, когда уже будут нормальные, а не жрать дерьмо на дедике за 15к?

Ответы>>794509>>794513

42 Кб, 644x436

12 Июл, 19:20 #242 #794497

>>794494
> Сууука!
Что-то ты какой-то нервный, держи себя в руках.

> Там есть кнопка step-by-step.
Ага, за денюжку.

Ответы>>794498>>794504

12 Июл, 19:21 #243 #794498

>>794497
Ну плати, раз ты такой тупой и решать не умеешь или не еби нам мозги.

Ответы>>794501>>794519

12 Июл, 19:22 #244 #794501

>>794498
Не хочу платить. Хочу ебать.

12 Июл, 19:23 #245 #794504

>>794497
Раньше бесплатно было. Телепортировал объяснение тебе за щеку.

Короче, слева от нуля функция равно константе(нулю), а её производная ноль. Справла там где максимум обращается в x производная равна единицы. Всё. Нелинейность это всё что НЕ линейность, а линейность имеет производную всюду равную однёрки. Проще, ReLu составляется из двух линий, а не из одной.

Ответы>>794510

12 Июл, 19:26 #246 #794509

>>794496
Кстати, здесь есть ананимасы, которые вынуждены производить огромные вычисления, а не ебаные школьники, на чем вы гоняете свои нейронки?
Я с шагоходом заебался, кстати, спасибо шапочке за ссылку где объясняется за квадратичные приближения с огромным объемом данных, полезно.

12 Июл, 19:26 #247 #794510

>>794504
Ты самое интересное же пропустил. Почему нет производной в нуле? Почему в нуле нельзя определить как 0, например?

Ответы>>794516

12 Июл, 19:27 #248 #794512

почему школьникам так нравятся нейроночки
1. клёвое название - роботы, захват мира, искусственный интеллект, етц
2. обучать их веселее чем другие модельки, итеративный градиентный спуск создаёт иллюзию что комп и вправду "учится"
3. легко усложнять модель до бесконечности - прост слоёв добавь))

Ответы>>794525

12 Июл, 19:27 #249 #794513

>>794496
Думаю, так. Видишь ли они даже акценты не правильно расставляют: начинают ковыряться в нейронах, выбирать нелинейность, реализовывать персептрон, не смотря на то, что глубокое обучение завязано именно на глубины.

Вообще можно до этого >>794490 школьника доебаться.

Ответы>>794519

12 Июл, 19:29 #250 #794516

>>794510
Можно, но на это поебать. Есть производные справа и слева, есть усреднённая производная, есть ещё всякое говно в p-адическом анализе и суперматематике. Одним словом это не важно.

12 Июл, 19:30 #251 #794519

>>794513
>>794498
Да я же уже доебался, лол, пиздец они наглые пошли, относятся к анону так, будто он им что-то должен, а сами они не должни нихуя.

12 Июл, 19:32 #252 #794525

>>794512
Добавь ещё один
4. не нужно уметь в математику и статистику; достаточно быдлокодить; есть видеокарта для игор.

Ответы>>794528>>794529

12 Июл, 19:33 #253 #794528

>>794525
почему школьникам так нравятся нейроночки
1. клёвое название - роботы, захват мира, искусственный интеллект, етц
2. обучать их веселее чем другие модельки, итеративный градиентный спуск создаёт иллюзию что комп и вправду "учится"
3. легко усложнять модель до бесконечности - прост слоёв добавь))
4. не нужно уметь в математику и статистику; достаточно быдлокодить; есть видеокарта для игор.

Ответы>>794540

12 Июл, 19:33 #254 #794529

>>794525
Ну, по правде математика в самих нейронках и правда не очень нужна, обучить можно и обезьяну, в каких ситуациях что делать.
Математика ведь будет нужна во всем остальном, там данные надо отсортировать, там подготовить обучающий сет, там оптимизировать вычисления, там можно использовать эффективнее не нейронки.

Ответы>>794532>>794533

12 Июл, 19:35 #255 #794532

>>794529
В книжечке которая, кажется, зовется она Machine Learning an Algorithn матана вообще особо нету, а в том что есть используются условные обозначения и все можно понять просто из кода.

12 Июл, 19:36 #256 #794533

>>794529
Да, если говорить про инженерную составляющу. А ведь есть ещё такой важный пункт, как проектирование эксперимента так, чтобы можно было интерперетировать результаты и не охуевать. Во-вторых, есть ведь чисто математическая теория, которая сопрягается с граф-моделями, приорами, представлениями, EM, вариационным выводом и прочими интересными ништяками.

Ответы>>794539

12 Июл, 19:41 #257 #794539

>>794533
Ну, в том, где сейчас используются нейронки оно особо и не нужно, заказчики сами о них хуй что знают и их смело наебывают все, кому не лень.
Достаточно посмотреть заказов на фрилансе и убедиться в том, какая хуйня там.
А в научных вычислениях или даже нашем шагоходе такая пиздецовая вакханалия творится, на кафедре 3 инженера и не один из них матана нормально не знает, а программисты физику не знают, вот и пытайся работать с такими, Сколково, блять.

Ответы>>794551

12 Июл, 19:41 #258 #794540

>>794528
Странно как-то вы рассуждаете.
Почему не в плане задач, возможных идей для проектов, для реализации которых требуется машинное обучение?
Хочу сделать X, поэтому мне нужно изучить A, B, C, нет?

Ответы>>794543>>794545

12 Июл, 19:42 #259 #794543

>>794540
>Почему не в плане задач, возможных идей для проектов, для реализации которых требуется машинное обучение?
Ты сам понял, что написал?

Ответы>>794549

12 Июл, 19:43 #260 #794545

>>794540
нет, это само по себе интересно
задачи - для задачников

Ответы>>794549>>794551

12 Июл, 19:44 #261 #794549

>>794543
Разумеется. Какое слово тебе не понятно?

>>794545
Ну фиг знает, много что интересно.

Ответы>>794554

12 Июл, 19:45 #262 #794551

>>794539
С хайпом ничего не поделать. Можешь попробовать написать книжку как в своё время сделал Минский.

Если ты из акселератора, то смело доёбывайся до Фонда с тем, чтобы выйти на экспертов, которые есть в Ск.

>>794545
Двучую исследователя. Работаю над тем, чтобы структурировать говно и связать его с другими методами, подходами, идеями.

12 Июл, 19:46 #263 #794554

>>794549
>Почему не в плане задач, возможных идей для проектов, для реализации которых требуется машинное обучение?
Перепиши еще раз, использовав синонимичные слова, более четко выразив смысл предложения

Ответы>>794557

12 Июл, 19:48 #264 #794557

>>794554
> Хочу сделать X, поэтому мне нужно изучить A, B, C, нет?
Смысл этого тебе тоже не понятен?

Ответы>>794559>>794563

12 Июл, 19:49 #265 #794559

>>794557
Мне нет. Писал какой-то аутист.

другой кун

Ответы>>794563

12 Июл, 19:52 #266 #794563

>>794557
К чему ты это написал?
И поясни давай, что ты имел ввиду в прошлом предложении.
>>794559
Удваиваю

1995 Кб, 418x419

12 Июл, 19:59 #267 #794568

http://bayesgroup.ru/

Ответы>>794573

12 Июл, 20:02 #268 #794573

>>794568
Ну и нахуя ты принёс это говно. Всем известно, что в Сколково только пилят.
http://iitp.ru/ru/researchlabs/1145.htm

Ответы>>794579>>794586>>795025

12 Июл, 20:04 #269 #794579

>>794573
>Математические методы предсказательного моделирования
ХАХАХАХА, БЛЯДЬ.
Предсказательного, сука.
Кстати, я знаю этого профессора.

Ответы>>794589

12 Июл, 20:06 #270 #794586

>>794573
сколково впереди галактики всей
просто у вас, товарищь, отрицалово

Ответы>>794592

12 Июл, 20:06 #271 #794589

>>794579
Predictive же. А как правильно на русском?

Ответы>>794590>>794595

12 Июл, 20:07 #272 #794590

>>794589
Тут разумнее юзать прогноз.

Ответы>>794595

12 Июл, 20:08 #273 #794592

>>794586
Ну-ну. Без пруфов, конечно?

Товарищь он мой.

Ответы>>794663

12 Июл, 20:09 #274 #794595

>>794589
>>794590
А прогнозы делает Бабка Нинка с рынка, вот она то нашего Антона и прокляла, что он теперь в свою фошисткую омерику хочет уехать, в загнивающий запад

Ответы>>794596>>794617

12 Июл, 20:09 #275 #794596

>>794595
>прогнозы
предсказания

12 Июл, 20:15 #276 #794617

>>794595
А вангует кто? Существуют ли ванговательные модели?

12 Июл, 20:31 #277 #794651

>>794459
сасай
Randomized ReLU

The second variant is called randomized rectified linear unit (RReLU). In RReLU, the slopes of negative parts are randomized in a given range in the training, and then fixed in the testing. As mentioned in [5], in a recent Kaggle National Data Science Bowl (NDSB) competition, it is reported that RReLU could reduce overfitting due to its randomized nature. Moreover, suggested by the NDSB competition winner, the random αi in training is sampled from 1/U(3,8) and in test time it is fixed as its expectation, i.e., 2/(l+u)=2/11.

23 Кб, 355x266

12 Июл, 20:40 #278 #794663

>>794592
сколково - заебок!

12 Июл, 21:01 #279 #794682

У Лекуна есть карта соединений между 2-ым и 3-им слоем, можно ли обойтись без этих заморочек с соединениями и соединить все слои со всеми?

Ответы>>794929

13 Июл, 00:11 #280 #794829

>>794392
Лучше не найдёшь, вся инфа по этим моделям разбросана в виде отрывков по разным статьям. Читай монстра, хотя его никто не осилил.
https://people.eecs.berkeley.edu/~wainwrig/Papers/WaiJor08_FTML.pdf

Ответы>>794852

13 Июл, 00:54 #281 #794852

>>794829
Спасибо, анон.

Наткнулся на то, что в лекция очень неаккуртно недоказывает изоморфиз граф-модели и класса распределений, а потом из этого ещё и алгебра строится. Хочу формальнее.

Кстати, в определении процедуры d-разделения стоит введение топологии порядка. Как это связано с топологией на классе вероятностей? Думаю, что можно построить какую-нибудь процедуру, которая бы ввела структуру порядка на сигма-алгебре.

Ещё была мысль вычитать Дафни Келлер, кажется. Она ведь тоже вроде стояла у истоков.

Ответы>>795082

13 Июл, 07:45 #282 #794929

>>794682
И получится перцептрон.

Ответы>>795524

13 Июл, 12:18 #283 #795025

>>794573
> использование методов выпуклой оптимизации для анализа данных большой
> данных большой

13 Июл, 13:45 #284 #795082

>>794852
С этим тяжелее, ибо мы, слесари, об этом даже не задумываемся.

13 Июл, 19:11 #285 #795341

>>790256 (OP)
Хочу вкатиться, готов накатить любой ЯП.
Есть примеры, которые можно поковырять?

Ответы>>795359>>795410

13 Июл, 19:46 #286 #795359

>>795341
deep learning + PCA

Ответы>>795360

13 Июл, 19:47 #287 #795360

>>795359
Кто все эти люди?

Ответы>>795363>>795364

13 Июл, 19:51 #288 #795363

>>795360
Второй - родственник SVD.

13 Июл, 19:52 #289 #795364

>>795360
на есть kaggle.com задачки
also https://www.hackerrank.com/domains/ai/machine-learning/difficulty/all/page/1

13 Июл, 19:58 #290 #795367

Какой-то бесполезный тред. В чем его смысл?

Ответы>>795368>>795374

13 Июл, 20:00 #291 #795368

>>795367
Изучение нейронных сетей. Обучение машин всякому.

Ответы>>795369

13 Июл, 20:01 #292 #795369

>>795368
Ну и что тут уже наобучали?

Ответы>>795371

13 Июл, 20:02 #293 #795371

>>795369
Я только вкатился. Но вроде капчу наебывать можно.

13 Июл, 20:09 #294 #795374

>>795367
Ни о чём. Я книжки норм нашёш. В основном здесь школьни тусуют тред уровна php.

Ответы>>795375

13 Июл, 20:11 #295 #795375

>>795374
> Я книжки норм нашёш
какие?

Ответы>>795382

13 Июл, 20:16 #296 #795382

>>795375
https://www.reddit.com/r/MachineLearning/comments/4rde9p/textbook_advicediscussion_sought/

13 Июл, 21:05 #297 #795410

>>795341
Говно можешь поковырять.

150 Кб, 858x536

13 Июл, 21:12 #298 #795414

>>790256 (OP)
Давно мечтаю запилить что-нибудь связанное с рисованием нейронными сетями. В итоге хочу запилить хуйцегенератор. Пользователь выбирает фотографию, а моя штука как бы перерисовывает её из хуйцов. Как Google DeepDream, только вместо машин, домов и собак будут хуйцы и, например, вагины.
С чего мне начать? Какой ЯП для этого посоветуете? Какие готовые решения и фреймворки существуют?

Ответы>>795417>>795479

13 Июл, 21:15 #299 #795417

>>795414
Да ни с чего, дебил, блять, нейронки - это тебе не хуета, раз-два, а месяца 2 изучения матана, месяц изучения питона и хуй знает сколько времени убьешь на то, чтобы научить сеть обрабатывать фото.
В гугле на это убили сотни тысяч человекочасов, а ты в одиночку хочешь запилить, совсем дебил?

Ответы>>795419>>795420

13 Июл, 21:21 #300 #795419

>>795417
Я уже учил теорию, так что не проблема, тем более я не собираюсь с нуля писать это всё, в пиздон и прочие популярные ЯП я умею. Я попросил именно или фреймворков или готовых решений или просто в какую сторону копать.
Кто-то явно уже запилил как минимум одну библиотеку, упрощающую написание подобного.

Ответы>>795425

13 Июл, 21:21 #301 #795420

>>795417
Даун, плиз. 3 месяца это немного.
Вот именно что гугл уже запилил, осталось взять готовое и перепилить под свои нужды.

Ответы>>795421

13 Июл, 21:22 #302 #795421

>>795420
Два чаю адеквату.

13 Июл, 21:25 #303 #795425

>>795419
А книги в шапке чекнуть не судьба? Это топ уровень, тем более нейронки не привязаны к языку и реализовать их можно на чем-угодно, в гугле информации полно, хули ты сюда пришел?
>Даун, плиз. 3 месяца это немного.
Это если у тебя есть свободное время.

Ответы>>795427

13 Июл, 21:28 #304 #795427

>>795425
Шапка не под эту задачу, всю шапку, все статьи и книги, которые в ней есть, долго читать. Не нашёл ничего тематического в гугле. А тут ответят как лучше, исходя ещё и из личного опыта. У меня есть свободное время, однако под мою задачу нужны конкретные библиотеки, а не изучение всего подряд.

Ответы>>795430

13 Июл, 21:33 #305 #795430

>>795427
>все статьи и книги, которые в ней есть, долго читать
Просто
>У меня есть свободное время, однако под мою задачу нужны конкретные библиотеки, а не изучение всего подряд.
Можешь съебать отсюда, а то подайте ему все на блюдечке с золотой каемочкой, нахуй всю статистику, ведь он у нас ЯП знает.

Ответы>>795431>>795436

13 Июл, 21:34 #306 #795431

>>795430
Да и тем более мог почитать выше тред и поискать по прошлому, а не засорять новый, ничего лучше, чем книгу тебе никто и не даст, нейроночки - это тебе не Питон, порог вхождения высокий и из гугла не изучается за полчасика.

Ответы>>795433

13 Июл, 21:39 #307 #795433

>>795431
Нейроночки — лишь подход к решению задач. Есть разные либы для различных частных случаев задач, решаемых ими. Я всего лишь спросил какую лучше всего использовать для моей. Так что сосни хуйца, даун.

Ответы>>795437>>795438

13 Июл, 21:41 #308 #795436

>>795430
>ведь он у нас ЯП знает.
А ты ньюфаг, осиливший один недоязык и разобравший пару примеров с нейронными сетями и тебе с меня горит?

13 Июл, 21:42 #309 #795437

>>795433
Нейроночка - это тебе не лопата, а целая теоретическая база, ядерная физика тоже подход к решению задач, может тебе и по ней также подсказать?
Да и ты мог заметить, если бы прочитал тред, что никто тут этим не занимался.

Ответы>>795440

13 Июл, 21:44 #310 #795438

>>795433
Двачую адеквата. Как гооврится гарбадже-ин-гарбедж-аут.
>>795433
Сасай даун. Нужно хотя бы понимать, что выдаёт тебе эта библиотечка, и когда она применима, идиот.

Ответы>>795441>>795447

13 Июл, 21:44 #311 #795440

>>795437
Мне не нужно знать не единой формулы из ядерной физики, если кто-то запилит готовую библиотеку для работы с ней. Да ладно? Не занимался? А вот мочератор /pr/ посчитал, что занимался и послал меня в этот тред.

Ответы>>795443>>795456

13 Июл, 21:44 #312 #795441

>>795438
Шизик, это ты?

13 Июл, 21:46 #313 #795443

>>795440
В нейроночках нужно знать принципы их работы.
Numpy держи, вперед, пиши.
>Да ладно? Не занимался? А вот мочератор /pr/ посчитал, что занимался и послал меня в этот тред.
Он тебя послал в тред ML, а не говорил, что тут это разбирали и тебе помогут

Ответы>>795448

13 Июл, 21:49 #314 #795447

>>795438
Спешите видеть, петух-семён обосрался.

13 Июл, 21:51 #315 #795448

>>795443
Да и нейроночка - это подход, верно, но он не состоит из чего-то готового.
Вот дал я тебе Numpy, покопаешься ты в массивах и нихуя не поймешь.
Это как игра на скрипке, хуй ты что сумеешь без знаний того, как оно устроено и работает.
А то, что ты тут ведешь срач уже показывает тебя полностью, давно бы в гугле нашел или треды перечитал, но нет же, ждешь готового, а говна наверни, ублюдок.

13 Июл, 22:08 #316 #795456

>>795440
Нейроночки, также как и другие дисциплины, каким-то образом связанные с человеком, интеллектом (типа теория принятия решения, методы анализа нечеткой информации), недостаточно сформированы, и любая задача требует индивидуального подхода к ее решению (требуется подбор структуры сети, подбор функций, метода обучения и т.д.). И хоть у тебя есть библиотека со всеми этими структурами, функциями, методами обучения, ты нихуяшеньки не сможешь сделать толкового, не зная основ (что где вообще применяется в более общих случаях) и не изучая кучи дополнительной лит-ры с исследованиями по конкретным направлениям (какие новые методы и в каких конкретных задачах применяются).

13 Июл, 22:33 #317 #795479

>>795414
Завтра ищешь в интернете книжку "Neural networks for pattern recognition". Похуй если ничего не поймешь. Затем идешь на deeplearning.net и изучаешь библиотеку theano от корки до корки. Потом зубришь, именно, сука, вызубриваешь алгоритм обратного распостранения ошибки - чтоб от зубов отскакивало. Когда напишешь свою первую нейроночку, по пути поучавствовав в kaggle компетишенах, покупаешь и изучаешь нормальную видеокарту, рекомендую NVIDIA GTX1080. Как переделаешь нейроночку, чтобы выдавала по крайней мере 5 тысяч предсказаний в секунду, можешь идти дальше - тебя ждет увлекательный мир диплёрнинга. CNN, RNN, сверхглубокие машины больцмана, tensorflow. Отсос веб макак / просто неудачников типа нечётко-питуха или сёрло-хуесосов, которые сосут хуй по жизни не заставит себя ждать и уже через пол года ты будешь получать такие суммы, что любая баба будет течь при одном упоминании твоей зарплаты.

13 Июл, 22:41 #318 #795488

Кстати, а вот реально, поясните за tensorflow.
Это же просто либа для машинного обучения, что в ней особенного? Во что такое может она, во что не нельзя написать на питоне в несколько строк кода?

Ответы>>795490

13 Июл, 22:45 #319 #795490

>>795488
С её помощью можно быстро, практически без каких-либо знаний нейронных сетей, написать что-то типа гугл дипДрим, только со своими пикчами вместо собак.

Ответы>>795495>>795522

13 Июл, 22:48 #320 #795495

>>795490
И что гугл от нее хотел, дабы хомяки сами освоили технологию?
Кстати, кто работает в направлении нейронных сеточек? Есть тут фрилансеры, которые расскажут, что делают вообще?

13 Июл, 23:49 #321 #795522

>>795490
Как это перегнать под андройд?

Ответы>>795526

7 Кб, 321x157

13 Июл, 23:54 #322 #795524

>>794929
Да, ты не понял.

Ответы>>796435

13 Июл, 23:58 #323 #795526

>>795522
Ты долбоеб?
Ну, возьми исходный код всего проекта и оптимизируй под андроид, лол.

Ответы>>795529

14 Июл, 00:00 #324 #795529

>>795526
питона?

Ответы>>795531

14 Июл, 00:07 #325 #795531

>>795529
Почитай интервью или техобзоры на маскарад и призму.

14 Июл, 11:43 #326 #795707

Аноны, я просветлел, могу в нейронки, больше ваши фразы меня не пугают.
Я прочел 1/4 книги, стоит ли читать дальше? Там вроде будет углубление по всем темам, рекуррентные сети, сверточные, распознавание образов.
Но нахуя все это? Нет, сама нейронка в том виде, которая она нужна была мне и для моих целей у меня теперь есть.
Стоит ли идти дальше, есть ли фриланс на нейронках или знаний питона и 1 книги недостаточно будет?

Ответы>>795713>>795743

14 Июл, 11:47 #327 #795713

>>795707
Да, видимо недостаточно, везде надо знать либо nlp впридачу, либо нужно быть intermediate минимум, а заказов для entry level почти нету.

Ответы>>795728>>795743

14 Июл, 12:08 #328 #795728

>>795713
> nlp
Нейролингвинистическое программирование? Я что-то пропустил, и роботы уже научились понимать человеческое поведение?

Ответы>>795731

14 Июл, 12:11 #329 #795731

>>795728
Обработка естественного языка

14 Июл, 12:19 #330 #795743

>>795707
>>795713
главные компоненты и диплёрнинг
^^ всё что нужно знать из мл ^^

Ответы>>795749

14 Июл, 12:21 #331 #795749

>>795743
А есть какой-нибудь список этих главных компонентов и что-то вроде "хеллоуворлдов", которые должен уметь написать любой человек, который работает в машинном обучении?

Ответы>>795750>>795757

14 Июл, 12:22 #332 #795750

>>795749
Завтра ищешь в интернете книжку "Neural networks for pattern recognition". Похуй если ничего не поймешь. Затем идешь на deeplearning.net и изучаешь библиотеку theano от корки до корки. Потом зубришь, именно, сука, вызубриваешь алгоритм обратного распостранения ошибки - чтоб от зубов отскакивало. Когда напишешь свою первую нейроночку, по пути поучавствовав в kaggle компетишенах, покупаешь и изучаешь нормальную видеокарту, рекомендую NVIDIA GTX1080. Как переделаешь нейроночку, чтобы выдавала по крайней мере 5 тысяч предсказаний в секунду, можешь идти дальше - тебя ждет увлекательный мир диплёрнинга. CNN, RNN, сверхглубокие машины больцмана, tensorflow. Отсос веб макак / просто неудачников типа нечётко-питуха или сёрло-хуесосов, которые сосут хуй по жизни не заставит себя ждать и уже через пол года ты будешь получать такие суммы, что любая баба будет течь при одном упоминании твоей зарплаты.

Ответы>>795757>>795769

14 Июл, 12:24 #333 #795757

>>795749
А то мне неохота идти в Джангу и писать сайтики за 300.
>>795750
Найс паста, только где про графические библиотеки, работу с лингвистикой?
Если посмотришь на апворке что-то связанное с машинным обучением вообще, то там везде что-то такое требуют.

Ответы>>795769

14 Июл, 12:30 #334 #795769

>>795750
>>795757
А вот за Theano спасибо, как дочитаю свою книжку, так пойду его изучать.

Ответы>>795798

14 Июл, 13:04 #335 #795798

>>795769
Теано шляпа. Самые новомодные библиотеки для диплернинга все рассчитаны на распределенные вычисления. MXNet, TensorFlow как вариант. В последнем пока жмутся полное распараллеливание плебеям выкладывать, а вот в MXNet все есть.

Вот еще какое дело. Тута принято хейтить R, покажите мне где еще есть столько готовых алгоритмов на все случаи жизни? https://cran.r-project.org/web/views/ это только вершина айсберга, более 8500 пакетов, во многих не по одному десятку алгоритмов и методов.

Ответы>>795885>>795893>>795981>>796132

14 Июл, 14:15 #336 #795883

Как вам вот эта книжка для начального изучения ML?
deeplearningbook.org
С учётом, что могу в линал, матан, тервер и матстат

14 Июл, 14:16 #337 #795885

>>795798
И со знанием всех этих библиотек - свободная касса.

14 Июл, 14:20 #338 #795893

>>795798
>Вот еще какое дело. Тута принято хейтить R
Да потому что это очередное новомодное никому не нужное говно.

14 Июл, 16:01 #339 #795981

>>795798
R не умирает, но Python сделал много нашествий в тех областях, где R имело обыкновение быть единственным языком считается. Это довольно ужасный язык, так что, вероятно, продолжит медленно снижаться. Но, как Fortran, мы никогда не избавиться от него.

Ответы>>795983

14 Июл, 16:03 #340 #795983

>>795981
Ты гугл переводчиком пользоваться для написания сообщения?

Ответы>>796011

14 Июл, 16:39 #341 #796011

>>795983
Это нейроночка пишет в тредик, успокойся :3

Ответы>>796013

14 Июл, 16:40 #342 #796013

>>796011
Сука, кто из нас человек, а кто из нас нейронка и почему нейронка чмырит R?
Сраный тред машинного обучения, хуй, что поймешь.

14 Июл, 16:42 #343 #796015

Нейроночка не любит R.
Не расстраивай нейроночку.
Пиши на Python.

Ответы>>796036

14 Июл, 17:16 #344 #796036

>>796015
А ХАЧКЕЛЬ?

Ответы>>796044

14 Июл, 17:17 #345 #796039

Аноны, какой все-таки смысл от soft-max функции, когда мы решаем проблему регрессии? Она типа аналогична сигмоидной функции, только поддерживает много классов?
А классификация у нейронок после обучения - это просто выбор самого близкого?

Ответы>>796043

14 Июл, 17:24 #346 #796043

>>796039
для регрессии она не нужна тебе
> А классификация у нейронок после обучения - это просто выбор самого близкого?
выбор - это целая теория

Ответы>>796058

14 Июл, 17:27 #347 #796044

>>796036
ленивая нейроночка получится
ещё и бесконечная

Ответы>>796308

14 Июл, 17:41 #348 #796058

>>796043
А, тогда автор книги мудак, но спасибо

Ответы>>796135

14 Июл, 18:39 #349 #796132

>>795798
> В последнем пока жмутся полное распараллеливание плебеям выкладывать
C чего ты взял? Ничего там не жмутся.

Ответы>>797402

14 Июл, 18:42 #350 #796135

>>796058
Скорее ты его не понял. Делай скриншот страницы, где автор мудак.

14 Июл, 22:40 #351 #796308

>>796044
Вот смотрю, на чем пишут ИИ и прочий матан: MATLAB, R, Julia, Fortran, Python/NumPy. Всяких этих МОНАДОК нету. Так о какой научности своих языков пиздят борщехлебы?

Ответы>>796319

14 Июл, 22:54 #352 #796319

>>796308
О классах, типах и категоргиях, хотя недавно была серия тредов, где поясняли, что на хачкеле нельзя даже накодить свою категорию.

Ответы>>796337

14 Июл, 23:13 #353 #796337

>>796319
Ну мне интересно, какое же практическое применение этих категорий.

Ответы>>796598

15 Июл, 00:12 #354 #796391

Кто-нибудь смотрел курс на юдасити от гугла?
Стоящий?

15 Июл, 01:06 #355 #796435

>>795524
короч, соединил я и потестировал, качество распознавания ухудшилось прилично.

Ответы>>796799

15 Июл, 01:34 #356 #796441

>np.where(array[:,4]==0)
Аноны, для чего тут ==, что оно делает?

Ответы>>796448>>796452

15 Июл, 02:00 #357 #796448

>>796441
If only condition is given, return the tuple condition.nonzero(), the indices where condition is True.

15 Июл, 02:09 #358 #796452

>>796441
Да и вообще? Как получается так, что нейроночка должна из train = array[::2,0:4] сделать traint = target[::2]
В одном же 4 элемента, а в другом 3, она их как-то сожмет? Как она распределит?

15 Июл, 07:07 #359 #796504

>>796488
Вот тред ИИ-богов, там подскажут: >>790256 (OP)
А здесь только школота и жирные тролли-гансоебы вроде меня.

Ответы>>796507

sage 15 Июл, 07:10 #360 #796507

>>796504
Упс, не туда запостил братишки.

15 Июл, 10:42 #361 #796571

Аноны, поясните мне за классификацию у нейроночек, как они ее делают?
У меня есть массивы данных с 4 столбцами.
У меня есть таргеты с 3 столбцами.
И причем, если число слоев меньше 4, то классификацию он отказывается производить и просто минимизирует функцию ошибки.
Как это работает? Я прочитал книгу и ничего не понял, он на 1-м слою отдает по 1 input nodes на каждый вертикальный столб массива и между 3 слоями делит активацию?

Ответы>>796580

6 Кб, 781x311

15 Июл, 11:05 #362 #796580

>>796571
А нет, напиздел, производит он классификацию и с 3 слоями и с 2, но в таком случае я совсем нихуя не понимаю.
Или он ставит только в выходном слое 3 нейрона и принимает все параметры от них? И тогда вот эта схема на пике правильная?

Ответы>>796599

15 Июл, 11:40 #363 #796598

>>796337
Обмазываться.

15 Июл, 11:43 #364 #796599

>>796580
И output nodes он берет из образца target?

15 Июл, 16:12 #365 #796766

>lastPoint = np.shape(PNoz)[0]-t*(k+1)
Зачем вот здесь мы используем (k+1)
Это для смещенной ноды, верно?

Ответы>>796952

15 Июл, 17:05 #366 #796799

>>796435
а хотя нет, еще настраивается, хотя медленнее.

17 Кб, 968x306

15 Июл, 19:59 #367 #796952

>>796766
Аноны, ну вот, представил всю информацию в доступном виде, нахуй там k+1

Ответы>>796960>>797083>>798400

15 Июл, 20:09 #368 #796960

>>796952
Это закономерность временного ряда, верно?

120 Кб, 736x736

15 Июл, 22:31 #369 #797083

>>796952
ТИМОФЕЙЧИК

Ответы>>797088

15 Июл, 22:34 #370 #797088

>>797083
Тамерлан)

Ответы>>797089

15 Июл, 22:36 #371 #797089

>>797088
иншала

15 Июл, 23:02 #372 #797118

>>790256 (OP)
Аноны, а все-таки объясните мне, каким образом нейронная сеть может что-то прогнозировать?
Все что она может - это настраивать свои веса, если она проанализирует информацию о температуре за текущие 10 лет, то как она спрогнозирует информацию о температуре на следующий год? Она же по сути просто решила проблему регресии и может выдать нам сильно усредненные данные.
Я понимаю, что она может спрогнозировать какую-нибудь функцию, где значения, например, синуса будут повторяться.
Тут такой же принцип? Самое усредненное значение и выдается за прогноз?

Ответы>>797125

15 Июл, 23:05 #373 #797125

>>797118
http://videolectures.net/mlss09uk_shawe_taylor_lt/ например

Ответы>>797139

15 Июл, 23:18 #374 #797139

>>797125
У меня не такой хороший уровень английского.
А все-таки интересно, какой смысл пихать огромное количество данных на нейроночку? Вот в моей книге она пусть и проанализировала кучу данных, но прогноз то не выдала, каким образом это происходит?
Нейроночка же заметит только самую общую тенденцию, типа положительной динамики по расширению очка у негритянских младенцев в течении последнего года по сравнению с предыдущим и покажет это на графике.
Или мы даем сети какой-то один из параметров на вход, а она используя свои веса дает нам значение?

Ответы>>797145

15 Июл, 23:24 #375 #797145

>>797139
Хотя, если ввести классификацию общих тенденций, то можно нейроночку использовать в качестве мощного инструмента для прогнозирования

16 Июл, 00:33 #376 #797220

Аноны, можно ли представить все показания обратного маятника как временные ряды и из показателей положения и скорости вывести требуемые показатели мотора?
То-есть сначала пытаемся гонять на подобии сегвея Причем учитывая только то время, когда он движется и через некоторое время такой езды узнаем показания мотора для различных положений С графиком, лол, заодно и будет видна зависимость от угловой и общей скорости
Или можно указать положение аппарата в таргеты и дать сети, обученной решать проблему регрессии подбирать показания мотора?

9 Кб, 200x291

16 Июл, 01:20 #377 #797263

Встала задача анализа естественного языка и классификации данных на естественном языке. Пикрелейтед - годная книга, чтобы понять, куда копать?

16 Июл, 10:02 #378 #797373

Можно.

Ответы>>797374>>797376

16 Июл, 10:09 #379 #797374

>>797373
Точняк?

Ответы>>797376

16 Июл, 10:11 #380 #797376

>>797374
>>797373
Бля будешь?
Сука, отвечаешь, очко ставишь, мать даешь? Клянись, выблядок!

16 Июл, 11:13 #381 #797402

>>796132
>C чего ты взял? Ничего там не жмутся.
Там жи нет поддержки распараллеливания вычислений между физически разными девайсами. Или уже зарелизили?

16 Июл, 11:52 #382 #797420

Зачем ваш пейстон нужен, если там нет ни одной реализации нечетких моделей (нейро-нечетких, генетико-нечетких и т.п. и т.д.), только полторы библиотеки элементарных операций с нечеткими множествами уровня студенческих поделий. Сладкий хлеб, короче.

Ответы>>797430>>797497

199 Кб, 694x371

sage # OP 16 Июл, 12:21 #383 #797430

>>797420
потому что тред для чётких пацанов

Ответы>>797469>>798318

16 Июл, 13:35 #384 #797469

>>797430
Ну ок. Возьмем байесовские методы. На пистоне хотя бы треть от этого https://cran.r-project.org/web/views/Bayesian.html найдется? А это только самое основное рассмотрено, реально там в несколько раз больше.

Ответы>>797474

2526 Кб, Webm

sage 16 Июл, 13:40 #385 #797474

>>797469
> ничотко питушок пытается перевести срач на другую тему

Ответы>>797481

16 Июл, 13:49 #386 #797481

>>797474
Суть-то в том что на пистонах нихуя и нет кроме 1,5 распиаренных библиотек под модные глубокие нейроночки, которые все равно неработоспособны на реальных задачах (а не манядатасетах типа мниста) без нескольких видеокарт, каждая стоимостью с годовую зарплату твоей мамки. Остальной тамошний функционал есть даже в екселе.

16 Июл, 14:24 #387 #797497

>>797420
Потому что это говно нахуй не нужн.

Ответы>>797505

16 Июл, 14:31 #388 #797505

>>797497
>кококо нинужно!!111
Что же это у вас, чего ни хватишься - все нинужно!

Ответы>>797508

16 Июл, 14:34 #389 #797508

>>797505
Ну так нечеткие модели нахуй никому не нужны уже года 4

Ответы>>797510

16 Июл, 14:35 #390 #797510

>>797508
Потому что ты так сказал?

Ответы>>797511

16 Июл, 14:36 #391 #797511

>>797510
И где они используются серьезными пацанами?

Ответы>>797518

16 Июл, 14:41 #392 #797515

Бейсовский вывод на данный момент является наилучшим подходом для машинного обучения. Исключительная выразительность и простота позволят Вам быстро составлять элегантные и эффективные статистические модели.
Подход еще не столь распространён. Пока ваши конкуренты используют устаревшие технологии на базе нечоткой логики или классического подхода с точечными оценками, вы сможете в разы поднять свою эффективность, задействовав EP - последнее достижение науки в области вариационных методов. Но это еще не всё.
В жизни любого ML-проекта наступает момент, когда он превращается в продукт и сопровождению проекта привлекаются дополнительные разработчики. На этом этапе распространённость и доступность методов начинает играть решающую роль. Благодаря активной популяризации бейсотвкого вывода в среде коммерческих разработчиков, а также поддержке со стороны лидера разработки методов машинного обучения - университета Кембриджа, Вы можете быть уверены, что в будущем Вам не придется переписывать свой проект как это было с печально известной разработкой Нечётко-питуха.
Бейс обеспечит вам гарантии успеха и стабильности Ваших начинаний. Выберите Бейсовский вывод сейчас и через несколько лет Вы сможете наслаждаться результатами своих трудов - успешным проектом, выполненным с учётом всех современных технологий и индустриальных стандартов. Бейс - Ваш проводник к успеху в мире машинного обучения. Выбирайте Бейсовский вывод.

Ответы>>797517

16 Июл, 14:41 #393 #797517

>>797515
>Подход еще не столь распространён
Вот и все

16 Июл, 14:42 #394 #797518

>>797511
Да везде. В отличие от нейроночек для нечетких контроллеров очень просто доказать глобальную и локальную устойчивость, что позволяет использовать ихв промышленности. Поезда на нечетких контроллерах в Японии с 1987 года ездят, сейчас уже и во многих развитых странах. Даже в Дубаях есть такое метро. Половина мирового производства цемента - это установки на нечетких контроллерах. Лень все перечислять, применений реально полно, фотоаппараты, рисоварки ,стиральные машинки и прочее. И все это уже непервое десятилетие. А вот нейроночками и то только сверточными толькогугл и занимается и то последние года 3.

Ответы>>797521

16 Июл, 14:44 #395 #797521

>>797518
Ну вот, раз так давно используется, то питон в этом и не нужен.
А Нейроночки активно развиваются.

Ответы>>797525

16 Июл, 14:47 #396 #797525

>>797521
>Нейроночки активно развиваются.
Ничего там не развивается, только слоев добавляют, да сигмоиды заменили на релу. А так все на уровне первых работ Лекуна, 80-е годы. Это сверточные нейроночки, остальное впрактических целях вообще малоприменимо или вообще неприменимо.

Ответы>>797528

16 Июл, 14:49 #397 #797528

>>797525
Учатся применять везде и расширяют, заменяет дохуя того, что было раньше, это все медленно, но нейроночки выгрызают себе место.

Ответы>>797529>>797531

16 Июл, 14:52 #398 #797529

>>797528
В конце-концов хоть что-то развивают.

16 Июл, 14:56 #399 #797531

>>797528
Сверточные нейроночки могут заменить только сверточные нейроночки. Хуйня,которая по месяцу сходится на многопроцессорных теслах, не заменит нчечткий контроллер ,который можно реализовать на микроконтроллере и вкорячить в лбое устройство. Ну и я упомянул главную причину, почему нейроночки не использут в промышленности - они работают как аллах на душу положит, для них нет строгих доказательств устойчивости, а это обязательное требование для внедрения изделия в промышленности. Никто (в особенности из ответственных лиц) не одобрит изделие, которое теоретически может спалить ползавода или со всей дури посадить поезд метро с пассажирами на тупиковую призму.

Ответы>>797545

16 Июл, 15:05 #400 #797545

>>797531
Ну видишь ли, это все только пока, в будущем будут и мультипроцессоры под них.
Нейроночка хороша тем, что она по сути как волшебная палочка может выступать и делать все, что угодно.

Ответы>>797547

16 Июл, 15:08 #401 #797547

>>797545
>Нейроночка хороша тем, что она по сути как волшебная палочка может выступать и делать все, что угодно.
Для нечетких моделей давно доказаны универсальные аппроксимационные свойства. При этом, в отличие от нейроночек, знания представлены в интерпретируемой форме, а не как черный ящик, который вроде работает, а как - хуй его знает (а вдруг еще и хуй не знает).

Ответы>>797548

16 Июл, 15:10 #402 #797548

>>797547
И кому это устаревшее дерьмо сейчас и здесь нужно?
Те, кому оно нужно им уже давно пользуются, а не лезут сюда, ты бы еще залез к чувакам, которые новые двигатели делают и начал им про преимущества паровых рассказывать.

Ответы>>797552

16 Июл, 15:18 #403 #797552

>>797548
А ВОТ НА ЭЛЕКТРО-ДВИГАТЕЛИ АККУМУЛЯТОРЫ ОГРОМНЫЕ НУЖНЫ, ИМИ ТОЛЬКО ОДНА КОМПАНИЯ ЗАНИМАЕТСЯ
ЛАМПОЧКИ НЕ НУЖНЫ, СГОРАЮТ И ПОЛЬЗУЮТСЯ ИМИ ТОЛЬКО В БОЛЬШИХ ПОМЕЩЕНИЯХ, СВЕЧКИ НАМНОГО ЛУЧШЕ

Ответы>>797559

16 Июл, 15:26 #404 #797559

>>797552
Ракеты не долетят до космоса, давайте пользоваться Дирижаблями
Для Дирижабля подъем гарантирован
Поэтому нечетко-петух должен съебать нахуй, дикарь.

16 Июл, 15:34 #405 #797572

Вы просто школьники и не понимаете простых вещей. Перцептроны появились в 1968, сама идея нейроночек - в 1943. И их промышленное применение до сих пор невозможно, я даже скажу, принципиально невозможно. Суть нейроночек - аппроксимационные свойства, что доказывается теоремами Колмогорова, Горбаня, Такенса и т.п. Все, что может нейроночка, может любая нечеткая модель, что опять же доказывается соответствущими теоремами об универсальных аппроксимирущих свойствах. Плюс к этому присуствует полная прозрачность происходящего и простота самих алгоритмов. Из нейроочек жеинтерес представляют только сверточные сети и только в узкой области использования.

Ответы>>797574>>797581>>797640

16 Июл, 15:35 #406 #797574

>>797572
Ага, а концепт танка появился еще в 13 веке.

16 Июл, 15:40 #407 #797581

>>797572
Сколько контекстов на kaggle уже победил?

Ответы>>797584

16 Июл, 15:42 #408 #797584

>>797581
А ты сколько?

Ответы>>797601

16 Июл, 16:02 #409 #797601

>>797584
Я? Нисколько, но там, где участвовал, на первых местах всегда ебаные нейроночки, и никогда - твоя шизофрения. Хотя казалось бы. Миллионером стал бы.

16 Июл, 16:39 #410 #797640

>>797572
Почему у тебя столько противоречий в твоем посте. Это что, нечеткая логика изложения мыслей?

Ответы>>797642>>797644

16 Июл, 16:40 #411 #797641

Традиция треда - Травить нечеткопетуха

16 Июл, 16:40 #412 #797642

>>797640
>Почему у тебя столько противоречий в твоем посте?
Фикс

16 Июл, 16:43 #413 #797644

>>797640
Где противоречия?

Ответы>>797646>>797654

16 Июл, 16:45 #414 #797646

>>797644
ТЫ ПЕТУХ, НО БАЗАРИШЬ КАК ЧЕЛОВЕК
Аноны, кто приделал нейроночку к петуху?

Ответы>>797657

16 Июл, 16:57 #415 #797654

>>797644
Говоришь, что применение принципиально невозможно, тут же говоришь, что суть нейронок - аппроксимационные свойства, и что они доказываются рядом теорем. К тому же теоремы, которые ты назвал, относятся к сходимости обучения системы (в т.ч. и нечетких моделей). Конкретно для перцептрона, например, уже доказана теорема сходимости. Не думаю, что для более сложных систем невозможно доказать нечто аналогичное как и для других систем; мб и потруднее будет, но нейронки все-таки развиваются, и через какое-то время обязательно все будет.

Ответы>>797667

16 Июл, 17:02 #416 #797657

>>797646
сколково

16 Июл, 17:14 #417 #797667

>>797654
>Говоришь, что применение принципиально невозможно, тут же говоришь, что суть нейронок - аппроксимационные свойства, и что они доказываются рядом теорем.
Я писал, что применение нейроночек в промышленности невозможно из-за отсутствия возможостей доказать устойчивость и стабильность. До сих пор существут только общие советы по параметрам нейроночек для обеспечения нормальной сходимости. А нужны строгие доказательства устойчивости алгоритма при любом возможном режиме функционирования. Нейроночки слишком сложная ебань, чтобы существовали подобные доказательства для общего случая (любая нейроночка и любая задача). Даже если такое доказательство и возможно, оно будет слишком сложное, чтобы использоваться на практике. Тогда как те же поезда метро на нечетких контроллерах давно и успешно работают.

Ответы>>797697>>797746

67 Кб, 560x558

274 Кб, 858x536

16 Июл, 17:52 #418 #797697

>>797667
Твои нечеткие модели не могут в искусство.
А учитывая, что нейросетки это всего-лишь аппроксимационная модель, состоящая из множества однотипных простых узлов, объединенных в определенную структуру, и то что они могут извлекать нужные фичи из данных, а также порождать что-то новое, или по крайней мере какой-то "идеальный" образ, это создает еще больший интерес, и вообще говорит о многом.
Ну и как тебя выше ткнули, нейросетки-таки мощнее во множестве задач.

16 Июл, 18:37 #419 #797746

>>797667
Пиздуй в тред по теории управления. Здесь машинным обучением занимаются, а не разработкой рисоварок.

16 Июл, 23:52 #420 #797988

Так, посаны, а что если я вместо последнего слоя в Ленет-5 сделаю не 10 выходов, а те же (12832)10(сколько классов), что у меня на входе, например. Вроде тогда сеточка должна научиться находить положение цифры. Непонятно еще какой выбрать порог, чтобы было понятно есть там реально цифра или это галюн сети.

Ответы>>797992

16 Июл, 23:57 #421 #797992

>>797988
>(128 x 32)10(сколько классов),

17 Июл, 00:19 #422 #798013

Аноны, поясните мне за градиентный спуск в алгоритме обратного распространения ошибки
Я до этого пользовался тем, что менял параметры для весов 1 слоя и всех остальных скрытых, все выглядело вот так вот:
deltah = self.hiddenself.beta(1.0-self.hidden)(np.dot(deltao,np.transpose(self.weights2)))

updatew1 = eta(np.dot(np.transpose(inputs),deltah[:,:-1])) + self.momentumupdatew1
updatew2 = eta(np.dot(np.transpose(self.hidden),deltao)) + self.momentum*updatew2
self.weights1 -= updatew1
self.weights2 -= updatew2
А как этот код обновить в согласии с градиентным спуском?

17 Июл, 08:55 #423 #798190

Умели же раньше нейроночки делать. https://www.cs.cmu.edu/Groups/AI/areas/neural/systems/qprop/ Nevada QuickPropagation, исходник на С - 1 файл 24кб. И это серьезный инструмент, а не поделие школьника.

Ответы>>798191

17 Июл, 08:56 #424 #798191

>>798190
У тебя жесткий диск в 2 мегабайта?

Ответы>>798205

17 Июл, 09:04 #425 #798199

Аноны, а что это за функция активации?
Универсальная типа?
δo(κ) = (yκ − tκ)yκ(δκK − yK)

Ответы>>798203>>798233

17 Июл, 09:18 #426 #798203

>>798199
Или это softmax?
Как вычисляется δκK

17 Июл, 09:22 #427 #798205

>>798191
А причем тут жесткий диск? Речь о том, что для перцептрона на крестах не нужны 1-2 гига только пистона со всеми зависимостями. Это же 100% детектор индусского кода и быдлокодеров-авторов. Даже в наше время, вот есть библиотека для диплернинга https://github.com/dmlc/mxnet от автора любимого всеми школьниками xgboost'а. с врапперами под все нормальные ЯП. Меньше 2 мб. Пистон поддерживается, но не обязателен как во всяких теанах.

Ответы>>798206

17 Июл, 09:29 #428 #798206

>>798205
Да хочешь ты на крестах писать - пиши, не еби мозги, мразь.

Ответы>>798210

17 Июл, 09:32 #429 #798210

>>798206
Нет же блядь, надо выебнуться, понимаешь, насколько ты пидор?

17 Июл, 09:54 #430 #798223

Да автор этой книги охуел, объяснил алгоритм обратного распространения ошибки, но не объяснил, как его реализовать на питоне, я сам догадаться что-ли должен?
Почему не дать код, чтобы все понятно было?

Ответы>>798233>>798304

17 Июл, 10:52 #431 #798231

>βa(1 − a)
Это равно записи
>self.beta(self.outputs-targets)self.outputs*(1.0-self.outputs)

Ответы>>798233

17 Июл, 10:57 #432 #798233

>>798231
>>798223
>>798199
ты похож на слепого младенца

Ответы>>798238

17 Июл, 11:07 #433 #798238

>>798233
Есть такое, сегодян разберусь с этим и основы пройдены.

Ответы>>798239

17 Июл, 11:08 #434 #798239

>>798238
сегодня*

17 Июл, 13:31 #435 #798304

>>798223
Бля, ебать я даун, пары формул испугался.

479 Кб, 865x390

17 Июл, 13:59 #436 #798318

>>797430

Ответы>>798381

734 Кб, 1215x388

17 Июл, 15:36 #437 #798381

>>798318

Ответы>>798387>>799668

17 Июл, 15:43 #438 #798386

Аноны, а как в алгоритме обратного распространения ошибки с градиентным спуском осуществляется деление ошибки между скрытыми слоями?
Я понимаю, что если скрытый слой 1, то совсем похуй, или в случае с дополнительными скрытыми слоями считать как для входного слоя?
В книге написано, что:
>Note that we can do exactly the same computations if the network has extra hidden layers between the inputs and the outputs. It gets harder to keep track of which functions we should be differentiating, but there are no new tricks needed.

Ответы>>798392>>798400>>798423

17 Июл, 15:45 #439 #798387

>>798381
Пиздец, наркоманы тут сидят. И не лень было рисовать. Нечего возразить @ нарисуй смищную картинку.

Ответы>>798395>>798400

25 Кб, 838x272

17 Июл, 15:48 #440 #798392

>>798386
И вот скрин
Можете показать, как мне для дополнительных слоев считать?

Ответы>>798400

17 Июл, 15:50 #441 #798395

>>798387
Лол, ты всерьез считаешь, что ведешь серьезный диалог с кем-либо?
Никому не интересно твое говно здесь разбирать, а вот поугарать над нечетко-петухом - весело.
Да и ты сам виноват.

Ответы>>798404>>798435

140 Кб, 406x398

17 Июл, 15:55 #442 #798400

>>796952
>>798386
>>798387
>>798392
тимочка-нейроночка

17 Июл, 15:57 #443 #798404

>>798395
Мне кажется тут весь тред чувак поехавший типа золотца сам с собой разговаривает притворяясь то нормальным, то мелкобуковкой, я уже второй тред этот пиздец наблюдаю, изредка люди заходят с вопросами как вкатиться, видят шизика и убегают

Ответы>>798408

17 Июл, 16:00 #444 #798408

>>798404
> Мне кажется
ты уже третий тред всё сомневаешся
сам-то кем будешь?

14 Кб, 500x500

17 Июл, 16:00 #445 #798410

Есть у меня влажная мечта - разрабатывать системы анализа финансовых рынков. Валютная биржа нынче полностью автоматизирована. Программы, которые умею делать прогнозы в краткосрочной перспективе (несколько секунд) стоят сотни миллионов долларов.

Также я интересуюсь криптовалютами. Думаю, с них начать изучение этой темы было бы намного проще - не нужно ни лицензий, ни больших вложений (благодаря высокой степени делимости всех криптовалют, так повелось ещё с биткоина).

Насколько я понимаю, основная работа таких программ - анализ финансовых новостей из множества источников, т.е. обработка текста на естественных языках.

Может кто подсказать, с чего начать? Как решить, какие источники рассматривать? Какие именно характеристики текста нужно вычислять?

По машинному обучению смотрел лекции ШАДа и курс от Стендфорда (ml class), но практикой не могу себя заставить заняться - хочется реальных задач, а не абстрактных. Понятно, что потом всё равно нужно будет решать абстрактные задачи чтобы интуитивно уже чувствовать, какой алгоритм может быть применим в конкретной ситуации. Но начинать с этого нет совершенно никакой мотивации - это не даёт никакой общей картины.

Ответы>>798411>>798418>>798429>>798432

86 Кб, 500x500

17 Июл, 16:02 #446 #798411

>>798410
а ты кошерный?

Ответы>>798413

17 Июл, 16:04 #447 #798413

>>798411
На четверть

120 Кб, 1366x768

17 Июл, 16:12 #448 #798418

>>798410
Вот это подойдёт как источник новостей? Как часто он присылает письма при конфигурации "Частота отправки: По мере появления результатов"? Что делает фильтр "Количество: только лучшие результаты"? Убирает дубликаты (копирайт)?

17 Июл, 16:14 #449 #798423

>>798386
А все, понял, считать как для последнего слоя.

17 Июл, 16:21 #450 #798429

>>798410
я думаю, что машинное обучение не так много используется в торговле, потому что торговля на самом деле не что-то легко формализуется как проблема машинного обучения, несмотря на что, будучи нелогичным к компьютеру ученого.

17 Июл, 16:23 #451 #798432

>>798410
Для начала открой для себя технический анализ и пойми чем он отличается от фундаментального.

Ответы>>798447

17 Июл, 16:25 #452 #798435

>>798395
>ты всерьез считаешь, что ведешь серьезный диалог с кем-либо?
Для серьезного диалога нужно чтобы оппонент что-то понимал в предмете. Этого я не вижу, поэтому говорить можно только о серьезном монологе.

17 Июл, 16:37 #453 #798447

>>798432
>Три аксиомы технического анализа
>Движения цен на рынке учитывают всю информацию
>Согласно этой аксиоме вся информация, влияющая на цену товара, уже учтена в самой цене и объёме торгов и нет необходимости отдельно изучать зависимость цены от политических, экономических и прочих факторов. Достаточно сосредоточиться на изучении динамики цены/объёма и получить информацию о наиболее вероятном развитии рынка.
Согласно этому постулату, анализ новостей вообще не имеет смысла. Но, тем не менее, он проводится многими. Значит, меня интересует именно фундаментальныйанализ?

Ответы>>798458

17 Июл, 16:54 #454 #798458

>>798447
Если ты сделаешь фундаментальный анализ в виде, пригодном для использования в алгоритмах машинного обучения, его можно и совместить с техническим. Как представить новости и т.п. в виде набора векторов? Тут надо смотреть в сторону латентного семантического анализа (LSA), ящитаю. Я немного думал в этом направлении, но решил, что особого смысла в этом нет, т.к. колебания показателей (цен, объемов, показания индикаторов и т.п.) отражают в т.ч. и новости, как и написано в твоей пасте.

1593 Кб, 1824x3264

17 Июл, 18:14 #455 #798524

бишоп под пельмешки мм..

17 Июл, 18:15 #456 #798526

Заебись, mlp и была с обратным распространением ошибки как в последней главе, а я целый день убил на то, чтобы понять, как эта хуета работает, заебись.

Ответы>>798543>>798552

127 Кб, 1600x1000

17 Июл, 18:34 #457 #798543

>>798526
правда?

Ответы>>798556

17 Июл, 18:43 #458 #798552

>>798526
>mlp
My Little Pony?

17 Июл, 18:43 #459 #798553

Посмотрел этот вин https://www.youtube.com/watch?v=qv6UVOQ0F44

Мне чтобы уметь такое придется всю эту тонну литературы с оп поста изучать?

Ответы>>798556

17 Июл, 18:46 #460 #798556

>>798553
Да.
>>798543
Лол, короче задрочил все формулы, решил переписать уже имеющуюся нейроночку, начал тыкаться, сверять, а там уже все правильно, ну заебись.

Ответы>>798574>>798582

17 Июл, 19:05 #461 #798574

>>798556
>Да.
Но я не хочу снова интегралы решать как в институте :'(

17 Июл, 19:13 #462 #798582

>>798556
> Да.
Хм, я не читал ничего из ОП-поста, но помню вузовский курс по НС и прочёл несколько статей по генетическим алгоритмам, и мне кажется что ничего сложного в этом нет.
Я сильно заблуждаюсь?

Ответы>>798790

17 Июл, 19:15 #463 #798585

Посоны, чо там у мемристоров, следит кто-нибудь? Шмогли русаки из МФТИ али нет.

Ответы>>798593

17 Июл, 19:26 #464 #798593

>>798585
http://www.extremetech.com/extreme/207897-hp-kills-the-machine-repurposes-design-around-conventional-technologies

17 Июл, 23:12 #465 #798790

>>798582
>Хм, я не читал ничего из ОП-поста, но помню вузовский курс по НС и прочёл несколько статей по генетическим алгоритмам, и мне кажется что ничего сложного в этом нет.
Ну а ты попробуй.

Ответы>>798908

18 Июл, 01:04 #466 #798908

>>798790
Если мои предположения подтвердятся, то я буду глупо себя чуствовать потому что вложил время в проверку очевидного.
Если не подтвердятся, то потому что ошибался.

18 Июл, 02:08 #467 #798931

Вы злые

137 Кб, 960x694

18 Июл, 08:30 #468 #799018

По совету анона спрошу тут.

Есть 3d уровни из игры, представляющий собой обычные текстовики с перечисленными объектами, их свойствами и положением (грубо говоря).

Цель, используя нейросети поиграться со всеми этими объектами. Создавать уровни на основе других уровней, применять стиль одного уровня к форме другого, ну и всё такое прочее.

Какой тут лучше всего взять язык, фреймворки, библиотеки? Ну и если кто шарит в теме нейросетей, можете дать общих советов?

Ответы>>799104>>799153>>799237

18 Июл, 12:02 #469 #799104

>>799018
Нейросети надо показывать где хорошо, а где плохо. Соснёшь.

Ответы>>799164

18 Июл, 13:00 #470 #799153

>>799018
Нейросети надо показать цели.
Видишь ли, нейросеть - это аппроксиматор функции, она с некоторой ошибкой будет делать то, что ты от нее потребуешь.
Если ты хочешь, чтобы она перемещала кирпичики - то можно дать ей форму и она как-нибудь заполнит пространство.
Можешь попробовать сделать так, чтобы нейросеть из твоих набросков понимала, как уровень устанавливать.
Но фантазировать нейронная сеть не умеет, она не геймдизайнер, ты можешь ей выставить требования к чему-либо и она по ним построит.

Ответы>>799159>>799164

462 Кб, 600x335

18 Июл, 13:10 #471 #799159

>>799153
>фантазировать нейронная сеть не умеет

Ответы>>799169>>799170

18 Июл, 13:16 #472 #799164

>>799104
>>799153
Я думаю, что как-то всё таки можно это реализовать.
https://github.com/jcjohnson/neural-style
https://nucl.ai/blog/enhance-pixel-art/
Я вот охуел от подобных вещей, вот и решил начать изучение этой темы, параллельно делая то, что интересно.

Ответы>>799169

18 Июл, 13:18 #473 #799166

Аноны, а кто юзал нейронную сеть в анализе поиска пути?
Мне интересно написать аркадку для начала, где нейронная сеть будет на 2д карте на технике бороться с людьми.
И я не знаю, как сеть реализовать, тут ведь несколько подходов, но в основном все же будет зависеть от скорости, положения.
Я могу применить оценочный алгоритм?
То есть хочу, чтобы сеть выбирала наилучшее из положений и запоминала его, используя наиболее часто, прямо как люди, лол.
Кстати, такое где было реализовано?

Ответы>>799171

18 Июл, 13:19 #474 #799169

>>799159
Не умеет, это никакая не фантазия, нейронная сеть ищет элемент на 1-й картинке, который соответствует элементу на второй и перемещает его.
>>799164
Это другой подход, тебе для твоих карт нужны некоторые принципы.

Ответы>>799178

18 Июл, 13:22 #475 #799170

>>799159
Это не фантазии, а поиск и усиление по выбранным свойствам. Обычная машинная работа без привлечения сознания, фантазирует лишь оператор, выбирая как настраивать эту машину.

Ответы>>799178

18 Июл, 13:22 #476 #799171

>>799166
Можно даже юзать алгоритм Монте-Карло.
Но он вроде вычисляет для линейных моментов стратегию, а я хочу, чтобы машина мыслила масштабно.

Ответы>>799172>>799176

18 Июл, 13:23 #477 #799172

>>799171
>линейных
Локальных

18 Июл, 13:28 #478 #799176

>>799171
Хотя по идее распределение приоритета можно выделить тоже нейронной сети, верно?
То-есть, если при подходящих условиях выстрелить по 5 точкам лучше, чем по 1, хоть и вероятность попасть - меньше, то машина так и сделает, верно?

18 Июл, 13:33 #479 #799178

>>799169
>>799170
Вы типа знаете как на самом деле работает фантазия и в чем ее "биологическая" сущность?
Может быть это и есть фантазирование, просто для такой небольшой машины она несколько примитивна.
Кто знает до чего доберутся нейросети.

Ответы>>799180

18 Июл, 13:38 #480 #799180

>>799178
Знаем, фантазия работает вовсе не так, у человека в голове есть подобный алгоритм, но никаким боком к фантазии он не относится.
Нейросеть может написать лучший сценарий для аниме из всех, что ты видел в текущем жанре.
Но нового жанра она не создаст.

Ответы>>799181>>799186

18 Июл, 13:41 #481 #799181

>>799180
Хотя нейронная сеть может кое-чему научиться.
Если бы мы могли наблюдать за полным выбросом эндорфинов и реакции у людей, то ничего не запрещает нейронной сети оценивать все точно так же, как и людям.

18 Июл, 13:48 #482 #799186

>>799180
Любая новая идея, придуманная человеком - комбинация уже известных идей. Это всегда так и по другому не может работать; человек не может оперировать тем, что он никогда не видел.
Например: как выглядит иная вселенная, не подобная нашей? Хуй знает. Она может выглядеть так, как мы и не представляем, и никогда не сможем представить. Единственное что мы можем - это только отталкиваясь от идей нашей вселенной видоизменить их каким-то образом и как бы выдумать другую вселенную, якобы не такую как у нас.

Ответы>>799188>>799189

18 Июл, 13:53 #483 #799188

>>799186
>Любая новая идея, придуманная человеком - комбинация уже известных идей
К этому алгоритму это не относится.

Ответы>>799195

18 Июл, 13:54 #484 #799189

>>799186
>комбинация уже известных идей
А это хоть и правда, но число таких комбинаций бесконечно, ибо в мире уже дохуя всего, чего в природе и во вселенной ты не найдешь.

Ответы>>799195

18 Июл, 14:00 #485 #799195

>>799188
>К этому алгоритму это не относится.
>нейронная сеть ищет элемент на 1-й картинке, который соответствует элементу на второй
>Это не фантазии, а поиск и усиление по выбранным свойствам
>>799189
>число таких комбинаций бесконечно
В этом и суть творчества/изобретательства, поиск каких-то особенных деталей в изначальном образе, которые при композиции с другими деталями/идеями дадут что-то новое.

Ответы>>799196

18 Июл, 14:03 #486 #799196

>>799195
Под такое определение творчества подходит вообще любой перебор данных.
Этот алгоритм просто сопоставляет элемент с 1-й картинки с элементом со 2-й.
Для творчества у него нету оценочного восприятия, например, как появится - так и будем говорить о реальном творчестве.

Ответы>>799207

18 Июл, 14:27 #487 #799207

>>799196
>оценочного восприятия
Надо написать нейронку, которая будет учиться на всяких оценках и критиках картин различных художников.

Ответы>>799215

18 Июл, 14:41 #488 #799215

>>799207
И тогда она создаст нечто среднее между ними всеми.
Но новое она создаст только в случае ошибки.

Ответы>>799216

18 Июл, 14:44 #489 #799216

>>799215
Ну, правда еще можно научить ее классифицировать оценки критиков по критериям и прочему дерьму и суметь в перебор классов, тогда уже может выйти нечто более интересное.

18 Июл, 15:16 #490 #799237

Вы не ответили на мой вопрос.
>>799018

Я вообще думаю на java ебашить, так как умею, но хз что там с быстродействием, наверное надо всё таки C++?

Ответы>>799239

18 Июл, 15:23 #491 #799239

>>799237
>наверное надо всё таки C++
Если юзаешь какой-то фреймворк, то бывает можно вообще питон юзать, на нем по сути просто пишешь скрипт для прогона сетки, а сама сетка, например, на плюсах написана. Примерно так происходит в Caffe. Про другие фреймворки/движки не знаю, но их целая куча есть.

18 Июл, 15:47 #492 #799262

>>790256 (OP)
Можно ли сделать чатбота или секскуклу на нейронных сетях?

Мимокрокодил

18 Июл, 17:35 #493 #799337

Посоны, чтоб вкатиться в нейросети обязательно знать тот же питон на высшем уровне? Или только основы?

Ответы>>799445

18 Июл, 19:08 #494 #799445

>>799337
юля постепенно вытесняет пиздон
поэтому учить нужно именно кресты

Ответы>>799454

18 Июл, 19:18 #495 #799454

>>799445
>юля постепенно вытесняет пиздон
сука блядь как вы заебали, вы можете там уже определиться?

Ответы>>799468

18 Июл, 19:35 #496 #799468

>>799454
чего такой нервный, няша? понедельник?
завари валерьяночки

4279 Кб, 1000x1000

18 Июл, 19:48 #497 #799486

> Нейросеть может написать лучший сценарий для аниме из всех, что ты видел в текущем жанре.
))

Ответы>>799533

18 Июл, 20:51 #498 #799533

>>799486
Но ведь сценарий Elfen Lied уже давно написан, лалка. Как ты собрался писать заново уже написанное?

Ответы>>799549

18 Июл, 21:08 #499 #799549

>>799533
> я смотрю онеме в 2016 + 200/366
пойди ещё покемонов полови

Ответы>>799556

18 Июл, 21:15 #500 #799556

>>799549
Но они же пока недоступны для моего ватного сиятельства. Как только откроют так сразу пойду на кладбище, искать годноту у жмуриков.

18 Июл, 21:27 #501 #799577

перекатываемся нейроночки
https://2ch.hk/pr/res/799576.html (М)
https://2ch.hk/pr/res/799576.html (М)
https://2ch.hk/pr/res/799576.html (М)
https://2ch.hk/pr/res/799576.html (М)
https://2ch.hk/pr/res/799576.html (М)
https://2ch.hk/pr/res/799576.html (М)

Ответы>>799596

18 Июл, 21:50 #502 #799596

>>799577
Обновил линк на тред в своем скрипте.

Ответы>>799613

297 Кб, 600x512

18 Июл, 22:00 #503 #799613

>>799596

18 Июл, 22:37 #504 #799668

>>798381
Достойна быть в шапке.

326 Кб, 1366x768

19 Июл, 12:07 #505 #800020

Вкатился в арчик. В шапке написано: Во-первых, вам нужна любая unix-based система. На Windows возможно запустить нижеперечисленное, но ждите пердолева с настройкой и неодобрительных взглядов анонимуса. Кроме того, в компаниях, так или иначе связанных с разработкой йоба-ПО и machine learningом, Linux/OS X является стандартом. Привыкайте.

Со вторым пунктом всё понятно. Поясните за первый. Ну, поставил бы я себе студию или QtCreator без проблем и вкатывался бы в сабж под Windows. В чём была бы проблема?

Поставил CodeLite. Сижу читаю первую книжку из шапки с переводчиком Google.

(Так-то у меня ещё были причины ставить линукс, но вот тут поясните..)

Ответы>>800038

19 Июл, 12:27 #506 #800038

>>800020
Продвинутые люди используют движки и фреймворки, в которых рутина уже сделана за них. А они в свою очередь разрабатывались как раз под линухами и тестировались под ними же.

Ответы>>800040

19 Июл, 12:29 #507 #800040

>>800038
Понял, более-менее.

Можно ссылки на них? Или ссылки, где тут есть ссылки на них?

Ответы>>800044

19 Июл, 12:38 #508 #800044

>>800040
TensorFlow, Theano, Torch, Caffe - основные встречающиеся, так-то их куча есть.

28 Июл, 16:02 #509 #807435

Аноны, что-то я иду дальше по книге и уже перестаю вкуривать суть, можно ли пропустить всякий линейный дискриминантный анализ, если я хочу использовать только нейроночки для своих задач? Ну совсем мне неинтересна вся эта хуйня про анализ данных, ибо нинужно.
А то мне кажется, что я изучаю хоть и полезную хуйню, но мне она совсем не нужна.

Обновить тред
Двач.hk не отвечает.
Вы видите копию треда, сохраненную 7 августа 2016 года.

Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее

Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.

« /pr/В начало тредаВеб-версияНастройки/a//b//mu//s//vg/Все доски

Пользуетесь скринридером — пишите, что можно улучшить.
Host-Food.ru — надёжный хостинг от 12 руб/мес | Free DNS
Зеркала М.Двача: m2ch.hk, m2ch.lib, m2chfapiswfw2wcakptqp4o6ltgchvjuxfab7urxlduraomtlnhw5xad.onion