← All posts tagged AI


Основное движение мысли происходит в то время как ты сидишь и смотришь как сеточка считает. Но и так бывает, что замечаешь, что просто тупо смотришь, как там растут значения, укладываясь в известную кривую, и болеешь, как вроде б-то за спортивную команду, когда давно не было сильного увеличения значения.

Во что я превратился?



Вот как читать пейтон написаный к папиру с тензрофлов? Типы переменных неясно, размерность массивов неясно, листаешь по нескольким файлам чтобы увязать, что там через запятую идет, где 10 переменных каждая из трех букв.. Еще тензорфлов накладывает свое измерение, которое нужно видеть сквозь этот пластилиновый код.

Конечно не забываем про респекты, и что код реальне работает, но таки если бы это всё писали на чем-то более правильном, было бы больше толку, и пиарчик этой всей фигни был бы продуктивнее в массах.

Собрал Caffe под гейбуком, бранч clCaffe (которое OpenCL). AMD-шные clblas, clfft с гита туда вставил, как предусмотрено.

Таки работает: когда тренирует сеточку, графика вперде: даже мыша с трудом ездеет, и загрузка GPU показана дофига (а CPU 20%).

По производительности Intel Iris Graphics 6100 заявлено 844 GFlops.
У меня дома есть старинная nVidia GT 640 rev2. У нее 804 GFlops.

Так вот, количество картинок в секунду у них приблизительно одинаково.

Однако, прикольно. Ну, это почти топовая интеловская видяха карточка, к тому же в ноутбуке.

Аааа! Какой-то чувак набросал нейроночку которая по идее подыгрывает тебе на пианине. Получился отстой во всех планах, но в каментах ему подбросили вот это видео про MS SongSmith youtube.com , и называется оно "Queen с помощью Microsoft SongSmith демонстрируют вам сальсу, которая всегда присутствовала в их произведениях". Рецомменд 8)

Обучение ребенка в первые годы и обучение нейроночки — для обоих страдания .
Первый плачет, т.к. постоянные обломы (хочется — нельзя, хочется — не получается, хочется — никто не понимает), вторая по идее страдает каждый раз, когда error function не равна нулю (т.е. тоже всегда).

Китайцы натравили deep learning на физиономии жуликов и нормальных людей, написали, что прикольно получается находить по рожам склонность людей к преступлениям (бывшим и наверное будущим)

Кроме всяких кривых, характеризующих насколько часто результаты расходятся с тем, как оно на самом деле, они задались вопросом "так что же характеризует жулика"? Расковыряли, стало быть, признаки, усреднили морды, и получилось, что, физиономия жулика — с насупленными глазами и опущенными уголками рта, а физиономия праведника — с круглыми глазами и улыбающимися губами (Figure 6), как смеющийся смайлик, короче. Только это все в микро-дозах на фоточках, а сеточка это как раз и ловит.

arxiv.org

Сaffe с MKL (Intel's Math Kernel Library) быстрее работает с MKL_NUM_THREADS=1 чем с двумя и более. Кроме того, оно не ставится больше чем физических ядер, то есть гипертрединг отказывается кушать. Ну что ж, интел — барин, ему видней.

@tilarids показал мне как на tensorflow и TRPO решаются некоторые проблемы из OpenAI gym. Так как я ни бум-бум в деталях, но представлял лишь малый кусочек в общей схеме, он прочитал мне краткую лекцию по общим подходам, приемам и показал конкретный один из вариантов решения. Кусочек, который я представляю в общей схеме, стал слегка больше, и я начал немножко догадываться, с какой стороны подходить вообще.

Код у меня есть, пейтон с tensorflow поставлен и даже работает, визуализаторы там всякие. Подходить страшно, но нужно. Эта вся фигня, а конкретно TRPO, которое дает хорошие результаты, — чисто яйцеголовая поделка. Оперируешь готовыми building blocks, кормишь выходы одного входам другого, а как скормить — как-то очень просто в конкретной реализации. Такое ощущение, что аффтары слишком увлеклись математикой, забыв собственно говнокодинг^W приземленное программирование. Есть у меня ощущения, что там не хватает свежего взгляда 8).

Ну, а вообще, я считаю, что это все офигенно. Это как бы программирование в чистом смысле, только программирование ближайшего будущего, на следующем уровне. "Запрограммируй мне пылесос чтобы кота не пылесосил". Подтюнил модельку, которая коту cost ставит слишком большой, и кота пылесос уже обходит.

Понимаю, что сейчас эти все алгоритмы из которых все строится, все эти AdamOptimizer, softmax итп — это все строительные элементы эпохи становления отрасли. Это, конечно, не как извечные IF, FOR, CALL. Но похоже. На другом уровне. Надо знать.