bbycroft.net — визуализация о том как работает GPT
intrinsic matrix. в этой матрице сх и су обычно болтаются около w ∕ 2 и h ∕ 2 соответственно, и я никогда не обращал на них внимания, а тупо считал из фокусного расстояния. и вот сегодня, а вернее вчера и сегодня, я выебал себе все мозги, пытаясь понять, почему картинка не сходится — оказалось из-за них.
если кто имел дело с калибровкой камеры, то слышал про такую себе
huggingface.co
Скачал Wizard-Vicuna-13B-Uncensored-HF как наиболее пригодную для работы на проце хинкпада — работает и правда ощутимо лучше всяких лламо-альпак при том же потреблении ресурсов (llama.cpp, AVX2, q4_0 квантизация). Даже стишки про ниггеров пишет с переменным успехом. Но польза всё ещё околонулевая: нормального кода из неё сгенерить не вышло, а тем временем датацентровые кластерные проприетарщики бороздят просторы вселенной: chat.openai.com
Подвезли рейтинг доступных для скачивания нейропиздоболов: Скачал Wizard-Vicuna-13B-Uncensored-HF как наиболее пригодную для работы на проце хинкпада — работает и правда ощутимо лучше всяких лламо-альпак при том же потреблении ресурсов (llama.cpp, AVX2, q4_0 квантизация). Даже стишки про ниггеров пишет с переменным успехом. Но польза всё ещё околонулевая: нормального кода из неё сгенерить не вышло, а тем временем датацентровые кластерные проприетарщики бороздят просторы вселенной: chat.openai.com
С промптом chat-with-bob.txt выдаёт довольно годные ответы, например такое у меня на ноуте 13B-сеткой генерилось минут пять:
Write a good rant on cars and general unsuitability of Finland towns for bicycles.Cars are terrible, and so are Finnish cities! They are simply not designed with pedestrians in mind. Cities like Helsinki or Tampere are full of long straight roads, wide streets and endless car parks. It's nearly impossible to get around without a car. The only way you can navigate these massive urban sprawls is to either walk everywhere or use public transport (which is also not particularly good). And even if you manage to do that, there are no proper paths for bicycles and the ones that exist are too narrow and dangerous to ride on. Not to mention the fact that the weather is usually quite bad, making it nearly impossible to cycle around safely in wintertime. Finland has some of the most beautiful natural landscapes in Europe, but its cities are a complete mess!
так всегда
и SJW ПАНИКЕ!
Цитата дня:
«Раса — не биологическая категория, но нейросеть как-то её распознаёт по рентгеновскому снимку»
А ещё. Вы уже в курсе, что Black надо писать с заглавной буквы, а white — со строчной? А вот так. В СССР даже слово коммунист с маленькой писали, а тут эвона как!
wired.com
почитать.
Чувак пишет:
И приводит пример вычисления длины списка (см. скриншот)
Моя реакция: "А-ха-ха! Кто-то паттернматчинга не видел"
let rec length = function [] -> 0 | _::l -> 1 + length l
(пример на OCaml)
Решил тут немного про Пролог
Чувак пишет:
It is unlikely that shorter formalisms that are equally clear and expressive exist.
И приводит пример вычисления длины списка (см. скриншот)
Моя реакция: "А-ха-ха! Кто-то паттернматчинга не видел"
let rec length = function [] -> 0 | _::l -> 1 + length l
(пример на OCaml)
Почему я этим не занимаюсь? потому что лох и неудачник.
Может быть интересно.
Beginner Specialization.No prior experience required. — или это совсем уж для детишек?
coursera.org
Это, наверное, единственный нецелый логарифм, который я знаю до третьего знака. Как в анекдоте про программиста, который бойко называл степени двойки. А когда его спросили про три в квадрате, замялся: «Наверное, что-то дробное…»
Долго не мог заставить себя подобраться к курсеровскому формату изучения материала, но на практике всё оказалось понятнее и приятнее, чем я представлял. Кто ещё раздумывает, рекомендую попробовать.
— Имитация знания машинного обучения при помощи нейронных сетей.
На 4 курсе я писала один раз отчет по самому сложному предмету за все время учебы. Он занимал 30 страниц (больше чем мой диплом). И я там где-то в 4 утра написала "этот график показывает более лучшие результаты". Препод в рецензии на отчет написал, что я Света из Иваново с ее "Более лучше одеваться". Я проревела весь вечер за такое сравнение, но благо быстро отошла и к этой ситуации мы вернулись в конце семестра. В форме отзывов на курс я оставила обращение, что такое сравнение вообще говоря обидно и больно. Мне написали, что просят прощения и что это не этично и блаблабла, сорнян.
А сегодня я с этим преподам по работе 2 часа адекватно и няшно разговаривала (мне нужно было узнать про сотрудничество между моим работодателем и кафедрой). Разговор получился уберклевым и я в конце поделилась своими переживаниями, что мол "вот, я получила ML образование, может быть всю эту менеджерскую деятельность бросить и начать быть каким-нибудь Data Scientist'ом, а то я какой-то хрен с горы и зачем это все".
А он мне сказал: "Катя, то, что могут сделать 100 000 китайцев (решать соревнования на кагле), не рокетсайнс и не стоит туда так стремиться. У Вас есть прекрасные менеджерские навыки, образование ML и на этом стыке, где вы сейчас работаете, вы сможете добиться колосальных успехов"
И все мои сомнения, копившиеся 3 года, пропали! То есть я очень нервничала, что какой я так себе специалист, хоть и с нормальной зп (10% квантиль по бывшим одногруппникам!), а теперь нет! Еще он верит что я могу выйти из декрета и вообще смогу защититься, но это вообще за гранью.
1. Непонятно, зачем он вообще что-то говорит, если всё есть на слайдах, которые он, фактически читает.
2. Конспектировать невозможно, так как слайды быстро сменяют друг друга. В этом плане мне больше нравятся лекции, где лектор объяснения пишет по ходу дела. Многие не конспектируют, а я конспектирую всё, реально помогает.
3. Объяснений как таковых нет. Я всё понимал, но лишь потому, что я этим уже лет, наверное, семь занимаюсь. В комментариях люди жалуются. Похоже, создатели курса решили запихнуть больше теории в ущерб пониманию.
4. Отрыв теории от практики. На лекции рассматриваются деревья, алгоритм ID3, все дела. На практике надо с помощью Pandas найти самое популярное имя среди пассажиров «Титаника». Не, я понимаю, что без Pandas и Scikit-learn сейчас никуда, но либо надо про них в лекциях немного рассказывать, либо задачки давать про то, что на теории изучено.
5. Ну и ещё по мелочам.
Хоть я не большой фанат курса от Эндрю Ына, но у него поинтереснее будет, несмотря на то, что курс более однобокий. Он много времени тратил на объяснения. Градиентный спуск только полчаса объяснял, наверное. И он не ленился рассказывать, как пользоваться инструментами (в его случае Octave).
Второпях зовут отца:
«Тятя! Тятя! Нейросети
Распознали в вас тунца!»