Первый опубликованный мною пост в блоге, привлекший к себе внимание, назывался Уроки из данных о найме за год. Это была моя попытка понять, какие атрибуты чьего-либо резюме действительно имеют значение для получения работы по разработке программного обеспечения. Как выяснилось, место в школе не имело значения. Безусловно, самым сильным сигналом стало количество опечаток и грамматических ошибок в их резюме.

С тех пор я обнаружил (и написал), насколько бесполезны резюме. Но с тех пор, как я написал этот первый пост, мне не терпелось сделать что-то подобное с данными нашей платформы.

Для контекста, intervaling.io - это платформа, где люди могут анонимно практиковаться в техническом собеседовании и в процессе находить работу.

Если вы хорошо справляетесь с практическими собеседованиями и переходите к гарантированным (и анонимным!) Техническим собеседованиям с такими компаниями, как Uber, Twitch и Lyft.

За время своего существования мы собрали данные об эффективности из тысяч реальных и практических собеседований. Данные этих интервью позволяют нам понять, какие сигналы из прошлого интервьюируемого могут иметь значение, когда речь идет о производительности.

Во-первых, немного предыстории нашего набора данных.

Когда интервьюер и собеседник совпадают на нашей платформе, они встречаются в среде совместного программирования с голосовым, текстовым чатом и доской и сразу переходят к техническому вопросу. Вопросы для собеседований на платформе, как правило, попадают в категорию того, с чем вы столкнетесь на экране телефона в роли разработчика внутреннего программного обеспечения. Интервьюеры обычно происходят из крупных компаний, таких как Google, Facebook и Uber, а также из стартапов, ориентированных на инженерное дело, таких как Asana, Mattermark и KeepSafe.

После каждого интервью интервьюеры оценивают собеседников по нескольким параметрам, включая технические возможности. Технические способности оцениваются по шкале от 1 до 4, где 1 - «плохо», а 4 - «потрясающе!» На нашей платформе оценка 3 или выше обычно означает, что человек достаточно хорош, чтобы двигаться вперед. Вы можете увидеть, как выглядит наша форма обратной связи, ниже:

Чтобы провести анализ этого поста, мы сопоставили средние технические баллы опрошенных (обведены красным в форме обратной связи выше) с этими атрибутами, чтобы увидеть, какие из них имеют наибольшее значение:

  • Посещал лучшую школу информатики
  • Работал в топовой компании
  • Занимались на Udacity или Coursera.
  • Основал стартап
  • Степень магистра
  • Годы опыта

Из всего этого только 3 атрибута оказались статистически значимыми: лучшая школа, лучшая компания и классы на Udacity / Coursera. Видимо, как однажды сказали добрые джентльмены из Metallica, все остальное не имеет значения.

На приведенном ниже графике вы можете увидеть размер эффекта каждого из значимых атрибутов (атрибуты, которые не достигли статистической значимости, не имеют полосок):

Как я сказал вначале, эти результаты были довольно неожиданными.

Давайте попробуем объяснить каждый из этих результатов.

Высшая школа и ведущая компания

Говоря об этом, я ожидал, что важна будет топовая компания, но не высшая школа. В компании есть смысл - вы выбираете людей, которые успешно прошли хотя бы одно собеседование, поэтому шансы на успех на будущих собеседованиях должны быть выше.

Высшая школа немного более грязная, и она действительно была наименее влиятельной из значимых характеристик.

Почему образование имело значение при этой итерации данных, но не имело значения, когда я просматривал резюме? Я полагаю, что ответ заключается в несоответствии между производительностью на изолированном техническом экране телефона и тем, что происходит, когда кандидат действительно приходит на площадку.

При правильной подготовке техническое собеседование по телефону можно осуществить. В лучших школах часто проводятся уроки строгих алгоритмов и есть культура подготовки к использованию технических экранов телефонов.

Чтобы понять, почему эта культура так важна и как она может создать несправедливое преимущество для тех, кто в нее погружен, посмотрите мой пост о том, как нам нужно переосмыслить техническое интервью. То, что прохождение алгоритмического технического экрана телефона на самом деле означает, что вы отличный инженер, - это совсем другой вопрос, и, надеюсь, это тема будущего поста.

Udacity / Coursera

Это участие в онлайн-курсах (в частности, Udacity и Coursera, к которым больше всего тяготели пользователи интервью.io) имело не меньшее значение, чем родословная, было, вероятно, самым удивительным открытием здесь, и поэтому оно заслуживает некоторые дополнительные копания.

В частности, мне было интересно узнать о взаимодействии онлайн-курсов и лучших школ. Поэтому я разделил участников онлайн-курсов на людей, которые учились в лучших школах, и на людей, которые не учились. Когда я это сделал, всплыло нечто поразительное.

Для людей, посещавших лучшие школы, прохождение курсов Udacity или Coursera не имело значения. Но для людей, не посещавших лучшие школы, эффект от этих онлайн-курсов был огромным. Настолько огромен, что доминировал на доске.

Более того, респонденты, посещавшие лучшие школы, показали значительно худшие результаты, чем респонденты, которые не посещали лучшие школы, но прошли курс Udacity или Coursera.

Итак, что это значит? Конечно (как вы, вероятно, думаете про себя, читая это), корреляция не подразумевает причинно-следственной связи.

Онлайн-курсы - это не обязательно волшебная пилюля.

Но я подозреваю, что люди, которые тянутся к онлайн-курсам - и особенно те, у кого на плече может быть чип по поводу своей родословной, кто может пить из шланга онлайн-курса - уже склонны ненормально управлять.

Но даже с учетом этого мне было бы трудно сказать, что завершение отличных онлайн-курсов по информатике не поможет вам стать лучше на собеседовании, особенно если до этого времени у вас не было преимуществ класса строгих алгоритмов. .

Действительно, многие курсы, которые мы видели, были посвящены алгоритмам, поэтому неудивительно, что дополнение вашей подготовки курсами, подобными этому, может быть чрезвычайно полезным.

Вот некоторые из самых популярных курсов, которые мы видели:

Udacity
Дизайн компьютерных программ
Введение в алгоритмы
Вычислимость, сложность и алгоритмы

Coursera
Специализация алгоритмов
Принципы функционального программирования в Scala
Машинное обучение
Алгоритмы на графах

Статус Основателя

Когда дело дошло до проведения технических собеседований, быть основателем не имело никакого значения.

В этом тоже нет ничего удивительного. То, что делает человека хорошим основателем, не обязательно делает его хорошим инженером. И если вы только что закончили стартап и хотите вернуться к роли индивидуального сотрудника, скорее всего, ваши навыки собеседования будут немного ржавыми.

Это также верно для людей, которые работали в отрасли, но давно не проходили технических собеседований, как вы увидите ниже.

Степень магистра и многолетний опыт работы

Здесь никаких сюрпризов. Я довольно много спорил о бесполезности магистерских степеней, поэтому не буду вдаваться в подробности.

Годы опыта тоже не должны вызывать удивления. Для контекста, у нашего среднего пользователя около 5 лет опыта, у большинства - от 2 до 10.

Я думаю, все мы анекдотично заметили, что время, проведенное вне школы, не идет вам на пользу, когда дело касается подготовки к собеседованию.

Вы можете увидеть диаграмму разброса результатов собеседования по сравнению с годами опыта ниже, а также мою попытку провести через него черту (как вы можете видеть, R² очень плохой, а это означает, что нет статистически значимой связи, о которой можно было бы говорить).

Заключительные мысли

Если вы знаете меня или читали некоторые из моих работ раньше, вы помните, что я резко возражал против концепции родословной как полезного сигнала при приеме на работу. Имея это в виду, я чувствую, что должен четко признать, что результаты, которые мы обнаружили на этот раз, противоречат моей позиции.

Но в том-то и дело, не правда ли? Вы живете, получаете данные, строите графики, учитесь, строите новые графики и корректируете.

Даже с этими новыми данными я рад видеть, что гораздо большее значение, чем родословная, имели действия, которые люди предпринимали, чтобы улучшить себя - в данном случае, дополняя свои существующие знания онлайн-курсами - независимо от их происхождения.

Что наиболее важно, эти результаты никак не повлияли на основную миссию интервьюing.io. Мы создаем эффективный и меритократический способ для кандидатов и компаний находить друг друга. Пока вы умеете писать код, нам все равно, кто вы и откуда.

В нашем идеальном мире все эти разговоры о том, какие прокси-серверы имеют большее значение, чем другие, были бы спорный вопрос, потому что способность кодирования означала бы, ну, в общем, способность кодирования. И это мир, который мы строим.

Хотите стать крутым на технических собеседованиях и получить в процессе следующую работу? Присоединяйтесь к интервью.io!