Что такое щи? Что раньше появилось — русские щи или борщ

Щи

Щи - основное жидкое горячее блюдо на русском столе вот уже более тысячелетия. Оно устойчиво сохранялось в разные эпохи, хотя вкусы менялись, и никогда не знало социальных преград, его употребляли все слои населения. Разумеется, щи были не для всех одинаковыми: одни, более полные по составу, так и назывались - «богатые», про другие говорили - «пустые», так как их порой варили из одной капусты да лука. Однако при всех многочисленных вариациях от «богатых» до «пустых» и при всех региональных (областных) разновидностях щей всегда сохранялся традиционный способ их приготовления и связанный с ним вкус и аромат. Огромное значение для создания неповторимого вкуса щей имело то, что они приготовлялись, а затем томились (настаивались) в русской печи. Не истребимый ничем аромат щей - «щаной дух» - всегда стоял в русской избе. Со значением щей в повседневной жизни были связаны русские поговорки: «Щи - всему голова», «Щи да каша - пища наша» и др.
Поразительное долголетие щей можно объяснить, пожалуй, их неприедаемостью. Щи не надоедают при частом употреблении. Их можно есть чуть ли не ежедневно в любое время года.
Щи в их наиболее полном варианте состоят из шести основных компонентов: капусты (или заменяющей ее ведущей овощной массы), мяса (или, в очень редких случаях, рыбы, грибов - сушеных или соленых), кореньев (моркови, корня петрушки), пряной заправы (лука, сельдерея, чеснока, укропа, перца, лаврового листа) и кислой заправы (сметаны, яблок, капустного рассола). Из этих шести компонентов первый и последний, т. е. овощная ведущая масса и кислая заправа, совершенно обязательны. Самые простые щи могут состоять только из них, продолжая оставаться щами.
Что касается ведущей овощной массы в щах, то чаще всего ею бывает капуста - свежая или квашеная. Но это отнюдь не означает, что щи - это суп с капустой. Признаком щей является кислота, создаваемая чаще всего рассолом квашеной капусты (либо в составе капусты, либо в чистом виде) или, вместо нее, щавелем (зеленые щи), разваром зеленых, диких или антоновских яблок, солеными грибами, а также сметаной (в щах из свежей капусты). Вот почему капусту можно заменять в щах различной зеленой, кислой или нейтральной массой (щавелем, снытью, крапивой, борщевиком - в так называемых зеленых борщевых щах), а также овощной нейтральной массой, хорошо впитывающей кислоту (репой или редькой - в так называемых репяных щах).
Технология приготовления всех видов щей одинакова. Вначале отдельно с кореньями и луком отваривают мясо или грибы. Затем в готовый бульон добавляют капусту или ее заменители и кислоту. Если для щей используют кислую капусту, то ее варят отдельно от мясного бульона и соединяют с ним после его готовности. В обоих случаях лишь после разваривания овощной массы до необходимой мягкости добавляют соль и пряную заправку. Сметаной заправляют готовые щи, чаще всего во время их подачи.
Первоначально в щи вводили еще и мучную заправку (вместе с капустой), чтобы сделать бульон щей более плотным. Это было принято обычно в западных и южных областях России. Однако такая заправка ухудшает вкус щей, огрубляет их аромат. Поэтому с появлением картофеля в целях крахмализации бульона в щи стали добавлять одну-две картофелины - в целом виде, до закладки капусты и кислой основы. Причем часто картофель затем изымают из щей, так как от кислоты он затвердевает. Уплотнению консистенции бульона в постных и зеленых щах способствует также добавление небольшого количества крупы, обычно гречневой (1 ст. ложка на всю кастрюлю), которая полностью разваривается.
Чем проще овощной состав щей, чем постнее они, тем больше умения требуется для их приготовления. Настоящие щи немыслимы без пряной заправы, которая играет немалую роль в создании «щаного духа». Прежде всего огромное значение имеет внесение лука в щи. Наилучшим способом является его двойная закладка: первый раз - целой луковицей вместе с мясом, кореньями и грибами (затем эту луковицу вынимают) и второй раз - мелко нарезанным луком (крошеным) вместе с капустой. В щи нельзя вносить пережаренный отдельно на масле лук - в таком виде он не свойствен настоящим щам.
Точно так же дважды вносят в щи и другую пряную заправу - петрушку и сельдерей: первый раз - корешком, который вынимают затем вместе с луковицей, вторично - в конце варки, в виде зелени. Остальные пряности - лавровый лист, черный перец горошком (раздавленный), укроп и чеснок - вносят так: первые два вида - за 15 мин до готовности, вторые два - вместе с зеленью петрушки в конце варки. После этого щи должны обязательно постоять под крышкой, помлеть, чтобы настояться, минут 10-15 как минимум. Именно в это время щи «доходят до настоящего вкуса»: капуста становится мягкой, кислота и аромат пряностей передаются овощам. Поэтому прежде оставляли щи млеть и томиться после приготовления в легком духу русской печи, где они не остывали, или же отставляли на край плиты, где тепло сохранялось, но кипение прекращалось. Особенно нуждаются в этом щи из кислой капусты. Их хорошо ставить в слабо нагретую духовку на 10-15 мин, а то и более. Иногда настаивание щей может длиться несколько часов (от 12 до 24), отчего они приобретают лучший и более своеобразный вкус. Такие щи называются суточными, их готовят загодя, за сутки.
Наконец, надо обратить внимание еще на два обстоятельства, влияющие на качество щей, - это выбор мяса и подбелка или забелка. На щи идет говядина, преимущественно жирная - грудинка, тонкий и толстый край, огузок. Для создания особого запаха к говядине можно добавлять небольшое количество ветчины: десятую - восьмую (а на юге России даже третью) часть от массы говядины. При этом говядину в щах всегда отваривают целым куском, а ветчину измельчают. Только в сборных щах измельчению подвергают все мясные компоненты. Щи из одной свинины, встречающиеся главным образом в пограничных с Украиной областях России, не типичны для русской кухни. То же можно сказать и о встречающихся в отдельных областях России щах с рыбой вместо мяса. Для таких щей когда-то непременно требовались особый подбор рыб (сочетание соленой красной - белужины и осетрины с речной - окунями, карасями и линями) и их раздельная тепловая обработка. Приготовление щей с другой рыбой дает не столь вкусное блюдо, которое потому и не получило распространения.
Что касается забелки, то хорошие щи не могут обойтись без нее. Роль забелки и одновременно подкислителя обычно выполняет сметана. Иногда сметану заменяют простоквашей или просто молоком. В богатых щах из кислой капусты забелкой служит смесь сметаны и сливок в пропорции 4:1. Это очень вкусная забелка.
Несколько слов о консистенции щей. Щи всех видов могут быть густыми либо жидкими, в зависимости от соотношения воды и массы вложенных продуктов. Когда-то идеальными считались густые щи, в которых «ложка стоит», или «щи с горкой», т. е. когда кусок мяса возвышается над поверхностью налитой в тарелку жидкости и гущи. Наши рецепты рассчитаны на щи более чем средней густоты; это означает, что количество жидкости на 1 порцию не должно превышать 350 мл. Холодной воды надо заливать не более 2 л на 4 порции, а лучше 1,5 л, чтобы готовый бульон составлял 1,25-1 л (после выкипания). Варить следует 2 ч. Пряности вносят в щи за 5-10 мин до готовности.
Едят щи обычно с черным ржаным хлебом.

. В.В. Похлебкин . 2005 .

В 2015 году, благодаря уникальным гастрономическим традициям народной кухни, Чагодощенский край был нанесён на «Вкусную карту России» и официально признан родиной серых щей.

И ведь нет повода не выпить, вернее, не возгордицца тем, что Чагода – область Вологодская

Рецепт от Анна Ивановны Соловьевой (1923 г.)
После первых заморозков в конце сентября - начале октября рубят капусту , отрывают верхние зеленые листья, тщательно моют их, складывают в специальную деревянную бочку и мелко рубят специальной сечкой на длинной палке. Для цвета добавляются листья белокочанной капусты . Добавляют 150 грамм соли на ведро и 150 грамм ржаной муки, все смешивается и укладывается закисать в деревянный бочонок. Сверху необходимо положить деревянный круг и прижать речным камнем.

После того, как крошево забродит, появится пена, которую необходимо снять. Специальным колом делаются дырки в крошеве, чтобы с газами выходила горечь, при этом камень и круг уже не кладется. Чем чаще шевелить крошево, тем оно вкуснее. Через сутки наливают холодную воду таким образом, чтобы после прижатия кругом с камнем 2-3 см. сверху была колодезная вода. На приготовление крошева уходит 4-5 дней.

Оговорюсь лишь, что ((((Рубят щи в корыте деревянном, типа тяпкой, потом складувают в бочку-бак-кастрюлю (эмальку) на худой конец (никогда, наверна, не засниму, хоть уже года 4 жду). Вместо муки можно и хлеб черный кинуть, квасим же (в смысле не бухаем, а от словей «квас-закваску» получить…)И вот именно это крошево и называецца «серые щи», а уж только потом то, что из него, крошева, готовят...
Моя банка капусты из Ярославской области, они, как и псковичи, архангелогородцы и т.д… переняли рецепт, но добавляли больше белых листьев и иногда морковь, цвет же натуральных – болотно-серо-зелеоный. Они и мороза не боятся, можно хранить на морозе но и в холоде хранить не обязательно, главное, в темном месте.
Свинина жирная на кости с салом
Картоха
Лук
и собственно щи щаниц а (половина литровой плотно утрамбованной банки без сока)

Свинину с картохой и луком целиковыми суем в печку, естессно залив водой, чтоб покрыло…. Ладно, расслабьтесь, в духовку в горшке-казане (на плите можно) на 180 градусов на полтора часа.

Картоху с луком и салом разминаем (мясорубим, трем на терке) в кашу. Если добавляете морковь, то ее тож целиком и мнем. Чуть присаливаем.

Пихаем щаницу (если сильно кислые, то промыто в холодной воде, сок отжать).

И обратно в духовку томить. Канеш, было б замечательно на ночь на 100 градусов, но долго, поэтому на 150гр на 2 часа минимум.
А щи мы будем есть с пирогом с солеными грибами, который, зовется ГУБНИК, губу закатали и рецептуру начинки чуть изменили (насчет рецепта я пытала подругу, которая родилась в деревне, совсем деревне на севере вологодчины). Парадокс в том, что моя русская бабушка была спецом по щам, поэтому мои любые и мамины ели все! Если рецепт щей я начинаю «ловить», то пироги она пекла еще обалденнее, но семья, а потом и появившиеся мы, с грибами не ели.
Так что ставим тесто по памяти (научить уже некому, кулебячное)
600 г муки ,
200 г масла ,
3 желтка ,
1 стакан молока ,
25 г дрожжей ,
1 ч. ложка соли .
Из половины муки, молока, дрожжей замесить тесто, дать подойти. Когда поднимется, замесить с остальной мукой, маслом, желтком, солью, дать подойти, после чего разделывать под пироги.
Оговорюсь сразу, я не очень люблю тесто, катала, как на пиццу и мешали все разом (обминая пару раз). Если хотите прям пирог, то тянуть, а не катать и на опаре, желательно.

Грибы промыть.

Сварить 2 яйца вкрутую.

Луковицу обжарить до прозрачности.

Грибы я не жарила, просто на горячей сковороде смешала начинку (там нет соли, черным молотым можно, но я не стала).

Выложить начинку на раскатанное тесто.

Сверху смазать жирной сметаной. Выпекала 25 мин просто верх/низ 220. А пока щи настаиваются (открыла ради посмотреть)

Пирог печется, надо же вспомнить выхи на «бабушкиной» даче… Там уже никто не напечет пирогов, не приготовит в печке самых вкусных разных щей, да и дом, кстати, купленный у дяди Мити, рожденнного в 1905 году в нем же, скоро снесется, ибо на его месте уже поднимается новый… Кстати, как они там жили? В деревке 10 домов (уже давно все дачные), километр до дороги, но зимой непроходимый, плиты положены уже при нас, но и наши буранами катают, если бухать зимой…
И жрем мы там шашлыки.

Но вернемся к нашим щам, ибо футбол, ибо выпить-закусить, еще и зима пришла или осень поздняя, как раз время грибов и капусты..
Кстати, это ваще не похоже на капусту. Думаю, есть общее с Абиной зеленью. Это невозможно переварить-тушить. Никогда не превратится в сопли. Очень бодрит 1 января, а выпить под них можно немеряно. А если вынести на балкон зимой, покроется ледяной коркой, а на 2-3-4….день будут вкуснее и вкуснее…

Можно осовременить, добавив, зажарку, томат и т.д., если готовить на плите, но иногда, чем проще, тем лучше.
И знаете, спасибо Топтухе , если б не конкурс местечковой кухни, я б никогда не узнала столько нового про блюда, знакомые с детства (парадокс)… Желаю нам всем это не растерять, ведь это ж, как родной язык, - наша КУХНЯ, и лжа, что бедная. Богатая она, как богаты и мы нашими местечковыми, национальными и т.д. традициями. Как богаты мы были, когда у нас было детство и бабушки-тетушки и т.д… Не хотелось бы, чтоб именно истоки канули в лету. Тем более, что истоки-то у нас огого!
Кстати, щи эти готовятся и с перловкой. Но пока это слишком нажористо. И – специи, там все лишнее. Подать со сметаной. Укроп-лук-чеснок чуть подавить с солью (по вкусу). Я, кроме каши, не солила вообще. А остроту пихаем по вкусу, но лучше в готовое.

Слово «щи» (шти) происходит от древнерусского «съти». Так называли любое жидкое питательное кушанье. Похлёбки из капусты стали готовить в IX веке, когда на Русь завезли и начали выращивать этот овощ. Блюдо быстро завоевало народную любовь.

«Щаной дух» всегда стоял в доме. Щи могли позволить себе все. Их можно было готовить в любое время года: летом со свежей, а зимой с квашеной капустой. И они никогда не приедались.

Знаете ли вы, что в XVIII–XIX веках щи замораживали в виде больших ледяных кругов и брали с собой в дорогу, а потом рубили, разогревали и ели?

Щи варили и в деревенских избах, и в дворянских усадьбах, и в царских дворцах. Обеспеченные слои населения могли позволить себе богатые щи (с мясом), а люди попроще готовили в основном вегетарианский вариант - пустые щи. Но независимо от того, какими были ингредиенты, щи обязательно томили в русской печи. Так овощи не бурлили в кипятке, а постепенно раскрывали свой вкус.

Lovelymama/Depositphotos.com

Сейчас можно позволить себе хоть гаспачо, хоть мисо, хоть суп-пюре. Но щи до сих пор для многих самое любимое первое блюдо. Поэтому мы расскажем, как приготовить отменные щи.

Богатые щи из квашеной или свежей капусты

Это современная вариация богатых щей - без белых грибов и репы (да простит нас Похлёбкин). Зато с технологией справится даже неопытный кулинар.

Ингредиенты на трёхлитровую кастрюлю:

• 500 г мяса на кости;
• 300 г квашеной или свежей капусты;
• 3 небольшие луковицы;
• 2–3 картофелины;
• 2 помидора;
• 1 небольшая морковь;
• растительное масло для жарки;
• лавровый лист, соль, перец горошком, перец душистый и другие специи - по вкусу;
• укроп, петрушка, сметана для подачи на стол.

Шаг 1. Варим бульон

Традиционно мясные щи варят на говяжьем бульоне, выбирая при этом грудинку, челышко и другие с костью. Но можно использовать свинину и даже курицу.

Мясо залейте водой и варите на среднем огне. Когда начнёт закипать, следите за пеной. Иначе бульон придётся процеживать.

Шаг 2. Добавляем капусту

Это главный компонент щей. Чаще всего используют квашеную капусту. Даже добавляют в суп её рассол. Благодаря квашеной капусте щи приобретают ту кислинку, за которую многие их так любят.

Кислые щи - это вовсе не щи, а разновидность кваса. Так в старину называли медово-солодовый напиток, которым лечили похмелье. Сейчас многие ошибочно называют кислыми щи с квашеной капустой.

Когда бульон закипит, добавьте в кастрюлю капусту. Если она у вас слишком , то её нужно предварительно промыть.

Если же вы готовите щи из свежей капусты, не забывайте, что, в отличие от квашеной, её нужно добавлять в конце варки, перед картошкой.

Убавьте огонь и попробуйте бульон на соль. Обычно солёности капусты вполне достаточно, но при желании можно немного подсолить. Капуста с мясом должны вариться ещё около часа.

Шаг 3. Делаем зажарку

Щи - заправочный суп, а значит, без зажарки не обойтись. Обжарьте мелко порезанный лук на растительном масле, затем добавьте к нему нашинкованную морковь и измельчённый помидор, а в самом конце ещё столовую ложку томатной пасты, чтобы суп имел насыщенный цвет.

Раньше лук в щи клали дважды. Первый раз целую луковицу вместе с мясом при варке бульона (потом её убирали). Была даже поговорка «Голь голью, а луковка во щах есть». Второй раз лук добавляли уже мелко порезанным вместе с капустой.

Шаг 4. Собираем щи

Через час-полтора готовки выловите из бульона, а когда оно немного остынет, отделите его от кости и порежьте небольшими кусочками. Затем верните его в суп вместе с зажаркой и картошкой.

Первоначально в щи для густоты добавляли ржаную муку. С распространением картофеля функцию крахмализации бульона взял на себя этот овощ.

GooDween/Depositphotos.com

Шаг 5. Добавляем специи

Примерно за 10 минут до готовности отправьте в кастрюлю лавровый лист, перец и другие специи по вкусу. Попробуйте щи. Если кажутся недосолёнными, подсолите.

В старину к щам подавали кондумы (ушки с грибами и другими начинками), перепечи или няни. Помните у Гоголя в «Мёртвых душах»: «…хлебнувши щей и отваливши с блюда огромный кусок няни, известного блюда, которое подаётся к щам и состоит из бараньего желудка, начинённого гречневой кашей…»?

Щи готовы! В качестве заправки обычно используют сметану и свежую зелень.

Раньше чугунок со щами мог томиться часами, пока печь не остынет. Чем дольше, тем вкуснее. Так появился особый вид щей - суточные. По составу они такие же, как обычные мясные, но готовятся намного дольше.

zoryanchik/Depositphotos.com

Чтобы превратить обычные щи в суточные, нужно после приготовления разлить их по и отправить в духовку, разогретую до 220 градусов. Когда суп закипит, уменьшите температуру до 160 °С и томите ещё два часа. После этого убавляйте температуру на 10–15 градусов каждый час, пока не дойдёте до 70–80 °С. Это имитирует температурный режим остывающей русской печи.

Ещё один вариант: после приготовления укутайте кастрюлю со щами во что-нибудь тёплое и дайте им постепенно остыть (это займёт 4–6 часов).

Кроме того, можно использовать мультиварку, экспериментируя с режимом выпечки и тушения, а также функцией поддержания тепла.

Это вариант пустых щей. Он отлично подойдёт тем, кто не ест мясо или .

Ингредиенты на трёхлитровую кастрюлю:

• 350 г кеты, трески или любой другой рыбы с небольшим количеством костей;
• 400 г квашеной капусты;
• 150–200 г свежих лесных грибов;
• 3 небольшие луковицы;
• 2–3 картофелины;
• 2 помидора;
• 1 небольшая морковь;
• 1 столовая ложка томатной пасты;
• сливочное и растительное масло для жарки;
• лавровый лист, соль, перец горошком, перец душистый и другие специи по вкусу;
• укроп, петрушка, сметана для подачи.

Приготовление

Налейте в кастрюлю воды и добавьте туда квашеную капусту. Когда начнёт закипать, снимите пену и убавьте огонь до минимума. Капуста должна вариться 40–60 минут. Затем добавьте в бульон свежую , порезанную большими кусками. Через 20 минут выловите рыбу, отделите её от костей и измельчите. Верните рыбу в бульон.

Порубите и отварите грибы. Лучше использовать именно лесные: белые, подберёзовики, опята. Затем обжарьте их на сливочном масле. На отдельной сковороде сделайте зажарку: обжарьте на растительном масле лук, морковь, помидоры и томатную пасту.

Отправьте грибы и зажарку в бульон и варите ещё около 10 минут. Добавьте все специи. Не забудьте посолить! Ещё через 10–15 минут рыбно-грибные щи готовы. Подавать их можно так же, как и богатые щи, с зеленью и сметаной.

Nalga/Depositphotos.com

Приятного аппетита!

Поучи жену щи варить!

В современной кулинарии несколько десятков разновидностей щей. Какие щи готовите вы? Поделитесь своим любимым рецептом в комментариях.

Рецепт приготовления щей выдает его глубокую архаику. Готовится этот суп, как известно, на мясном или овощном бульоне, с добавлением грибов, иной раз и с рыбой. Непременно добавляют в щи овощи: капусту, репу, морковь, лук. Позднее вместо репы стали добавлять картофель. Историк русской кухни Похлебкин отмечает парадоксальную вещь: ни один из этих ингредиентов не является обязательным. Мясо может быть, а может и не быть, грибы можно добавлять, а можно и нет. Даже капуста, при том, что она считается основой щей, присутствует не обязательно. Все знают зеленые щи, сваренные со щавелем, крапивой и другими травами. Очевидно, что готовили щи исстари по принципу: все, что есть в доме – клади в горшок. По этой причине существует такое множество разновидностей щей: мясные, богатые, сборные, грибные, постные, рыбные, зеленые и т.п. Хозяйка помещала в горшок все, чем была богата, заливала водой и ставила в печь. Этим технологические тонкости приготовления щей, вероятно, исчерпывались. Не стоит забывать и о такой архаичной особенности рецепта щей, как добавление в кушанье мучной болтушки, чтобы сделать варево более сытным. От муки отказались лишь в XIX веке, когда в моду вошла французская кухня.

Что касается борща, то здесь мы не найдем патриархальной простоты горшка со щами. Готовят классический борщ на свекольном квасе, непременно с использованием зажарки, что характерно для кухни, уже знающей, что такое изысканное приготовление. Многие продукты для борща должны подвергаться серьезной предварительной обработке. Если хозяйка обходится без свекольного кваса, она должна потушить или запечь свеклу, чтобы добиться желаемого красного цвета и характерного вкуса, лук и морковь так же предварительно жарятся или тушатся, помидоры измельчаются в пасту. И, разумеется, даже и речи нет о введении мучной болтушки, которая испортит благородный вкус красного супа. «Забелить» борщ можно только сметаной и никак иначе.

Распознаванием лиц в 2018 году никого не удивишь – каждый студент, может, даже школьник, его делал. Но всё становится немного сложнее, когда у вас не датасет на 1 млн пользователей, а:

• 330 миллионов пользовательских аккаунтов;
• ежедневно заливается 20 млн пользовательских фотографий;
• максимальное время на обработку одного фото не должно превышать 0.2 сек ;
• ограниченные объемы оборудования для решения задачи.

В этой статье мы поделимся опытом разработки и запуска системы распознавания лиц на пользовательских фотографиях в социальной сети Одноклассники и расскажем про все ”от А до Я”:

• математический аппарат;
• техническую реализацию;
• результаты запуска;
• и акцию StarFace , которую мы использовали для PR-а нашего решения.

Задача

Более 330 млн аккаунтов зарегистрировано в Одноклассниках, в этих аккаунтах содержится более 30 млрд фото.

Пользователи ОК заливают 20 млн фото в сутки. На 9 млн загруженных за сутки фотографий присутствуют лица, а всего детектируется 23 млн лиц. То есть, в среднем 2.5 лица на фотографию, содержащую хотя бы одно лицо.

У пользователей есть возможность отмечать людей на фотографии, но обычно они ленятся. Мы решили автоматизировать поиск друзей на фотографиях, чтобы увеличить информированность пользователя о загруженных с ним фотографиях и объем фидбека для пользовательских фотографий.

Система распознавания пользователей в соц сети

Распознавание лиц на загруженном фото

Пользователь загружает фото с любого клиента (с браузера или мобильных приложений iOS, Android), оно попадает на детектор, задача которого найти лица и выровнять их.

После детектора нарезанные и предобработанные лица попадают на нейросетевой распознаватель, который строит характеристический профиль лица пользователя. После этого происходит поиск наиболее похожего профиля в базе. Если степень похожести профилей больше граничного значения, то пользователь автоматически детектируется, и мы отсылаем ему уведомление, что он есть на фото.

Рисунок 1. Распознавание пользователей на фото

Перед тем, как запустить автоматические распознавание, нужно создать профиль каждого пользователя и заполнить базу.

Построение пользовательских профилей

Для работы алгоритмов распознавания лиц, достаточно всего одной фотографии, например аватарки. Но будет ли эта аватарка содержать фото профиля? Пользователи ставят на аватарки фотографии звёзд, а профили изобилуют мемасиками или содержат только групповые фотографии.

Рисунок 2. Трудный профиль

Рассмотрим профиль пользователя, состоящий только из групповых фотографий.
Определить владельца аккаунта (рис. 2) можно если учитывать его пол и возраст, а также друзей, профили которых были построены ранее.

Рисунок 3. Построение пользовательских профилей

Мы строили профиль пользователя следующим образом (Рис. 3):

1) Выбирали наиболее качественные фотографии пользователя

Если фотографий было слишком много, мы использовали не более ста лучших.
Качество фотографий определяли на основе:

• наличия отметок пользователей на фото (фотопинов) ручным способом;
• метаинформации фотографии (фото загружено с мобильного телефона, снято на фронтальную камеру, в отпуске, ...);
• фото было на аватарке

2) Искали на этих фотографиях лица

• не страшно, если это будут другие пользователи (на шаге 4 мы их отфильтруем)

3) Вычисляли характеристический вектор лица

• такой вектор называется эмбеддингом

4) Производили кластеризацию векторов

Задача этой кластеризации – определить, какой именно набор векторов принадлежит владельцу аккаунта. Основная проблема – это наличие друзей и родственников на фотографиях. Для кластеризации мы используем алгоритм DBScan.

5) Определяли лидирующий кластер

Для каждого кластера мы считали вес на основании:

• размера кластера;
• качества фотографий, по которым построены эмбеддинги в кластере;
• наличия фотопинов, привязанных к лицам из кластера;
• соответствия пола и возраста лиц в кластере с информаций из профиля;
• близость центроида кластера к профилям друзей, вычисленным ранее.

Коэффициенты параметров, участвующих в вычислении веса кластера обучим линейной регрессией. Честный пол и возраст профиля – отдельная сложная задача, об этом расскажем далее.

Чтобы кластер считался лидером, нужно чтобы его вес был больше ближайшего конкурента на константу, рассчитанную на обучающей выборке. Если лидер не найден, мы еще раз переходим к пункту 2, но используем большее число фотографий. Для некоторых пользователей мы сохраняли два кластера. Такое бывает для совместных профилей - некоторые семьи имеют общий профиль.

6) Получали эмбеддинги пользователя по его кластерам

• Наконец, строим вектор, который будет характеризовать внешность владельца аккаунта, – “эмбеддинг пользователя”.

Эмбеддинг пользователя – это центроид отобранного для него (лидирующего) кластера.
Строить центроиды можно множеством разных способов. После многочисленных экспериментов мы вернулись к самому простому из них: усреднение входящих в кластер векторов.

Как и кластеров, эмбеддингов у пользователя может быть несколько.

За время итерации мы обработали восемь миллиардов фото, проитерировали 330 млн профилей и построили эмбеддинги для трехсот миллионов аккаунтов. В среднем, для построения одного профиля мы обрабатывали 26 фотографий. При этом для построения вектора достаточно даже одной фотографии, но чем больше фото, тем больше наша уверенность, что построенный профиль принадлежит именно владельцу аккаунта.

Процесс построения всех профилей на портале мы производили несколько раз, так как наличие информации о друзьях повышает качество выбора кластера.
Объем данных необходимый для хранения векторов ~300 GB.

Детектор лиц

Первую версию детектора лиц ОК запустили в 2013 году на базе стороннего решения, схожего по характеристикам с детектором на базе метода Виолы - Джонса. За 5 лет это решение устарело, современные решения, основанные на MTCNN , показывают точность в два раза выше. Поэтому мы решили следовать трендам и построили свой каскад из сверточных нейронных сетей (MTCNN).

Для работы старого детектора мы использовали более 100 “стареньких” серверов с CPU. Практически все современные алгоритмы нахождения лиц на фото основаны на свёрточных нейронных сетях, которые наиболее эффективно работают на GPU. Закупить большое число видеокарт мы не имели возможности по объективным причинам: дорого все скупили майнеры. Решено было запускаться c детектором на CPU (ну не выкидывать же сервера).

Для детектирования лиц на заливаемых фотографиях мы используем кластер из 30 машин (остальные пропили сдали в утиль). Детектирование при построении пользовательских векторов (итерации по аккаунтам) мы делаем на 1000 виртуальных ядрах с низким приоритетом в нашем облаке. Облачное решение детально описано в докладе Олега Анастасьева : One-cloud - ОС уровня дата-центра в Одноклассниках .

При анализе времени работы детектора мы столкнулись с таким худшим случаем: сеть верхнего уровня пропускает слишком много кандидатов на следующий уровень каскада, и детектор начинает работать долго. Например, время поиска достигает 1.5 секунд на таких фотографиях:

Рисунок 4. Примеры большого количества кандидатов после первой сети в каскаде

Оптимизируя этот случай, мы высказали предположение, что на фотографии обычно немного лиц. Поэтому, после первого этапа каскада мы оставляем не больше 200 кандидатов, опираясь на уверенность соответствующей нейросети в том, что это лицо.
Такая оптимизация уменьшила время худшего случая до 350 мс, то есть в 4 раза.

Применив пару оптимизаций (например, заменив Non-Maximum Suppression после первой ступени каскада на фильтрацию на основе Blob detection), разогнали детектор ещё в 1.4 раза без потери качества.
Впрочем прогресс на месте тоже не стоял, и сейчас искать лица на фото принято более элегантными методами - см. FaceBoxes . Не исключаем, что в ближайшее время и мы переедем на нечто подобное.

Распознаватель лиц

При разработке системы распознавателя мы экспериментировали с несколькими архитектурами: Wide ResNet , Inception-ResNet , Light CNN .
Немного лучше остальных себя показала Inception-ResNet, пока остановились на ней.

Для работы алгоритма нужна обученная нейронная сеть. Её можно найти на просторах интернета, купить, либо обучить самим. Для обучения нейронных сетей необходим некоторый набор данных (датасет), на котором происходит обучение и валидация. Так как распознавание лиц - известная задача, для неё уже существуют готовые датасеты: MSCeleb, VGGFace/VGGFace2, MegaFace. Однако, тут вступает в дело суровая реальность: обобщающая способность современных нейросетей в задачах идентификации по лицу (да и вообще) оставляет желать лучшего.
А на нашем портале лица сильно отличаются от того, что можно найти в открытых датасетах:

• Иное распределение возрастов – на наших фото есть дети;
• Другое распределение этносов;
• Попадаются лица в очень низком качестве и разрешении (фото с телефона, снятые 10 лет назад, групповые фото).

Третий пункт легко побороть, искусственно уменьшив разрешение и наложив артефакты jpeg-а, а вот остальное качественно сэмулировать не получится.
Поэтому мы решили составить собственный датасет.

В процессе построения набора методом проб и ошибок мы пришли к такой процедуре:

1. Выкачиваем фото из ~100k открытых профилей
   Профили выбираем случайно, минимизируя количество тех, кто состоит друг с другом в дружеских отношениях. Вследствие этого считаем, что каждый человек из датасета появляется только в одном профиле
2. Строим вектора (эмбеддинги) лиц
   Для построения эмбеддингов используем предобученную опенсорсную нейросеть (мы взяли отсюда).

Кластеризуем лица в рамках каждого аккаунта
Пара очевидных наблюдений:

• Мы не знаем, сколько разных людей появляются на фото из аккаунта. Следовательно, кластеризатор не должен требовать количество кластеров в качестве гиперпараметра.
• В идеале для лиц одного и того же человека надеемся получить очень похожие вектора, образующие плотные сферические кластеры. Но Вселенной нет дела до наших чаяний, и на практике эти кластера расползаются в замысловатые формы (например, для человека в очках и без кластер обычно состоит из двух сгустков). Поэтому centroid-based методы тут нам не помогут, нужно использовать density-based.

  По этим двум причинам и результатам экспериментов выбрали DBSCAN . Гиперпараметры подбирали руками и валидировали глазами, тут всё стандартно. Для самого главного из них – eps в терминах scikit-learn – придумали простенькую эвристику от количества лиц в аккаунте.

3. Фильтруем кластера
   Основные источники загрязнения датасета и как мы с ними боролись:

   • Иногда лица разных людей сливаются в один кластер (из-за несовершенства нейросети-рекогнайзера и density-based природы DBSCAN-а).
     Помогла нам простейшая перестраховка: если два или более лиц в кластере пришли из одной фотографии, мы такой кластер на всякий случай выкидывали.
     Это значит, любители селфи-коллажей в наш датасет не попадали, но оно того стоило, ибо количество ложных “слияний” уменьшилось в разы.
   • Случается и обратное: одно и то же лицо образует несколько кластеров (например, когда есть фотографии в очках и без, в макияже и без и т.д.).
     Здравый смысл и эксперименты привели нас к следующему. Измеряем расстояние между центроидами пары кластеров. Если оно больше определённого порога - объединяем, если достаточно велико, но порог не проходит - выкидываем один из кластеров от греха подальше.
   • Бывает, детектор ошибается, и в кластерах оказываются вовсе не лица.
     К счастью, нейросеть-распознаватель легко заставить фильтровать такие ложные срабатывания. Подробнее об этом ниже.
4. Дообучаем нейросеть на том, что получилось, возвращаемся с ней к пункту 2
   Повторять 3-4 раза до готовности.
   Постепенно сеть становится лучше, и на последних итерациях надобность в наших эвристиках для фильтрации вовсе отпадает.

Решив, что чем разнообразнее, тем лучше – подмешиваем к нашему новенькому датасету (3.7M лиц, 77K людей; кодовое название - OKFace) что-нибудь ещё.
Самым полезным чем-нибудь ещё оказался VGGFace2 – достаточно большой и сложный (повороты, освещение). Как водится, составлен из найденных в Гугле фото знаменитостей. Неудивительно, что очень “грязный”. К счастью, почистить его дообученной на OKFace нейросетью – дело тривиальное.

Функция потерь

Хорошая функция потерь для Embedding learning – всё ещё открытая задача. Мы попытались подойти к ней, опираясь на следующее положение: нужно стремиться, чтобы функция потерь максимально соответствовала тому, как модель будет использоваться после обучения

А использоваться наша сеть будет самым стандартным образом.

При нахождении на фото лица его эмбеддинг будет сравниваться с центроидами из профилей кандидатов (самого пользователя + его друзей) по косинусному расстоянию. Если , то заявляем, что на фото - кандидат номер .

Соответственно, хотим, чтобы:

Отклонение от этого идеала будем наказывать по квадрату, потому что все так делают эмпирически так оказалось лучше. То же самое на языке формул:

А сами центроиды – это просто параметры нейросети, обучаются, как и всё остальное, градиентным спуском.

У такой функции потерь есть свои проблемы. Во-первых, она плохо подходит для обучения с нуля. Во-вторых, подбирать целых два параметра - и - довольно утомительно. Тем не менее, дообучение с её использованием позволило добиться более высокой точности, чем остальными известными нам функциями: Center Loss , Contrastive-Center Loss , LMCL (CosFace) .

И стоило оно того?

цифры в таблице - средние результаты 10 замеров +-стандартное отклонение

Важный для нас показатель - [email protected]: какой процент лиц мы опознаем при фиксированной доле ложных срабатываний (здесь - 0.1%).
С лимитом ошибок 1 на 1000 и без дообучения нейросети на нашем датасете мы могли распознавать лишь половину лиц на портале.

Минимизируем ложные срабатывания детектора

Детектор порой находит лица там, где их нет, причём на пользовательских фото делает это часто (4% срабатываний ложные).
Довольно неприятно, когда такой “мусор” попадает в тренировочный датасет.
Очень неприятно, когда мы настойчиво просим наших пользователей “отметить друга” в букете роз или на текстуре ковра.
Решить проблему можно, и самый очевидный способ – собрать побольше не-лиц и прогнать через нейросеть-рекогнайзер их выявлять.

Мы же по обыкновению решили начать с быстрого костыля:

Интересно здесь то, что сеть-распознаватель отправляет всё разнообразие не-лиц всего в несколько областей в пространстве эмбеддингов, хотя её такому никто не учил.

Все врут или определение реального возраста и пола в социальной сети

Пользователи часто не указывают свой возраст или указывают его неправильно. Поэтому возраст пользователя будем оценивать используя его граф друзей. Тут нам поможет кластеризация возрастов друзей: в общем случае возраст пользователя в наибольшем кластере возрастов его друзей, а с определением пола нам помогли имена и фамилии.

Архитектура решения

Так как вся внутренняя инфраструктура ОК построена на Java, то и все компоненты мы завернем в Java. Inference на detector и recognizer работает под управлением TensorFlow через Java API. Detector работает на CPU так как удовлетворяет нашим требованиям и работает на уже имеющемся оборудовании. Для Recognizer-а мы установили 72 GPU карты, так как запуск Inception-ResNet не целесообразен на CPU с точки зрения ресурсов.

В качестве базы данных для хранения векторов пользователя используем Cassandra.
Так как суммарный объем векторов всех пользователей портала ~300Gb, то для быстрого доступа к векторам добавляем кэш. Кэш реализован в off-heap, детали можно прочитать в статье Андрея Паньгина : «Использование разделяемой памяти в Java и off-heap кеширование ».

Построенная архитектура выдерживает нагрузку до 1 млрд фото в сутки при итерации по пользовательским профилям, при этом параллельно продолжается обработка новых заливаемых фотографий ~20 млн фото в сутки.

Рисунок 6. Архитектура решения

Результаты

В результате мы запилили систему, натренированную на реальных данных социальной сети, дающую хорошие результаты при ограниченных ресурсах.

Качество распознавания на датасете, построенном на реальных профилях из ОК, составило TP=97.5% при FP=0.1%. Среднее время обработки одной фотографии составляет 120 мс, а 99 перцентиль укладывается в 200 мс. Система самообучающаяся, и чем больше тегируют пользователя на фото, тем точнее становится его профиль.

Теперь после загрузки фото пользователи, найденные на них, получают уведомления и могут подтвердить себя на фотографии или удалить, если фото им не нравится.

Автоматическое распознавание привело к 2-кратному росту показов событий в ленте об отметках на фотографиях, а количество кликов на эти события выросло в 3 раза. Интерес пользователей к новой фиче очевиден, но мы планируем вырастить активность еще больше за счет улучшения UX и новых точек применения, таких как Starface.

Флешмоб StarFace

За первые дни акции пользователи уже загрузили более 10 тысяч фото со знаменитостями. Выкладывали селфи и фотографии со звездами, фото на фоне афиш и, конечно, “фотошоп”. Фото пользователей, получивших ВИП-статус:

Планы

Так как большая часть времени тратится на детектор, то дальнейшую оптимизацию скорости нужно проводить именно в детекторе: заменить его или перенести на GPU.

Добавить метки