Справочник Банковский идентификационный код (БИК) банков

Поиск банка по БИК Искать по справочнику банковских идентификационных кодов

---

Банковский идентификационный код

Банковский идентификационный код (сокращенное название БИК) – это уникальный код присваиваемый банку (идентификатор банка) и служащий при проведении платежей на территории Российской Федерации. Присваивается БИК Центробанк РФ (Банком России) при регистрации кредитной организации, Центробанк РФ так же ведется реестр классификаторов БИК.

БИК состоит из 9 цифр:

• 04 (Россия)

  Код страны (в данном случае код Российской Федерации – 04)

• 45 (Город Москва)

  Территориальный код субъекта Российской Федерации по ОКАТО

• 25 (Главное управление)

  Условный номер подразделения расчетной сети Банка России, уникальный в рамках территориального учреждения Банка России, в составе которого действует данное подразделение расчетной сети Банка России, или условный номер структурного подразделения Банка России — принимает цифровые значения от 00 до 99

• 225 (ПАО СБЕРБАНК)

  Условный номер кредитной организации (всегда соответствуют трем последним цифрам в корреспондентском счёте банка и могут принимать значение от 050 до 999)

Что такое банковский идентификационный код (БИК)?

Обратите внимание, что при работе банковских учреждений на территории Российской Федерации применяются особые коды для идентификации таких учреждений. Такой код называется банковский идентификационный код. Стоит также отметить, что повсеместно используется аббревиатура БИК, которая также применяется для обозначения уникального номера финансовой организации, работающей в финансовой среде, регулируемой Центральным Банком Российской Федерации.

Давайте поговорим о том, зачем нужен БИК, и какое значение его наличие или отсутствие имеет для участников финансового рынка. Начнем с того, что такой код является обязательным реквизитом финансового учреждения, а также используется для идентификации банка или финансовой организации во время выполнения платежных операций. Указав БИК, вы можете получить полное наименование банка, номер корреспондентского счета, а также регион, в котором зарегистрирована финансовая организация.

Стоит отдельно отметить, что отсутствие БИК не позволяет провести платеж или оформить платежное поручение, т.к. данный реквизит является одним из ключевых параметров при формировании и проведении платежа. Добавим, что БИК состоит из девяти цифр, каждая из которых несет в себе определенное значение.

Первые две цифры используются для обозначения страны, а следующие две – для отображения региона, в котором работает банк или финансовая организация. Следующие две цифры используются для обозначения номера подразделения, а последние три – для отображения номера банковской организации или одного из ее филиалов. Полезный совет: три последние цифры корр. счета совпадают с тремя последними цифрами БИК. Вы можете использовать данную информацию для дополнительной проверки правильности указанных реквизитов. Добавим, что главный регулятор финансового рынка России — Центральный Банк РФ, отвечает за формирование уникального каталога, который называется Справочником БИК и содержит в себе информацию обо всех действующих банковских организациях. Стоит также добавить, что такой каталог обновляется на ежедневной основе за исключением праздничных дней и официальных выходных.

Справочник БИК онлайн — поиск банков по БИК, корреспондентскому счёту

Справочник БИК всех банков РФ. Поиск банков по реквизитам и регионам.

Поиск банка по БИК:

Поиск банка по корсчету:

На территории РФ для идентификации участников расчётов используются банковские идентификационные коды (сокращённо БИК). БИК используется в платёжных документах для идентификации банка и является обязательным элементом банковских реквизитов. Он позволяет определить название банка, корреспондентский счёт, региональное расположение. Полный перечень кодов представлен в справочнике БИК, поддержку которого осуществляет Банк России (ЦБ РФ). Справочник БИК обновляется ежедневно кроме выходных и праздничных дней.

Актуализация справочника БИК на сайте bik10.ru:
Дата обновления — 16.08.2021. Следующее обновление — 17.08.2021. Всего записей — 1483.

БИК банков

Все БИК популярных банков:

Структура БИК

БИК представляет собой уникальный в рамках платёжной системы Банка России девятизначный номер — число из 9 цифр (разрядов). Первая цифра номера определяет вид участия в платёжной системе, последующие цифры номера являются идентификатором участника платежной системы:

0 (0х хх хх ххх) — участник платежной системы с прямым участием;
1 (1х хх хх ххх) — участник платежной системы с косвенным участием;
2 (2х хх хх ххх) — клиент Банка России, не являющийся участником платежной системы.

Номер БИК, начинающийся с 0, однозначно идентифицирует банк РФ:

• первые две цифры — код страны (РФ имеет код 04),
• третья и четвёртая — код региона РФ в соответствии с первыми двумя разрядами кода ОКАТО (Общероссийского классификатора объектов административно-территориального деления), в случае «00» территория находится за пределами России),
• пятая и шестая — номер подразделения ЦБ РФ,
• последние три — номер кредитной организации или её филиала, или другого клиента ЦБ РФ, не являющегося кредитной организацией, уникальный в рамках подразделения.

Покажем разряды БИК на примере кода 044525225 ПАО Сбербанк:

Замечания относительно кодов:

1. последние 3 цифры БИК совпадают с последними цифрами в корреспондентском счёте банка — используйте это для исключения ошибок при указании реквизитов банка;
2. если у банка несколько БИК, то нельзя однозначно определить БИК только по номеру карты (дебетовой или кредитной) или по расчётному номеру клиента банка;
3. ТУ Банка России (территориальное учреждение) и структурное подразделение в составе ТУ Банка России имеют БИК, оканчивающиеся на «000», «001»;
4. Полевые учреждения Банка России, структурные подразделения центрального аппарата Банка России, подразделения Центрального хранилища Банка России имеют БИК, оканчивающиеся на «002».

Сведения о справочнике

Ответственный за ведение справочника — Центральный банк Российской Федерации (Банк России). Структура справочника БИК, формат кодов описаны в официальном документе ЦБ РФ — Положении Банка России «О справочнике банковских идентификационных кодов участников расчетов, осуществляющих перевод денежных средств в рамках платежной системы Банка России, и подразделений Банка России, не являющихся участниками расчетов». В документе отражаются сведения:

1. общие положения о справочнике;
2. структура банковских идентификационных кодов, порядок формирования;
3. реквизиты участников расчетов и подразделение Банка России, не являющихся участниками расчетов, в справочнике;
4. порядок включения в справочник сведений об участниках расчетов и подразделений Банка России, не являющихся участниками расчетов;
5. порядок исключения из справочника сведений об участниках расчетов и подразделениях Банка России, не являющихся участниками расчетов;
6. порядок внесения изменений в справочник;
7. порядок обновления сведений, включенных в справочник;
8. заключительные положения и приложения.

Поддержка и публикация

Банк России предоставляет доступ к справочнику БИК своим клиентам, которые имеют специализированные программные средства. Справочник имеет унифицированный формат электронных банковских сообщений (УФЭБС), представленный на языке разметки XML (схема ED807). Программные средства преобразуют данные из «технического непонятного» формата в «человеческий понятный» вид.

До конца 2018 года справочник БИК публиковался на сайте cbr.ru в формате базы данных dbf. С 1 января 2019 года справочник публикуется только в xml (в соответствии с УФЭСБ) на странице платёжной системы Банка России.

17 ноября 2018 года на сайте ЦБ РФ был закрыт раздел «Справочник соответствия БИК и СВИФТ БИК», где публиковался справочник БИК-СВИФТ в виде zip-архива из dbf и word-файла.

Изменения в справочнике

До 2018 года номер БИК начинался с «04». В 2018 году в связи с новыми правилами формирования кодов, описанными в Приложении к Положению №595-П Банка России, номера начинаются с 0, 1 и 2.

Текущие правила формирования БИК действуют от 2 июля 2018 года согласно Приложению №6 к Положению ЦБ РФ №595-П, подписанным Председателем Центрального банка Российской Федерации Э.С. Набиулиной. До этой даты правила формирования БИК действовали на основании Положения ЦБ РФ № 544-П от 19 мая 2016 года, которое признано утратившим силу. Предшествующие Положения и Указания Банка России были признаны утратившими силу (Глава 8 Положения). Согласно информационному письму Банка России от 08.08.2016 № ИН-017-45/59 отменялись письма Банка России от 24.11.2009 № 149-Т и от 23.04.2013 № 80-Т.

Также в 2018 году произошли большие изменения в структуре крупных банков России, что повлекло корректировку многих записей в справочнике БИК.

1. Первого января 2018 года осуществлено присоединение «ВТБ 24» к «ВТБ». Бренд «ВТБ 24» закрыт, вся операционная деятельность клиентов «ВТБ 24» осуществляется через «ВТБ». У 8 филиалов 01.01.2018 поменялись реквизиты. Подробнее смотрите на странице БИК Банка ВТБ.
2. Сбербанк реструктуризировал свою региональную сеть. В 2018 году число территориальных банков сократилось с 16 до 12.
   У отделений в Пермском крае и Ярославской области 01.05.2018 изменились реквизиты. Смотрите подробнее БИК Сбербанка.
3. В банке «ФК Открытие» прошла реструктуризация. До конца 2018 года ликвидированы 6 филиалов: из 23 филиалов осталось 17.
   В 6 ликвидируемых филиалах велось временное функционирование счёта до конца года. Подробнее смотрите на странице БИК Банка Открытие.
4. АО «Россельхозбанк» ликвидировал 18.09.2018 Курганский филиал (БИК 043735825). Клиентам закрытого филиала следует использовать реквизиты Челябинского филиала (БИК 047501821).

Ликвидированные Банком России коды БИК смотрите в списке исключённых БИК. Для некоторых ликвидированных БИК назначены преемники, смотрите список замен БИК.

Реквизиты для заполнения отчетности и расчетных документов | ФНС России

Справочники и классификаторы, используемые ФНС России

---

Информация ниже зависит от вашего региона (47 Ленинградская область)

Ваш регион был определен автоматически. Вы всегда можете сменить его, воспользовавшись переключателем в верхнем левом углу страницы.

С 01.01.2021 года Управлением Федерального казначейства по Ленинградской области в соответствии с требованием Федерального закона от 27.12.2019 №479-ФЗ «О внесении изменений в Бюджетный кодекс Российской Федерации» осуществлен переход на казначейское обслуживание и систему казначейских платежей. Все федеральные налоги и сборы, иные платежи, а также региональные и местные налоги и сборы, иные платежи в полном объеме подлежат зачислению по следующим реквизитам:

Наименование подразделения Банка России/ Наименование и место нахождения ТОФК (13 поле)	Отделение Ленинградское/УФК по Ленинградской области, г. Санкт-Петербург
Банковский идентификационный код (БИК) банка получателя средств (14 поле БИК)	014106101
Номер счета банка получателя средств (15 поле Сч.№)- Единый казначейский счет	40102810745370000006
Номер счета получателя средств (17 поле Сч.№)- Казначейский счет для осуществления и отражения операций по учету и распределению поступлений	03100643000000014500

Реквизиты для оплаты государственной пошлины за государственную регистрацию ЮЛ или ИП Наименование налогового органа – ИФНС России по Выборгскому району Ленинградской области

ИНН 4704020508

КПП 470401001

Наименование подразделения Банка России/
Наименование и место нахождения ТОФК (13 поле) – Отделение Ленинградское/УФК по Ленинградской области, г. Санкт-Петербург

БИК (14 поле): 014106101

Номер счета банка получателя средств (15 поле
Сч.№)- Единый казначейский счет: 40102810745370000006

Номер счета получателя средств (17 поле
Сч.№)- Казначейский счет для осуществления
и отражения операций по учету и распределению
поступлений: 03100643000000014500

ОКТМО: 41615101

КБК: 182 1 08 07010 01 1000 110 (если документы на регистрацию предоставляются через МФЦ КБК должен быть: 182 1 08 07010 01 8000 110).

Загрузка справочников (Банки, Курсы валют, ОКОФ, ЕНАОФ)

Александра Яловая

Методист клиентского сервиса Scloud

Для самостоятельного обновления справочников в базах требуются учетные данные ИТС. Вы можете заказать логин/пароль для личного кабинета portal1c.ru и регистрационные номера для используемых конфигураций обратившись к своему менеджеру или оставив заявку в отдел Поддержки клиентов. Данная услуга предоставляется в рамках обслуживания и не требует дополнительной оплаты, исключение составляет подключение дополнительных платных сервисов 1С:ИТС, таких как «1С: Контрагент», «1С:СтартЭДО», «1СПАРК Риски» и др.

Подключение ИТС

Классификатор банков и курсы валют

ОКОФ и ЕНАОФ

Прочие классификаторы

 

Подключение ИТС

После получения учетных данных ИТС следует войти в базу, открыть раздел «Администрирование» — «Интернет-поддержка и сервисы».

В поле Интернет-поддержка нажать «Подключить», ввести логин и пароль от учетной записи и «Войти».

После подключения интернет-поддержки можно приступать к обновлению классификаторов.

Классификатор банков (Справочник БИК) и курсы валют

Для обновления Справочников БИК, в разделе «Интернет-поддержка и сервисы», во вкладке «Классификаторы и курсы валют» выбрать пункт «Обновление классификаторов»


В случае, если требуется обновление, в форме загрузки строка будет выделена черным цветом и указано количество не обновленных данных.

Для обновления, необходимо выбрать справочник и нажать «Далее».

В случае, если обновление не требуется, в форме загрузки будет соответствующая надпись.

Если учетные данные ИТС еще не предоставлены?

Если у Вас пока нет учетных данных интернет поддержки, то есть возможность загрузки справочников банков и курсов валют через наше приложение, расположенное на удаленном рабочем столе.

Для этого следует подключиться к удаленному рабочему столу и запустить приложение «Классификаторы 1С».

После запуска приложения, нажать «Продолжить» и выбрать базу, в которую необходимо загрузить классификаторы.

Если в базе создан пользователь, выйдет окно выбора, в котором необходимо выбрать пользователя с правами администратора и указать пароль, если он назначен.

После запуска базы, станет доступна загрузка классификаторов.

Через приложение «Классификаторы 1С», вы можете загрузить и очистить классификатор адресов (КЛАДР), загрузить курсы валют, ЕНАОФ и прочие классификаторы, включая справочники БИК.

ОКОФ и ЕНАОФ

 

Общероссийский классификатор основных фондов (ОКОФ) создан для классификации основных средств в организациях, предприятиях и учреждениях всех форм собственности.

ЕНАОФ — единые нормы амортизационных отчислений на полное восстановление основных фондов.

Данные классификаторы также загружаются через «Администрирование» — «Интернет-поддержка и сервисы».

Для обновления справочников следует развернуть поле «Обновление классификаторов» и нажать одноименную ссылку.

В открывшемся окне «Загрузить обновления через интернет» и «Далее».

В случае, если сведения в классификаторе будут неактуальными, у вас будет возможность обновить их, в таком случае необходимо выделить нужные галками и нажать «Далее».

Если классификаторы актуальны, весь список будет неактивен. В таком случае окно можно просто «Закрыть» и продолжить работу.

Прочие классификаторы 

ОКВЭД обновляется вместе с релизом базы.

ОАО «Газпром космические системы» / Реквизиты компании

Название

АО «Газпром космические системы»

Юридический адрес

141112, Российская Федерация, Московская область, г. Щелково, ул. Московская, дом 77Б

Почтовый адрес

141112, Российская Федерация, Московская область, ОПС Щелково-12, а/я 1860

Телефон, факс

(495) 504-29-06, 504-29-07 (приемная)
(495) 504-29-14 (финансовая служба)
(495) 504-29-13 (бухгалтерия)
(495) 504-29-11 (факс)

Банковские реквизиты

Р/с № 40702810500000000048 (основная деят.)
Р/с № 40702810600000010048 (совмест. деят.)
в Банке ГПБ (АО), г. Москва,
К/с № 30101810200000000823,
БИК 044525823

Р/с № 40702810000090020377
в ОАО «Банк ВТБ», г. Москва,
К/с № 30101810700000000187,
БИК 044525187

Р/с № 40702810938040020591
в Московском банке Сбербанка России ОАО, г. Москва
К/с № 30101810400000000225,
БИК 044525225

Р/с № 40702810930000070012
в АО «Нордеа Банк», г. Москва
К/с № 30101810900000000990,
БИК 044583990

ИНН (индивидуальный номер налогоплательщика)

5018035691

КПП (код причины постановки на учет)

509950001

ОКПО (общероссийский классификатор предприятий и организаций)

11737778

ОКОГУ (общероссийский классификатор органов государственной власти и управления)

49014

ОКТМО (общероссийский классификатор территорий муниципальных образований)

46659101

ОКВЭД (общероссийский классификатор видов экономической деятельности)

64.20
73.10
62.30
74.30
74.14
74.20.31
74.20.11
28.22.9
32.20.2
35.30.41
62.30.2

ОКФС (общероссийский классификатор форм частной собственности)

16

ОКОПФ (общероссийский классификатор организационно-правовых форм)

47

ОГРН (общий государственный регистрационный номер)

1025002045177

Текст с ошибкой или опечаткой

БИК, КПП, SWIFT коды банков, корреспондентский счет, ИНН, ОКПО в 2021

Реквизиты банков России: справочник БИК банков (Банковский идентификационный код), как узнать КПП (код причины постановки на учет), что такое SWIFT (СВИФТ) коды банков, корреспондентские счета, ИНН (индивидуальный налоговый номер), ОКПО (Общероссийский классификатор предприятий и организаций), ОГРН (Основной государственный регистрационный номер), телекс, лицензии банков России. Расшифровка банковских реквизитов.

Что такое банковские реквизиты?

Банковские реквизиты — это совокупность значений, необходимых для проведения безналичного платежа, зачисления наличных денежных средств на банковский счет, списания денежных средств с банковского счета.

Вниманию посетителей Bankchart.ru предлагается справочник основных реквизитов банков России: код ОГРН (Основной государственный регистрационный номер), ИНН (индивидуальный налоговый номер), КПП, ОКПО (Общероссийский классификатор предприятий и организаций), БИК, Свифт-код, Телекс, корреспондентский счет, номер и дата выдачи лицензии Центральным банком Российской Федерации.

Что такое БИК банков?

Многих интересует, что означает БИК и как расшифровывается данный реквизит? БИК – это банковский идентификационный код, который состоит из 9 цифр и является уникальным идентификатором банка в платежных документах. Кликнув на название любого банка, вы увидите пример БИКа. Для того чтобы найти банк по БИК, введите в поиске код БИК.

Что такое КПП банка?

Расшифровка КПП — код причины постановки на учет. Если вас интересует, как узнать КПП банка, кликните на название банка и увидите данный реквизит. КПП также состоит из 9 цифр и присваивается не только банкам, но и организациям (за исключением ИП). Данный реквизит требуется не для всех платежных документов.

SWIFT коды банков: что такое и как узнать

СВИФТ код – это код идентификации банка, который используется для выполнения межбанковских операций между финансовыми учреждениями, зарегистрированными на территории разных стран. SWIFT код состоит из 8 или 11 символов (буквы и цифры). С помощью нашего справочника СВИФТ-кодов вы сможете быстро найти код любого банка России.

Корреспондентский счет: что такое, сколько цифр?

Корреспондентский счет – это счет банка, открытый в Главном управлении Центрального банка РФ. Данный реквизит состоит из 20 цифр. Узнать корр. счет банка можно на странице его реквизитов.

Реквизиты — Юнистрим

Полное наименование Банка:	АКЦИОНЕРНОЕ ОБЩЕСТВО КОММЕРЧЕСКИЙ БАНК «ЮНИСТРИМ»
Сокращенное наименование:	АО КБ «ЮНИСТРИМ»
Наименование Банка на иностранном языке:	UNISTREAM COMMERCIAL BANK (JSC)
Адрес:	127083, Москва, ул. Верхняя Масловка, д. 20, стр. 2
Почтовый адрес, телефон:	127083, Москва, ул. Верхняя Масловка, д. 20, стр. 2. Тел. (495) 744-55-55
ОГРН (основной государственный регистрационный номер):	1067711004437
Лицензия:	№3467 от 11 сентября 2015 г.
Дата регистрации Банка:	31 мая 2006 г.
Реквизиты Свидетельства о государственной регистрации юридического лица:	серия 77 № 010075230
ИНН (идентификационный номер налогоплательщика):	7750004009
КПП (код причины постановки на учет) Дата постановки в Межрайонной ИФНС России № 9 по г. Москве — 19 марта 2015 г.:	997950001
КПП (код причины постановки на учет) Дата постановки в Межрайонной ИФНС России № 14 по г. Москве — 06 января 2017 г.:	771401001
БИК:	044525550
Корреспондентский счет:	№ 30101810145250000550 в ГУ Банка России по ЦФО
ОКПО (общероссийский классификатор предприятий и организаций):	96538365
ОКТМО (общероссийский классификатор территориальных муниципальных образований):	45344000
ОКВЭД (общероссийский классификатор видов экономической деятельности):	64.19
ОКОГУ (общероссийский классификатор органов государственной власти и управления):	49011
ОКФС (общероссийский классификатор форм собственности):	34
ОКАТО (общероссийский классификатор объектов административно-территориального деления):	45277586000
ОКОПФ (общероссийский классификатор организационно-правовых форм):	47
Дополнительный код ОКВЭД для ОКПО:	96538365
ВРИО Председателя Правления:	Кудьяров Каиржан Смагулович
Главный бухгалтер	Шераухова Эльвира Андреевна
Код SWIFT	UMTNRUMM

Выбор вероятностной модели

с помощью AIC / BIC в Python | Шачи Каул | Аналитика Видхья

Представляем секрет, как выбрать лучшую модель. Выбор модели играет очень важную роль в построении модели машинного обучения. Может быть несколько подходящих алгоритмических моделей, рассматриваемых как модели-кандидаты, но только одна с оптимизированными параметрами может быть выбрана в качестве наиболее надежной модели. Отбор лучших из кандидатов — это то, что мы называем отбором модели.

Выбор модели похож на выбор модели с разными гиперпараметрами или лучшей из разных моделей-кандидатов.Обычно при выборе любой модели следует полагаться не только на ее характеристики, но и на ее сложность.

Обычно мы классифицируем методы выбора модели следующим образом:

• Случайное разделение поездов / тестов
• Методы повторной выборки
• Методы выбора вероятностной модели

В этом блоге подробно обсуждается только вероятностный выбор модели, потому что random_train / методы тестирования и повторной выборки описаны в Выбор модели в ML / AI с Python и Глубоко объясненная перекрестная проверка в ML / AI .

Согласно AIC, наиболее подходящей моделью является та, которая объясняет наибольшее количество вариаций с использованием наименьшего количества независимых переменных.

• Лучшая модель выбирается с помощью вероятностной модели логарифмического правдоподобия при оценке максимального правдоподобия .
• Качество статистических методов можно измерить с помощью информационных критериев (IC) с некоторой оценкой. Таким образом, это относится к способам выбора модели на основе функций правдоподобия.Самая низкая оценка, лучшая модель. Это произошло из информационной теории статистики.
• Принимает во внимание производительность модели и сложность , тогда как другой метод выбора модели — повторная выборка — проверяет только производительность модели.
• Модель выбирается методом скоринга, где оценки основаны на:
  — Производительность на данных поезда оценивается с использованием логарифмической вероятности , которая исходит из концепции MLE для оптимизации параметров модели.Он говорит о том, насколько хорошо ваша модель соответствует вашим данным. Он показывает общую ошибку.
  — Сложность модели оценивается с использованием количества параметров (или степеней свободы) в модели.

Оценка награждает модели, которые достигают высокого качества соответствия, и наказывает их, если они становятся чрезмерно сложными

• Общие вероятностные методы:
  ~ AIC (информационный критерий Акаике) от частотной вероятности
  ~ BIC ( Байесовский информационный критерий) от байесовской вероятности

Давайте узнаем больше о методах AIC и BIC.

Что такое критерии AIC / BIC

• Это методы IC из области частотного анализа и байесовской вероятности . Любой метод выбора с наименьшей оценкой означает потерю меньшего количества информации и, следовательно, лучшую модель. Это суть теории информации.
• Рассчитано с использованием логарифмической вероятности : включает среднеквадратичную ошибку (регрессия), и log_loss, такие как cross_entropy (классификация).
• Наказание к параметрам для борьбы с чрезмерной подгонкой: Рекомендуется максимизировать вероятность путем добавления дополнительных параметров, которые могут привести к усложнению модели и ее чрезмерной подгонке.Таким образом, AIC / BIC добавляет штраф за дополнительные параметры. Вот как он поддерживает баланс.
  Сделано заключение, чтобы соблюсти баланс между данными аппроксимации (логарифмическая вероятность) и сложностью модели (штраф за оценку параметров модели для выборки).

• Оценивает качество модели среди моделей-кандидатов.

Насколько хорошо ваша модель соответствует данным без их переоснащения

• Формула — это форма штрафной вероятности (штрафной член + отрицательная вероятность)

Кроме того, давайте устраним распространенную путаницу.
Можно использовать как линейные, так и нелинейные модели?
Ответ: Да, поскольку AIC / BIC основаны на функции логарифмического правдоподобия для модели, которую вы можете иметь как для линейных, так и для нелинейных моделей.

AIC (он же информационный критерий Акаике)

Простой ответ. Теория информации в статистике.

Любая модель (скажем, линейная регрессия) не показывает всей истинности исследования, все дело в приближении. Мы признаем, что всегда есть некоторая потеря информации.Что теперь? Мы должны выбрать лучшую модель, которая наиболее близка к истине или должна минимизировать потерю информации. Кульбак и Лейблер придумали информацию KL, которая является мерой потери информации. Позже японский статистик Хиротугу Акаике рассмотрел взаимосвязь между максимальной вероятностью и информацией KL. Он разработал IC для оценки информации KL, называемую информационным критерием Акаике (AIC). Таким образом, расстояние K-L является мерой потери информации с точки зрения расстояния или несоответствия между двумя моделями.

k = количество независимых переменных для построения модели
L = оценка максимального правдоподобия модели

Для максимизации журнала правдоподобия (L) добавление дополнительных переменных в модель приводит к переобучению. Следовательно, был введен штраф «2k», который не исключает полностью переобучения. Из-за слабого штрафа включен. Кроме того, формула не учитывает наблюдения, а не только параметры модели.

• В случае малых образцов , наибольшая вероятность переобучения, поскольку AIC приведет к выбору многих параметров.Таким образом, для решения этой проблемы был введен AIC с исправленным кодом . Для небольшого размера выборки:

Чем меньше значение, тем меньше информации теряется и лучше всего подходит модель.

• Потеря информации (Δi) может быть измерена как при использовании подобранной модели (gi), а не лучшей модели (gmin):

BIC (он же информационный критерий Шварца)

Перед тем, как перейти к концепции, один очевидный вопрос всплывает у меня в голове.
«Почему BIC называется байесовским?»

Большинство ссылок, цитируемых ниже.
Хотя «байесовский» включен в его название, предварительная информация не требуется. Вычисление BIC не требует байесовских знаний. Он выводится только в рамках байесовской теории, чтобы максимизировать апостериорную вероятность модели.
Поскольку он игнорирует предыдущее распределение, новый метод IC получил название BIC (PBIC) на основе предшествующего уровня. Обратитесь к этому документу для получения более подробной информации.

• BIC подпадает под экономных моделей , которые достаточно хорошо объясняют даже при минимальном количестве параметров.
• Формула:

k = количество независимых переменных для построения модели
L = оценка максимального правдоподобия модели
n = размер выборки (# наблюдения)
log-base = e (натуральный логарифм)

Для максимизации журнала правдоподобия ( L), предполагается, что в модель будет добавлено больше переменных, что приведет к переобучению.BIC решает эту проблему, добавляя строгий штраф в виде «log (n) k», который вместо этого может привести к недостаточной подгонке, то есть слишком простым моделям. Простые модели не способны уловить различия в данных.

• А теперь интересное…
  Из бумаги, во время выбора модели, мы можем увидеть, насколько подвешенные модели-кандидаты отличаются от выбранной наилучшим образом.
  ∆ = BIC (M1 | D) — BIC (M2 | D)
  Если ∆ положительно, то M2 лучше, чем M1, но насколько лучше?

Источник

Быстрая аналогия

Вот быстрое изучение AIC / BIC вместо ленивого чтения содержимого.

© Shachi

Applications

• Выбор функций : Сравните модели с добавлением / удалением функций с оценками
• Параметр регуляризации : AIC / BIC выберите этот параметр в моделях Ridge / Lasso

Реализация

AIC и BIC методы могут быть реализованы одним из следующих способов:

• библиотека statsmodel : в Python статистическая библиотека statsmodels.formula.api обеспечивает прямой подход к вычислению aic / bic.
• scikit-learn : библиотека Sklearn также предоставляет оценку AIC / BIC с оценкой LassoLarsIC, которая ограничивает только линейные модели. следовательно, он не очень полезен, когда дело доходит до нелинейных моделей.
• Вычисление вручную : Лучше всего вычислять эти оценки, напрямую реализуя их формулы.

Давайте перейдем к реализации кода AIC / BIC на Python, чтобы получить практические навыки.

Фильтрация признаков на основе байесовских информационных критериев для объединения нескольких объектов в классификации спутниковых сцен с высоким пространственным разрешением

В данной статье представлен новый метод классификации для классификации спутниковых сцен с высоким пространственным разрешением, основанный на байесовских информационных критериях (BIC). процесс фильтрации функций для дальнейшего устранения непрозрачной и избыточной информации между несколькими функциями.Во-первых, извлекаются два различных и дополнительных дескриптора признаков, чтобы охарактеризовать спутниковую сцену. Затем применяется анализ разреженной канонической корреляции (SCCA) с функцией штрафа для объединения извлеченных дескрипторов признаков и одновременного устранения неоднозначности и избыточности между ними. После этого разрабатывается двухэтапный процесс фильтрации характеристик на основе байесовского информационного критерия (BIC) для дальнейшей фильтрации избыточной информации. На первом этапе мы постепенно налагаем ограничение с помощью итеративного процесса, чтобы установить ограничение на нагрузки для предотвращения спуска разреженной корреляции ниже до нижнего доверительного предела приближенной канонической корреляции.На втором этапе байесовский информационный критерий (BIC) используется для проведения фильтрации признаков, которая устанавливает наименьшую нагрузку по абсолютной величине равной нулю на каждой итерации для всех признаков. Наконец, для получения окончательного результата применяется машина опорных векторов с ядром сопоставления пирамид. Результаты экспериментов на спутниковых сценах с высоким пространственным разрешением показывают, что предлагаемый подход обеспечивает удовлетворительную точность классификации.

1. Введение

Классификация сцен привлекает все больше внимания в области дистанционного зондирования.Для спутниковых изображений с высоким пространственным разрешением это вызывает множество сложных проблем при классификации сцены из-за высокой внутриклассовой изменчивости, низкого межклассового неравенства и других внешних факторов, таких как изменение точки обзора, освещенность и тени, фоновый беспорядок, частичные затенения. , и несколько экземпляров. Кроме того, при значительном увеличении пространственного разрешения изображений детали целей становятся более четкими, а также становится более отчетливым множество сигналов, таких как структура и цвет.Как следствие, очень важно правильно комбинировать и соединять их в различных отношениях. В последнее десятилетие или около того многие исследователи и практики приложили большие усилия для использования различных источников информации на спутниковых снимках с высоким пространственным разрешением для повышения эффективности классификации [1–5].

В отличие от спутниковых изображений с низким пространственным разрешением, где было доказано, что один тип дескриптора объекта является эффективным и действенным для классификации [6, 7], общепризнано, что вместо использования отдельного типа объекта, более предпочтительно объединять и комбинировать набор разнообразных и дополнительных функций, таких как особенности, основанные на информации о структуре и цвете [8, 9].Следовательно, как объединить эти части разнообразной и дополнительной информации и устранить двусмысленность и избыточность между ними становится критической проблемой. Одним из широко признанных подходов является слияние на уровне функций, при котором функции из разных каналов сливаются, создавая новый шаблон для классификации сцен. В литературе описано множество подходов [10–12].

Метод канонического корреляционного анализа (CCA) [13] получил особое внимание, особенно в области слияния признаков [14, 15], из-за его способности выражать внутреннюю корреляцию между двумя наборами признаков.Чтобы извлечь признаки канонической корреляции из двух групп признаков, метод CCA сначала создает функцию критерия корреляции путем извлечения двух различных признаков из идентичных выборок. Затем метод CCA создает эффективные дискриминантные признаки для классификации.

Однако, когда размеры объектов слишком велики, например, в случае исследований классификации спутниковых сцен с высоким пространственным разрешением, традиционные методы CCA больше не подходят.Кроме того, когда признаки извлекаются из идентичного изображения, выборочные ковариационные матрицы становятся неопределенными или нестабильными, что вызывает дополнительные трудности при оценке параметров. Как следствие, для решения этой проблемы CCA необходимо использовать метод уменьшения размерности. В последнее десятилетие было предложено множество подходов для сжатия и выбора признаков, включая неотрицательную гарроту Бреймана [16], оператор наименьшего абсолютного сжатия и выбора (Лассо) Тибширани [17], плавно ограниченное абсолютное отклонение (SCAD) Фан. и Ли [18], и Elastic-net Цзоу и Хасти [19].Недавно эти подходы использовались в CCA для оценки взаимосвязи между двумя наборами данных дистанционного зондирования большой размерности. Стратегии выбора признаков используются для загрузки канонических признаков, которые устанавливают некоторые коэффициенты на точные нули для выбора оставшихся признаков. Выбранные ключевые функции затем называются разреженным набором функций, а анализ канонической корреляции, использующий эти функции, часто известен как анализ разреженной канонической корреляции (SCCA).Первоначально Waaijenborg et al. [20] предложили штрафную форму CCA, использующую итеративный процесс регрессии с одномерным мягким порогом (UST) в форме штрафа за эластичную сетку. Впоследствии Пархоменко и соавт. [21] предложил подход SCCA, использующий форму регуляризации, напоминающую UST Elastic-net [19]. Виттен и Тибширани [22] включили штраф Лассо в свой SCCA. Эти подходы интересны. Тем не менее, они не контролируют разреженность напрямую. В то же время было обнаружено, что различные подходы с штрафной вероятностью обладают свойством оракула при определенных условиях [18, 23–26].Однако в практическом применении без соответствующей модели выбора функций свойство оракула не может быть реализовано. Соответственно, подходы не обязательно могут создавать разреженный набор функций. Чтобы решить эту проблему, в этом документе предлагается двухэтапный процесс реализации SCCA, в котором штраф L1 используется для загрузки функций на первом этапе, а затем выполняется алгоритм фильтрации функций на основе байесовского информационного критерия (BIC) для дальнейшего удаления избыточных и шумная информация.Чтобы быть конкретным, на первом этапе мы постепенно налагаем ограничение с помощью итеративного процесса, чтобы установить ограничение на нагрузки для предотвращения спуска разреженной корреляции ниже до нижнего доверительного предела приближенной канонической корреляции. На втором этапе байесовский информационный критерий (BIC) используется для проведения фильтрации признаков, которая устанавливает наименьшую нагрузку по абсолютной величине равной нулю на каждой итерации для всех признаков.

Остальная часть этого документа организована следующим образом.Процесс извлечения признаков представлен в Разделе 2. Раздел 3 предлагает конкретное и подробное описание методологии, используемой в этой статье. Раздел 4 отображает экспериментальные результаты и дает оценку производительности. Наконец, в Разделе 5 резюмируется работа и указываются направления будущей работы.

2.1. Дескриптор масштабно-инвариантного преобразования признаков (SIFT)

В обнаруженной области дескриптор SIFT извлекает гистограмму ориентации градиента [27]. Градиентное изображение отбирается по сетке 4 × 4 в каждой из восьми плоскостей ориентации; Таким образом, результирующий дескриптор имеет размерность 128.Вес каждой точки выборки достигается за счет реализации функции окна Гаусса. Это позволяет выделить больше света на градиентах, которые находятся рядом с центром области, и делает дескриптор менее чувствительным к небольшим изменениям положения обнаруженной области. Величина градиента используется для взвешивания вклада в интервалы ориентации и местоположения. Дескриптор невосприимчив к небольшим ошибкам в обнаружении области и небольшим геометрическим искажениям, в основном из-за квантования ориентаций и положений градиента.Квадратный корень из суммы возведенных в квадрат компонентов вычисляется для нормализации дескриптора для получения инвариантности освещения.

2.2. Дескриптор цветовой гистограммы

Дескриптор цветовой гистограммы — это три отдельные гистограммы для каналов R, G и B [28]. Цветовая гистограмма представляет собой приблизительное распределение цветов в изображении из-за того, что каждая ячейка гистограммы обозначает локальный цветовой диапазон в данном цветовом пространстве. Цветовые гистограммы инвариантны к перемещению и повороту содержимого изображения; между тем они просты в вычислении.В наших экспериментах количество интервалов равно 40, а результирующий дескриптор имеет размерность 120 благодаря объединению трех независимых гистограмм.

3. Методология

3.1. Разреженный канонический корреляционный анализ (SCCA)

Канонический корреляционный анализ (CCA) — это многомерный статистический подход, предложенный для поиска корреляции между двумя наборами признаков [13]. Предположим, что два набора функций и имеют размеры и (,), извлеченные из одного и того же изображения.Пусть столбцы и будут стандартизированы, чтобы иметь стандартное отклонение 1 и среднее значение 0, пусть и быть и вектор весов, и пусть и будут линейными комбинациями характеристик наборов данных и, соответственно. Обратите внимание, что и являются векторами. Впоследствии (1) будет максимизировано для оценки векторов коэффициентов и: где и находятся в пределах ковариационных матриц данных, а — ковариационная матрица между данными. Уравнение (1) может быть переформулировано следующим образом для масштабирования и имеет очень незначительное влияние на коэффициент корреляции:

Вышеупомянутый подход CCA не применим, когда количество функций является чрезмерным.Скрытая мультиколлинеарность между функциями предиктора еще больше усложняет вычисление ковариационных матриц, может превратиться в неопределенную или нестабильную. Как следствие, некоторые критические характеристики должны быть выбраны в соответствии со стандартными критериями выбора модели. В последующем процессе выбранный набор функций используется для вычисления канонической корреляции, чтобы сделать результаты понятными, что называется анализом разреженной канонической корреляции (SCCA). Теоретически SCCA реализуется путем максимизации штрафной целевой функции, приведенной ниже:

Для решения проблемы мультиколлинеарности было предложено множество подходов.Винод предложил включить штрафные элементы в диагональные элементы ковариационной матрицы, что похоже на мысль о гребневой регрессии в регрессионном анализе [29]. Это необходимо для оценки дополнительных параметров гребня. Были предложены другие формы регуляризации, в которых матрицы дисперсии заменяются соответствующими им единичными матрицами [22] или диагональными матрицами [21]. В нашей работе матрицы и заменяются соответствующими диагональными матрицами.

3.2. Методы усадки

Механизмы линейной регрессии с уплатой штрафов широко применялись для анализа многомерных данных, и они включали методы выбора признаков и сжатия. Предположим, что это вектор и матрица. Затем оценка штрафного коэффициента регрессии может быть получена с использованием следующей модели штрафной регрессии: где — штрафной член, а — параметр настройки, который оценивается с использованием подходов перестановки или перекрестной проверки (CV). В качестве первого подхода регрессии со штрафами была предложена гребневая регрессия для смягчения мультиколлинеарности предикторов, в которой квадратичный штрафной член встроен в регулярные уравнения оценки методом наименьших квадратов [30].Регрессия гребня реализует штраф для коэффициентов, чтобы уменьшить их до нуля. Однако коэффициенты сжатия никогда не равны нулю. Как следствие, регрессия гребня не может проводить выбор признаков. Оператор наименьшей абсолютной усадки и выбора (лассо), эластичная сетка и плавно отсеченное абсолютное отклонение (SCAD) отличаются от гребневой регрессии, которая решает проблему мультиколлинеарности (т. Е. Усадки) и устанавливает некоторые коэффициенты равными нулю, создавая разреженные набор функций (т.е., выбор функции). В этой статье мы применяем различные штрафные функции к SCCA, используя алгоритм, разработанный Пархоменко и др. [21]. Параметры настройки для всех штрафных функций оцениваются посредством перекрестной проверки (CV).

3.2.1. Штраф оператора наименьшего абсолютного сжатия и выбора (лассо)

Штраф оператора наименьшего абсолютного сжатия и выбора (лассо) — это метод сжатия, который позволяет выбирать дискриминантные признаки путем сжатия одних коэффициентов и установки других на ноль [31].Штрафной член лассо определяется следующим образом: где — параметр настройки. Решение Лассо дается как Это похоже на правило мягкой пороговой обработки, введенное Донохо и др. [32] и Донохо и Джонстон [33], который использовался для оценки вейвлет-коэффициентов.

3.2.2. Elastic-Net Penalty

Elastic-net — это механизм регуляризации, который одновременно выполняет непрерывную усадку и выбор характеристик [34]. Чтобы быть конкретным, этот подход использует как штраф Лассо, так и квадратичный штраф за гребневую регрессию для создания выпуклой комбинации.Следовательно, этот подход сохраняет возможности выбора признаков и сжатия коэффициентов. Определение штрафа Elastic-net можно сформулировать следующим образом: Тем не менее, благодаря двум параметрам настройки, которые необходимо оценить, вычислительные затраты на Elastic-net несколько выше.

В качестве замены Elastic-net, Zou и Hastie предложили предварительно обработанную версию Elastic-net, называемую одномерным мягким пороговым значением (UST) [34], решение которого показано в этой статье как Elastic-net, основанное на для реализации функциональных нагрузок принят одномерный мягкий порог:

3.2.3. Штраф за гладко ограниченное абсолютное отклонение (SCAD)

Фан и Ли предложили невыпуклую штрафную функцию, названную гладко ограниченным абсолютным отклонением (SCAD) [18]. Они предложили три критерия для определения отличной штрафной функции, а именно: (i) разреженность, (ii) непрерывность и (iii) беспристрастность. Они приложили дополнительные усилия, чтобы заявить, что штраф SCAD обладает этими свойствами. Штраф SCAD показан следующим образом: Если значение находится в диапазоне и, функция штрафа SCAD совпадает с квадратичной сплайн-функцией.Функция является непрерывной, и когда и первая производная может быть сформулирована следующим образом:

Штраф SCAD непрерывно дифференцируем на, но сингулярен в 0, а его производные равны нулю за пределами диапазона. Эта функция штрафа устанавливает малые коэффициенты равными нулю, уменьшает средние коэффициенты до нуля и сохраняет нетронутыми большие коэффициенты. Следовательно, штраф SCAD генерирует почти несмещенные коэффициенты и разреженное решение для больших коэффициентов. Решение проблемы SCAD-штрафа показано следующим образом:

Это правило пороговой обработки имеет два неизвестных параметра: и.В идеальной ситуации оптимальные результаты () могут быть получены с использованием схемы, включающей двумерный поиск по сетке с критериями, напоминающими подходы перекрестной проверки. Однако такое выполнение требует больших вычислительных ресурсов. С байесовской точки зрения, советуют Фан и Ли, это разумный вариант для решения многих проблем [18]. Они также подчеркнули, что производительность проблем с выбором функций не сильно возрастает, когда применяются подходы, основанные на данных. В этой статье мы установили 3,7 и были выбраны путем перекрестной проверки.Между тем, для загрузки векторов и.

3.2.4. Штраф с жестким порогом

Установление жесткого порога напрямую обнуляет несколько коэффициентов [35, 36]. Однако эта штрафная функция не решает проблему мультиколлинеарности предикторов, поскольку она не уменьшает коэффициенты до нуля. Тем не менее, результаты, полученные с помощью этого штрафа, представляют собой несмещенные оценки с большими эффектами. Решение правила жесткого порога обнаруживается следующим образом:

3.3. Предлагаемый алгоритм фильтрации признаков на основе BIC

Главный недостаток нынешних подходов SCCA состоит в том, что они не контролируют разреженность напрямую. Следовательно, трудно полностью и эффективно устранить зашумленную и избыточную информацию. Существует компромисс между редкостью функций и максимальной корреляцией. В этой статье мы предлагаем двухфазный процесс для установления равновесия между разреженностью функций и максимальной корреляцией. На первом этапе мы постепенно налагаем ограничение с помощью итеративного процесса, чтобы установить ограничение на нагрузки для предотвращения спуска разреженной корреляции ниже до нижнего доверительного предела приближенной канонической корреляции.На втором этапе байесовский информационный критерий (BIC) используется для проведения фильтрации признаков, которая устанавливает наименьшую нагрузку по абсолютной величине равной нулю на каждой итерации для всех признаков.

Предлагаемый процесс фильтрации признаков является простым и итеративным. Еще один коэффициент при каждой итерации устанавливается равным 0 в соответствии с модулями коэффициентов. Позвольте и быть ограниченным эффективным направлением уменьшения размера; Предлагаемый процесс фильтрации признаков показан следующим образом.(i) Пусть. (ii) Определите новое направление, поддерживая наибольшие коэффициенты по модулю и присваивая другим коэффициентам 0. При поиске проекции в пространство набор всех должен удовлетворять следующему. Набор нулевых коэффициентов в такой же, как и в. (2) Рассмотрим,. (3) Рассмотрим. (iii) Вычислите корреляцию и критерий типа BIC, где — размер выборки. (iv) Пусть. Повторяйте шаги (ii) — (iv) до тех пор, пока. После того, как вышеупомянутый процесс фильтрации функций будет реализован, мы получим последовательность as убываний от до 0.Позвольте быть целое число, при котором минимизируется. Затем наименьшие коэффициенты по абсолютной величине присваиваются 0. Этот предложенный процесс фильтрации признаков представляет собой упрощенный процесс выбора признаков. При фильтрации функций учитывается не больше возможностей, что делает ее жизнеспособной, даже если она велика. И, наконец, окончательно выбранные характеристики соответствуют минимальному значению BIC.

3.4. Машина опорных векторов (SVM) с ядром сопоставления пирамид (PMK-SVM) Классификатор

Создание алгоритмов обучения на основе ядра основано на идее отображения данных в евклидово пространство и последующем обнаружении линейных отношений в отображаемых данных.Взяв в качестве примера типичную проблему, SVM выявляет оптимальную разделяющую гиперплоскость между двумя классами в пространстве функций. Помощь, предоставляемая функцией ядра, состоит в том, чтобы сопоставить пары точек данных во входном пространстве с их внутренним продуктом в пространстве функций, тем самым оценивая сходство между всеми точками и решая их относительное положение. Линейные отношения обнаруживаются в пространстве признаков, хотя граница решения может по-прежнему быть нелинейной во входном пространстве, в зависимости от метода функции отображения признаков.Машина опорных векторов (SVM) с ядром сопоставления пирамид (PMK-SVM) [37] предоставляет точное и экономящее время решение для классификации, а функция ядра сопоставления пирамиды формулируется следующим образом: где — входные наборы, в которых — сфера диаметра, является функцией извлечения признаков, является th гистограммой в, и представляет собой функцию пересечения гистограмм, которая измеряет перекрытие между ячейками двух гистограмм: где и — гистограммы с ячейками, и обозначает количество th ячейки.Поскольку при построении пирамиды фаза, и, (15) эквивалентна, чтобы сохранить общность и получить многообещающие и удовлетворительные результаты классификации. Здесь мы используем опорную векторную машину (SVM) с ядром сопоставления пирамиды (PMK-SVM) в качестве классификатора. В условиях мультикласса для выполнения мультиклассовой категоризации используется набор бинарных классификаторов и техника голосования большинством голосов. На рисунке 1 показана наша схема классификации, основанная на предлагаемом двухэтапном процессе фильтрации BIC.

4. Эксперименты и результаты

Эксперименты проводились на спутниковом снимке с высоким пространственным разрешением и размером 4000 × 4000 пикселей, как показано на рисунке 2. Вид был сделан спутником GeoEye-1 на 21 ноября 2009 г. в городе Маджуцяо, который расположен на юго-западе Тунчжоу, к юго-востоку от Пекина, где широта и долгота в правом нижнем и верхнем левом углах равны 39 ° 43 ′ северной широты, 116 ° 32 ′ восточной долготы и 39 ° 44 ′ северной широты. , 116 ° 30′E соответственно. Расстояние отбора проб от земли составляет примерно 0.5 м, и присвоение диапазона: красный для диапазона 3, зеленый для диапазона 2 и синий для диапазона 1. Изображение в основном содержит спутниковые сцены восьми классов: фабрики, дороги, вода, сельхозугодья, высокие здания, низкие здания, голая земля. , и зеленая земля. Справочные данные, представленные на Рисунке 6 (а), были помечены вручную вместе с соответствующей географической информацией. Более того, не учтены некоторые классы, которыми можно пренебречь, например, просвет между зеленым участком и его соседями. На рисунке 3 показан один пример каждого класса из восьмиклассовой спутниковой сцены.

В этой статье для оптимизации параметров штрафа для каждой канонической пары признаков используется подход перекрестной проверки в кратности, при этом перекрестная проверка в кратности установлена ​​на 10 эмпирически. В частности, полученные данные функций разделяются на две части: часть данных функций для проверки (тестирования) и оставшаяся часть данных функций для обучения. Векторы нагрузки выводятся в процедуре обучения и используются в процедуре тестирования. Мы максимизируем корреляцию данных функции тестирования, чтобы выбрать параметры разреженности и использовать подход перекрестной проверки.Взвешенные векторы и получаются заданными значениями и. Впоследствии корреляция вычисляется где и являются весовыми векторами в обучающих наборах и, соответственно, и являются временем реализации перекрестной проверки. Вот и тестовые наборы. Наконец, значения и определяются как оптимальные параметры разреженности в соответствии с максимальным значением.

Чтобы получить надежные результаты и увидеть тенденцию сходимости точности классификации, мы провели все эксперименты с различными пропорциями обучающих-тестовых выборок, используя линейно увеличивающееся количество обучающих выборок, и узнали, что точность классификации постепенно повышается с увеличением числа обучающих выборок. обучающие образцы.Чтобы избежать слишком пространственной корреляции обучающих и тестовых выборок, мы обучили 5, 10, 15, 20, 25 и 30 изображений в каждом классе и протестировали остальные. В то же время мы выбрали обучающие данные и данные тестирования из различных спутниковых сцен с высоким пространственным разрешением для независимого набора данных и повторно провели классификационные эксперименты с этими выбранными данными; полученные результаты также совпали. Классификаторы не были заметно смещены в пределах этого конкретного изображения для умеренной выбранной доли обучающих выборок, и, следовательно, результаты классификации не будут сильно преувеличены.Мы произвольно разделили данные обучающего тестирования и повторили эксперименты десять раз. Между тем, мы вели учет средней точности классификации каждого класса для каждого прогона. Среднее значение и стандартное отклонение результатов каждого отдельного эксперимента использовались для количественной оценки окончательного результата.

Для некоторого повышения эффективности классификации эти две функции следует объединить в уместную тактику. В целях сравнения был представлен SCCA с различными штрафными функциями (Lasso, Elastic-net, SCAD и Hard-threshold), чтобы объединить функции, полученные с помощью методов извлечения признаков, принятых в этой статье.Из рисунка 4 очевидно, что SCCA с функцией штрафов SCAD дает относительно выдающийся результат по сравнению с другими функциями штрафов. Причины кратко излагаются следующим образом. С одной стороны, чтобы получить полный источник информации об изображении, мы использовали две типичные и репрезентативные функции для отображения структуры и цветовых свойств изображения, и эти функции содержат важную и внутреннюю информацию изображения. С другой стороны, штрафная функция SCAD обладает способностью управлять мультиколлинеарностью между функциями по сравнению с другими штрафными функциями.Однако эти методы не позволяют сразу контролировать разреженность. Следовательно, необходим дополнительный двухэтапный процесс фильтрации признаков для дальнейшего удаления избыточной и непрозрачной информации между объектами и внутри них. На рисунке 5 сравнивается эффективность классификации четырех различных штрафных функций с предлагаемым двухэтапным процессом фильтрации на основе BIC. Очевидно, что точность классификации повышается после использования предложенного фильтра BIC, что можно объяснить возможностью того, что без предложенного фильтра BIC SCCA не обязательно может порождать разреженный набор функций.Другими словами, после использования предлагаемого фильтра BIC, зашумленная и избыточная информация среди функций была дополнительно устранена.

Обратите внимание, что функция штрафа SCAD с предложенным фильтром BIC дала наилучшую точность классификации. На рисунках 6 (a) и 6 (b) показано сравнение эталонного изображения в той же спутниковой сцене и лучшего классифицированного изображения, полученного нашим методом (штрафная функция SCAD SCCA с предложенным фильтром BIC), соответственно, и полученные матрицы неточности. через функцию штрафа SCAD SCCA без и с предлагаемым фильтром BIC представлены на рисунках 7 и 8 соответственно.

Как и ожидалось, ошибочная классификация чаще возникала между небольшими зданиями и заводами. Это связано с тем, что фабрики часто включают в себя плотные дома и ровные и перпендикулярные линии, которые напоминают невысокие здания. Между тем зеленые земли были ошибочно классифицированы как сельскохозяйственные угодья или голые земли; Самым фактором, способствующим этой неправильной классификации, является то, что эти классы обладают схожими элементами и шаблонами. Однако трудно было понять путаницу между некоторыми классами.А именно, некоторые короткие здания, дороги и фабрики были классифицированы как голые земли.

5. Выводы

В этой статье для классификации спутниковых сцен с высоким пространственным разрешением был представлен подход к фильтрации признаков на основе BIC. SCCA с двухэтапным процессом фильтрации признаков BIC действует как решающий компонент в классификации спутниковых сцен и может значительно повысить точность классификации за счет эффективной фильтрации и выбора двух отдельных и дополнительных признаков, SIFT и цветовой гистограммы.Однако из-за отсутствия предшествующего этапа обработки исходных признаков перед использованием предлагаемого метода объединения признаков SCCA, текущий метод сильно ограничен в экспериментах по классификации спутниковых сцен города Маджуцяо. Чтобы решить вышеупомянутую проблему, мы намерены реализовать этап разреженного кодирования исходных функций, прежде чем использовать метод объединения функций для снижения вычислительных затрат и повышения точности классификации.

Конфликт интересов

Авторы заявляют об отсутствии конфликта интересов в отношении публикации данной статьи.

Благодарности

Эта работа была частично поддержана Национальной программой фундаментальных исследований Китая (программа 973) в рамках гранта No. 2011CB707102 и Национальная программа Китая по исследованиям и развитию высоких технологий (программа 863) в рамках гранта № 2013AA122301.

Интуитивное объяснение байесовского информационного критерия | Михаил Классен

Возвращаясь к нашему примеру, вы можете представить себе модель, в которой столько кластеров, сколько точек данных. Смотрите, никаких выбросов!

Но это не очень полезная модель.

Все модели неправильные, но некоторые полезны.

Мы должны сбалансировать максимальную вероятность нашей модели, L , с количеством параметров модели, k . Мы ищем модель с наименьшим количеством параметров, которая по-прежнему хорошо объясняет данные. Таким образом, мы вводим штраф за количество параметров модели .

Сейчас мы почти достигли байесовского информационного критерия (BIC).

BIC уравновешивает количество параметров модели k и количество точек данных n с функцией максимального правдоподобия, L . Мы стремимся найти количество параметров модели k , которое минимизирует BIC.

Эта форма BIC заимствована из статьи Гидеона Шварца [1] 1978 года. За этим трудно проследить, поэтому мы не будем вдаваться в подробности.

Вычисление функции максимального правдоподобия — сложная часть, но для большинства распространенных моделей существуют аналитические функции.В линейной регрессии, например, логарифм правдоподобия — это просто среднеквадратичная ошибка.

Стандартные библиотеки машинного обучения обычно вычисляют функцию правдоподобия за вас, так что не отчаивайтесь.

Завершим наш пример кластеризации данных. Я хочу сгруппировать данные с помощью модели смеси Гаусса и определить лучшее количество кластеров для выбора. В Python, используя библиотеку scikit-learn , вот как это сделать:

Построив график BIC для различных значений k , мы можем увидеть, как BIC минимизируется для 3 кластеров.

BIC соответствует нашей первоначальной визуальной оценке. Это также говорит нам о том, что большее количество кластеров также будет достаточно хорошо соответствовать данным, но за счет необходимости введения большего количества параметров.

Заключение

Вы всегда можете найти модель, которая будет соответствовать вашим данным, но это не делает ее отличной моделью. Следуя принципу бритвы Оккама, мы всегда должны выбирать модель, которая делает наименьшее количество предположений. В машинном обучении модель переобучения плохо работает в реальных условиях.

С четырьмя параметрами я могу уместить слона, а с пятью я могу заставить его покачивать хоботом.

— Джон фон Нейман

Используя байесовский информационный критерий, вы можете найти простейшую возможную модель, которая все еще хорошо работает. Надеюсь, эта статья дала вам интуитивное представление о том, как это работает.

Ссылки

[1] Г. Э. Шварц, Оценка размерности модели (1978), Анналы статистики, 6 (2): 461–464

Байесовский информационный критерий — обзор

11.считается наиболее подходящей оценкой среднего вектора

μ . Критерии FPE Акаике и Мэллоуса направлены на получение объективной (или почти беспристрастной) оценки D _k .

Перекрестная проверка (CV) и обобщенная перекрестная проверка (GCV) стремятся оценить ошибку предсказания k -й подобранной модели. В этой настройке предполагается, что Yi, xk, i, i = 1,…, n , где наблюдаемые значения ковариат xk, iT являются строками X _k , are iid, а Yn + 1, xk, n + 1 — независимая копия Yi, xk, i. k по сравнению с k , поскольку минимум всегда достигается в модели с наибольшим числом параметров.k, где Y ~ имеет то же распределение, что и Y , но не зависит от него. Модель, соответствующая наименьшему значению AIC, считается наиболее подходящей.

Как следует из названия, BIC основан на байесовских соображениях. В этой настройке существует переменная «индекс модели» J , которая принимает значения в 1,…, K, так что априорная вероятность выбора модели k составляет π _k (т. Е. PJ = k = πk). Учитывая J = k , pdf для Y будет fk⋅, θk, где θ _k имеет предшествующее значение g _k .k, −i — оценка методом наименьших квадратов β _k на основе наблюдений n -1, удаляя Yi, xk, i.

Замечание 11.8.1

И AIC, и BIC имеют более общие формы, чем то, что написано выше. Ниже приведены более общие версии с подробным описанием. Можно показать, что критерии FPE, Mallows ’, CV, GCV и AIC эквивалентны в асимптотическом смысле при n → ∞. BIC отличается от других, поскольку его использование может привести к созданию моделей с меньшим количеством параметров.Если правильная модель относится к классу кандидатов, то математические аргументы при соответствующих условиях показывают, что BIC выбирает правильную модель с вероятностью, сходящейся к 1. Другие критерии выбора модели, приведенные выше, имеют тенденцию выбирать «лучшую» прогнозирующую модель. Важно помнить, что правильная модель (если она существует) не обязательно является лучшей прогнозной моделью.

Энтропия | Бесплатный полнотекстовый | Классификация земельного покрова с использованием MaxEnt: можем ли мы доверять метрикам качества модели для оценки точности классификации?

1.Введение

Алгоритмы, основанные на максимальной энтропии, широко используются в биологических науках, таких как биохимия, физиология, нейробиология, генетика и поведение животных [1], и приобрели преобладающую роль в качестве методологических подходов для моделирования распределения видов в биогеографических дисциплинах [2, 3]. Одно из самых популярных программ на основе максимальной энтропии, используемое для моделирования распределения видов, — MaxEnt [4,5]. Популярность MaxEnt, вероятно, обусловлена ​​его бесплатной доступностью, хорошей или лучшей производительностью, чем альтернативные методы моделирования, возможностью полагаться только на данные о присутствии, интуитивно понятным визуальным интерфейсом и наличием настроек параметров по умолчанию, которые облегчают его использование новыми пользователями.Тем не менее, эти характеристики также побудили исследователей использовать MaxEnt в качестве черного ящика, часто создавая неоптимальные модели, которые могут сообщать о суб- или завышенных результатах распределения видов [6]. Хотя MaxEnt изначально разрабатывался как программное обеспечение для моделирования распределения видов. встроенный алгоритм может применяться для решения других задач пространственного моделирования, все чаще и чаще используется в качестве одноклассовой классификации земного покрова. Например, MaxEnt использовался для картирования городских земель в Калифорнии [7], городских земель в Китае [8], типов городской растительности в Чили [9], инвазивных видов растений в Колорадо [10] и Калифорнии [11], сохранения среды обитания в Германии [12] и утрата местообитаний и классы почвенного покрова в Италии [13,14].По сравнению с обычно используемыми методами классификации земного покрова, такими как классификация максимального правдоподобия (MLC), одноклассовые методы классификации, такие как MaxEnt, имеют преимущество в том, что они сосредоточены на интересующих земных покровах, избегая использования ресурсов и усилий при классификации земель. покрывает, которые не имеют отношения к целям исследования [15,16]. Однако, поскольку MaxEnt был первоначально разработан для использования для моделирования распределения видов, а не для классификации земного покрова, рекомендуемые процедуры для создания высококачественных моделей распределения видов (e .g., [3,4,6]) могут не подходить для предоставления точных результатов для классификации земного покрова [16]. Одним из основных факторов, связанных с этой проблемой, являются различия в методологических подходах, используемых для измерения точности полученных результатов моделирования, которые для моделирования распределения видов часто оцениваются на основе непрерывных вероятностных данных, в то время как для классификации земного покрова используется двоичные данные о присутствии / отсутствии. Эти различия тесно связаны с шагом, на котором измеряется точность результатов моделирования, т.е.е., перед преобразованием вероятностных выходных данных в двоичные карты для моделирования распределения видов и после выполнения этого шага для классификации земного покрова. MaxEnt предварительно настроен для использования настроек параметров по умолчанию (например, автоматических функций), однако пользователь может изменить несколько параметров , дающий возможность генерировать большое количество моделей [5]. Следовательно, результат моделирования может быть основан на любой из этих потенциальных моделей. Поскольку большое количество потенциальных моделей в моделировании распределения видов, выбор «лучшей модели» является ключевым шагом для обеспечения точности результатов моделирования.Можно использовать несколько показателей качества модели, в том числе площадь под кривой (AUC), информационный критерий Акаике (AIC), информационный критерий Акаике, скорректированный для малых размеров выборки (AICc) и байесовские информационные критерии (BIC) [2,3 ]. Эти показатели качества применяются к вероятностной модели, созданной MaxEnt, но не к картам присутствия / отсутствия, созданным после применения двоичных пороговых значений к вероятностным выходным данным [17]. С другой стороны, в случае точности классификации земного покрова, Метрики качества обычно вычисляются после преобразования вероятностных моделей в бинарные карты присутствия / отсутствия земного покрова с использованием метрики точности классификации, такой как коэффициент Каппа и общая точность (например,г., [16,18,19]). MaxEnt предоставляет набор из 11 различных пороговых значений для создания бинарных карт, но исследователи могут технически использовать любые пороговые значения в диапазоне от 0 до 1 (например, [7]). Недавнее исследование показало, что, хотя параметризация модели может иметь большое влияние на результаты классификации в зависимости от земного покрова, наиболее важным фактором, связанным с точностью классификации земного покрова, является выбранный порог [16]. Это может означать, что усилия по поиску наилучших параметров для создания высококачественных вероятностных моделей могут не потребоваться для классификации земного покрова с использованием MaxEnt, но также, что отчет о точности классификации земного покрова на основе показателей качества модели MaxEnt (например,g., AUC) может быть неточным для двоичных карт.

Тем не менее, насколько нам известно, в настоящее время нет информации о том, как качество вероятностных моделей MaxEnt соотносится с точностью окончательных двоичных карт классификации земного покрова, и влияют ли эти отношения (если таковые имеются) пороговым значением используемый и анализируемый растительный покров. Таким образом, в этой работе мы стремились оценить, подходят ли часто используемые метрики качества модели, такие как AUC, AIC и BIC, для оценки точности результатов классификации земного покрова, полученных с помощью MaxEnt.Мы также оцениваем, зависят ли эти результаты от пороговых значений, используемых для создания бинарных карт, и классифицируемого земного покрова.

4. Обсуждение

Все больше исследований используют и проверяют возможности встроенного алгоритма максимальной энтропии, доступного в MaxEnt, в качестве инструмента для выполнения классификации землепользования и земного покрова на основе изображений дистанционного зондирования (например, [7,15,16,23]). Однако, поскольку MaxEnt изначально разрабатывался как инструмент моделирования ниши, а не как инструмент классификации земного покрова, все еще существует несколько пробелов в информации о том, как настроить встроенные параметры и конкретные пороговые значения для получения наилучших результатов классификации [7,11, 16,18,19].Фактически, насколько нам известно, до этого исследования не было информации о том, как качество вероятностных моделей MaxEnt может повлиять на точность бинарной классификации земного покрова. Характеристики моделей MaxEnt обычно оцениваются на основе значений AUC [ 24], но были также предложены другие показатели качества модели, основанные на экономии (например, [2,25]). Оценка качества модели имеет решающее значение для соотнесения этих результатов с точностью классификации. Однако, как показывают наши результаты, выбор одного показателя качества вместо другого может исказить анализ, поскольку некоторые показатели представляют противоречивые отношения между ними в зависимости от анализируемого земного покрова.Например, AUC _{, тестирующий} , имел положительную корреляцию с AUC _{, обучающую} для всех участков земли, кроме травы, никакой корреляции с AIC, AICc и BIC для построек и травы, отрицательную корреляцию с этими показателями для вечнозеленых растений, но только с AICc. и BIC для лиственных пород. С другой стороны, AIC, AICc и BIC постоянно имели сильную положительную корреляцию между ними, с очень похожими моделями для всех проанализированных земельных покровов. В этом отношении изменчивость, которую мы обнаружили в показателях AUC, подтверждает предыдущие исследования, в которых предлагалось не полагаться на показатели AUC для анализа качества модели MaxEnt [2,6,24,26].Что касается взаимосвязи между метриками качества модели и точностью классификации земного покрова, мы обнаружили, что ни один из протестированных показателей качества не обеспечил последовательной связи с точностью результатов классификации для всех земельных покровов и пороговых значений. В то время как для построенного укрытия не было устойчивых моделей корреляций для каких-либо показателей качества, для травы, вечнозеленых и лиственных растений, AUC _{обучение} , AIC, AICc и BIC, как правило, демонстрировало устойчивые ассоциации с точностью классификации.Этот результат предполагает, что качество модели может влиять на точность получаемых классификаций земного покрова, но этот эффект может сильно различаться в зависимости от анализируемого земного покрова, порогового значения, используемого для построения бинарных карт, и метрики. используется для оценки качества модели [16]. Следовательно, в то время как в некоторых случаях качество модели положительно влияет на точность классификации (например, [27]), в других ситуациях между ними может не быть связи (например, [27]).g., [28]). Выбор пороговых значений для создания бинарных карт был определен как один из наиболее важных факторов для получения точных результатов классификации с помощью MaxEnt [7,16]. Пороги применяются после того, как вероятностные модели уже построены, поэтому они не влияют на качество модели, но могут иметь большое влияние на точность классификации. Что интересно в нашей работе, так это то, что пороговые значения, похоже, не влияют на общую взаимосвязь между качеством модели и точностью классификации травяных, вечнозеленых и лиственных покровов (т.е. более совершенные модели, как правило, дают лучшие результаты классификации). Однако для построенного покрытия пороговые значения действительно влияют на взаимосвязь между качеством модели и точностью классификации. У нас нет конкретного объяснения этих результатов, но, основываясь на Фернандесе и Моралесе [16], мы думаем, что это несоответствие может быть связано с взаимодействием между параметрами моделирования и внутренней пространственной структурой классифицируемых земных покровов, особенно в отношении того, как это взаимодействие может повысить или снизить качество создаваемых моделей.Например, для различения типов растительности (например, вечнозеленой от всех остальных) могут потребоваться модели более высокого качества, способные отличать пиксели с целевой растительностью от других пикселей с растительностью с аналогичными спектральными характеристиками. Следовательно, в этих ситуациях получение высококачественной модели будет иметь большое влияние на точность классификации, которая будет преобразована в конечный результат независимо от используемого порога. С другой стороны, поскольку построенные области более однородны по спектру, классификация этих областей может быть осуществима даже с моделями низкого качества, поэтому MaxEnt будет иметь тенденцию генерировать модели более низкого качества, на потенциал которых для получения точных результатов классификации может сильно повлиять выбор. двоичного порога.

5. Выводы

Результаты нашей работы показывают, что, хотя усилия по созданию модели более высокого качества могут увеличить шансы на получение более высокой точности классификации, существуют и другие факторы, такие как внутренняя пространственная структура анализируемого земного покрова. и порог, используемый для построения бинарных карт, который может иметь большое значение для достижения точных результатов классификации. В связи с этим, эмпирическое правило всегда оценивает точность результатов классификации с помощью соответствующих коэффициентов точности распознавания (например,g., Kappa, общая точность), и не полагаться полностью на показатели качества модели (например, AUC, AIC, BIC) как на надежный индикатор эффективности классификации земного покрова.

Банковские реквизиты

9066KA. , Гонконгский филиал
В соотв. 91193680

USD	The Bank of New York Mellon , NewYork acc. 890-0372-508	IRVT US 3N
USD	Citibank N.A. , NewYork в соотв. 36296405	CITIUS33
EUR	Societe Generale S.А. , Париж в соотв. № 003013100930	SOGE FR PP
CAD	Societe Generale S.A. , Париж в соотв. № 005013100930	SOGE FR PP
	Посредник: Canadian Imperial Bank of Commerce , Торонто Учет: 1758411	CIBCCATT
AUD	Societe20, Societe20, № 004013100930	SOGE FR PP
	Посредник: Commonwealth Bank of Australia , Sydney Acc.: 06796710006163	CTBAAU2S
NZD	Societe Generale S.A. , Париж в соотв. № 008013100930	SOGE FR PP
	Посредник: ANZ Bank New Zealand Limited , Веллингтон Прич. 202333/00001	ANZBNZ22
RON	Societe Generale S.A. , Париж в соотв. № 00 00930	SOGE FR PP
	Посредник: BRD-Groupe Societe Generale SA , Бухарест IBAN: RO70BRDE427SV00010524270	BRDEROBU 906 9066
CITIHKHX
CHF	Credit Suisse (Switzerland) Ltd , Цюрих в соотв. 0835-0342506-03-010 IBAN: / Ch44 0483 5034 2506 0301 0	CRESCHZZ80A
DKK	Nordea Danmark, Филиал Nordea Bank AB (PUBL.), Sverige 20, Copenhagen 5000014326	NDEADKKK
GBP	Barclays Bank Plc., Лондон в соотв. 63647048 Код сортировки: 203253	BARCGB22
JPY	Mizuho Corporate Bank Ltd , Токио в соотв. 6964010	MHCBJPJT
NOK	NORDEA Bank AB (Publ.), Филиал I Norge , Осло в соотв. 6001.02.05754	NDEANOKK
SEK	Skandinaviska Enskilda Banken , Stockholm соотв. 5201 85 567 54	ESSESESS
CZK	Komercni Banka, A.С. , Прага в соотв. 278115840217	KOMBCZPP
PLN	Филиал Societe Generale SA в Польше , Варшава в соотв. 91 1840 0007 2170 7048 8880 1719	SOGEPLPW
CNY	Bank of China Ltd, Пекинский филиал в соотв. 349366309079	BKCHCNBJ110
BYN	Альфа-Банк , г. Минск в соотв. BY94 ALFA 1702 0644 1801 3027 0000	ALFABY2X
UAH	Открытое акционерное общество Райффайзен Банк Аваль , г. Киев в соотв.16000330 (грн)	АВАЛУАУК
тенге	АО «Народный Банк» , Алматы сч. KZ706010011000307249	HSBKKZKX

SII vol. 13 (2020) нет. 3 статья 6

Том 13 (2020)

Номер 3

Последовательный наивный байесовский метод классификации музыкальных жанров, основанный на переходной информации от высоты звука и доли

Страницы: 361 — 371

DOI: https: // dx.doi.org/10.4310/SII.2020.v13.n3.a6

Авторы

Тунан Рен (Школа менеджмента Гуанхуа, Пекинский университет, Пекин, Китай)

Feifei Wang (Центр прикладной статистики и школа статистики, Университет Жэньминь Китая, Пекин, Китай)

Hansheng Wang (Школа менеджмента Гуанхуа, Пекинский университет, Пекин, Китай)

Абстрактный

В связи с быстрым развитием рынка цифровой музыки музыкальные онлайн-сайты широко доступны в нашей повседневной жизни.Существует практическая потребность в разработке алгоритмов автоматической классификации музыкальных жанров для управления огромным количеством музыки. В этом отношении информация о переходах, содержащаяся в высотах и ​​битах, должна быть очень полезной. В частности, переход по высоте дает мелодию, а переход в доле создает ритм. Они оба определяют музыкальный жанр. Чтобы принять во внимание эту ценную информацию, мы предлагаем здесь последовательный наивный байесовский метод классификации музыкальных жанров. Этот метод можно рассматривать как новое расширение классического наивного байесовского классификатора, но он принимает во внимание информацию о переходах между высотой тона и долей.Чтобы уменьшить количество оцениваемых параметров, мы предлагаем критерий типа BIC и разрабатываем эффективный с вычислительной точки зрения алгоритм выбора модели. Последовательность выбора метода BIC теоретически доказана и численно исследована. Конечная производительность выборки предложенных методов оценивается как с помощью моделирования, так и с помощью набора данных реальной музыки.

No related posts.