Немного о боте
Бот создан незрячим для таких же людей с нарушением зрения, чтобы мы могли прочитать текст на картинке, а так же, хотябы получить примерное представление, что находится на фотографии.
Бот основан на API от Google и Microsoft, а также я пробую создать свою нейро сеть на Python.
На данный момент он умеет:
- Читать текст на фото (OCR), любой язык
- Переводить прочитанный текст на другой язык
- Описывать происходящее на картинке или перечислять объекты
- Определять возраста людей
Оно уже сильно распространилось по миру, в Telegram много иностранных пользователей.
Обзоры и отзывы
Обзор и интервью для канала "Москва 24" в социальных сетях: ВКонтакте (VK), Одноклассники (OK), Facebook (FB)
Очень подробный полтора часовой обзор проекта на Youtube!
Игорь Веселков о проекте VisionBot
Все разделы, все функции, прямо до каждой кнопки!
За 1,5 часа была разобрана главная страница сайта, страница с информацией, дополнение NVDA и все его настройки, VK и Telegram боты, установка и использование скрипта для Jaws!
Таймкоды:
00:00:13 - Обзор главной страницы сайта
00:10:05 - Распознавание через сайт
00:13:07 - Раздел с информацией о боте
00:18:50 - Распознавание в реальном времени
00:19:47 - Дополнение CloudVision для NVDA
00:31:14 - Функционал Vision бота в мессенджере Telegram
00:42:06 - Распознавание через Vision Bot в Telegram
00:46:21 - Бот для социальной сети ВКонтакте
00:49:20 - Группа VK
00:52:49 - Диалог с сообществом VK
00:56:03 - Функциональность бота VK
00:59:02 - Распознавание фотографий через бот VK
1:03:24 - Скрипт для Jaws
1:10:17 - Установка скрипта Jaws
1:24:40 - Распознавание фото через скрипт для программы экранного доступа Jaws
Я, автор этого бота, участвовал в качестве гостя на софт мастер классе.
Сначала я получил приглашение:
Приветствую, aleks-samos@yandex.ru!
Пишет Сергей "Зорро" веду много лет софт-класс в прямом эфире и
рассказываю и демонстрирую программы для незрячих и наших
скринридеров.
Два раза показывал в прямом эфире твой плагин CloudVision-V.2.0.0
демонстрировал его возможности.
Возможно ли тебя пригласить в прямой эфир для рассказа про тебя и твой
плагин.
Ранее осенью у меня в гостях была Ольга Яковлева и другие гости нашего
незрячего сообщества.
В прямом эфире собираются около 150 человек и идёт дисскусия ответы
вопросы и демонстрация.
И 29 февраля я уже там был.
Запись прямого эфира и материалы занятия софт-класса от 29 февраля
тема:
*
Youtube_my_плеер для поиска и скачивания роликов
новые функции от разработчика
"Избранное" теперь возможно сохранять свои поисковые запросы и оперативно их находить и открывать.
Изменения в проигрывание плейлиста и другое.
*
NVDA 2019.3.1
Встреча в прямом эфире с автором Дополнение для NVDA CloudVision-V.1.1.4
Алексеем Самойловым
разработал программу для описания изображений
Дополнение поможет распознать текст с изображения, описать происходящее на фотографии, примерно определить возраст человека.
возможно описать кадр видеоролика.
беседа с автором и вопросы к нему в прямом эфире.
а так же
Расмотрим обновлённые плагины их функционал.
Новая версия синтезатора RHVoice-v0.4-a1
установка и настройки.
Я сделал нарезку записи со своим участием и демонстрацией дополнения. Скачать .mp3 /
Про Vision Bot был выпуск Тифло Стрима. Я, создатель бота, в нём участвовал.
Смотреть на Youtube с 32:24 / Перейти на сайт tiflo.info / Читать текстовую версию на сайте tiflo.info / Пост на vk.com / Анонс выпуска на vk.com
Выпуск передачи Инфотрон Радио РАНСиС
Файловый архив / Скачать .mp3 /
Упоминание:
Для работы с фотографиями журналист рекомендует использовать Vision Bot. Это одно из приложений, которое описывает картинку, работает оно на основе искусственного интеллекта Google и машинного обучения Microsoft Azure.
Источник: ЖУРНАЛИСТЫ С ОСОБЫМИ ПОТРЕБНОСТЯМИ: ЛИЧНЫЕ ИСТОРИИ И СОВЕТЫ / Международная журналистская сеть
Фото. Может показаться, что фотоконтент для незрячих пользователей неактуален. Но это не так. Кому-то хочется поделиться кусочком своей жизни, а кому-то нужно взаимодействовать с фотографиями в профессиональном контексте. Как бы то ни было, нам бывает нужно учиться работать с изображениями.
К сожалению, в ВКонтакте нет встроенных средств идентификации содержимого фотографий, как в Facebook. Но если автор написал описание снимка в соответствующем поле, то программа экранного доступа это прочтет.
Сейчас появляются различные проекты, призванные облегчить работу незрячих с фотоконтентом. Например, проект Vision Bot, который может описать фотографию и прочитать находящийся на ней текст. У проекта есть группа в ВКонтакте, в личные сообщения которой можно отправить фотографию либо в виде ссылки на файл, либо как вложение, и через несколько секунд бот пришлет ответное сообщение с описанием снимка. Более подробная информация о работе бота находится на сайте проекта.
Источник: Невизуальная работа в соцсети Вконтакте: возможно ли это? — "Камерата"
3. Слепой программист создал робота, который описывает фотографии людей. Вот, к примеру, как этот робот охарактеризовал мою фотографию, сделанную несколько лет назад:
ВКонтакте: https://vk.com/visiontest1
Telegram: @visiontest1bot
«Круто, Мужчина, Футболка, Фотография, Технологии, Комната
Вероятно, человек, держащий чучело
36-летний мужчина со светлыми волосами и бородой выглядит нейтрально».
Источник: olegmakarenko.ru / Яндекс Дзен
приветствую дорогие мои друзья и подписчики.
хочу сегодня рассказать вам о новом сервисе, который позволяет получать текстовое описание с фотографий.
сразу скажу это машинный перевод, поэтому тут собственно чудес ждать не стоит.
сервис работает пока во вконтакте и телеграмм.
вот ссылка во вконтакте:
http://vk.com/visiontest1
в телеграмме можно через поиск поискать бота.
набираем запрос так
vision bot
собственно вы просто нажимаете на фото, выбираете поделиться, ищите vision bot.
нажимаете туда.
внизу странички ищите готово.
затем открываете раздел сообщения и читаете непосредственно описание картинки.
в телеграмме можно присоединиться к боту как я писал выше.
выбираете также поделиться, затем телеграмм, далее vision bot
собственно, после идёте и читаете описание.
вот весь принцип.
успешных вам распознаваний.
Источник: Сергей Шаров, vk.com
Вступаем в группу в ВК по ссылке, которую опубликую ниже. Это бот, который сможет описать картинку, фото, прочитать текст с картинки, скриншот.
Сообщением отправляем картинку, гивку и т.п. и ожидаем в ответ сообщение с описанием отправленной картинки. Ответ приходит в течение нескольких минут (до 10).
https://vk.com/club185510846
Ниже будет ссылка на аналогичный бот в Телеграмм:
https://t.me/visiontest1bot
Источник: Ираида Латкина, vk.com
Так устроен человек, что около восьмидесяти процентов информации приходится на зрение. Мы общаемся, обмениваясь не только голосовыми
сообщениями, но и картинками, гивками, смайлами. Часто получаем в ответ фотки, картинки с текстом, обмениваемся скриншотами...
Вот наш хороший друг решил порадовать тебя картинкой. А там кроме забавной анимашки еще и текст имеется. Что делать?
Вариант первый: отправляемся в PLAY MARKET или APPSTORE, устанавливаем так называемые «распознавалки». Вариант неплохой, так как эти
программы распознают надписи на упаковках лекарств, на продуктах, считывают показатели счетчиков и так далее. Но самым большим минус
этих программ - высокая стоимость. Одна из таких «распознавалок» стоит на порядок выше, чем месячная пенсия инвалида по зрению.
И как тут быть? Один из вариантов - следить за скидками. К примеру, одна из программ ценником в 20 с небольшим хвостиком тысяч,
получила скидку в 75%. Но время скидки прошло, а остались те, кто не слышал об этом и не успел обзавестись нужной вещью.
Предлагаю вариант 2.
Вступаем в группу в ВК по ссылке, которую опубликую ниже. Это бот, который сможет описать картинку, фото, прочитать текст с
картинки, скриншот.
Сообщением отправляем картинку, гивку и т.п. и ожидаем в ответ сообщение с описанием отправленной картинки. Ответ приходит в течение
нескольких минут (до 10).
https://vk.com/club185510846
Ниже будет ссылка на аналогичный бот в Телеграмм:
https://t.me/visiontest1bot
Источник: Что на картинке? | Незрячая Философия | Яндекс Дзен
Еще один интересный проект для незрячих. Vision bot Этот бот работает в Вконтакте и Телеграме. Можно ему в личку отправить фотографию, и он довольно быстро определит, что на ней изображено. Естественно, это автоматическое описание, без участия человека. Но при этом оно довольно подробное. И очень часто такого описания бывает вполне достаточно, чтобы понять общее содержание снимка. Вот, например, как бот описал фото на моей аватарке: Цветок, Растение, Розовый, Семейство роз, Ботаника, Садовые розы
человек в розовом цветке в саду
28-летняя женщина со светлыми волосами выглядит нейтрально.
Источник: Алия Нуруллина, vk.com
Школьник попросил начитать ему упражнения по русскому языку в голосовом сообщении. Можно было бы смело передать этот заказ любому из волонтёров, но мне захотелось самой помочь парню.
Но как это сделать, если ты сам незрячий?
Ничего сложного. Для начала я отправила фото, которое нам прислал парнишка, на распознавание. Поскольку на фото печатный текст, с этим проблем не было. Распознавала я при помощи плагина VisionBot, который разработал незрячий программист Алексей Самойлов.
О нём можно побольше узнать в статье портала Lenta.ru
И вот, текст готов (с самой фотографией я бы работать не смогла, так как напрямую текст с картинки программа экранного чтения не озвучит).
В одном упражнении нужно было правильно расставить буквы «Е» или «Ё» в словах, а в другом — правильно произнести слова. Я включила диктофон, кстати, тоже говорящий, надела наушники, чтобы лучше слышать синтезатор речи, произносящий «неполноценные» слова (в которые надо букву вставить), и стала начитывать, повторяя вслед за синтезатором. На слух искажённые пропусками слова воспринимать трудновато, но, кажется, всё получилось!
Источник: Как я читала незрячему школьнику упражнения по русскому языку | В ритме Риты | Яндекс Дзен
...и про новое крутое решение для распознавания текстов на картинках от Алексея Самойлова. Его Vision-бот я тестировала буквально в субботу. Пробовала распознать длинный текст на картинке. Вступила в группу
https://m.vk.com/visiontest1
Отправила туда в сообщения вложенное фото и уже через пару секунд получила чётко, отлично распознанный текст. Кроме бота и группы есть ещё плагин для скринридера NVDA - все ссылки в описании к "Тифлостриму"..
"VisionBot" уже помог десяткам школьников и студентов распознать сфотографированное учебное расписание и отсканированное домашнее задание.
А как насчёт новой моды на объявления, текст которых "вшит" в картинку? Прочитать такое объявление незрячему человеку больше не составит труда, благодаря разработке Алексея Самойлова.
Бот и плагин также описывает фотографии, но, конечно, то, как описывает искусственный интеллект, пока оставляет желать лучшего. Хотя, если нужно очень быстро и в самых общих чертах,- это тоже выход. ... У нас, кстати, нередко расшифровку (распознавание) всяческих расписаний и прочих текстов рабоче-учебных заказывают, но теперь нас разгрузит vision-бот.
Источник: Маргарита Мельникова, автор проекта "Опиши мне", vk.com / сайт проекта / Группа проекта VK
Спасибо Вам за замечательный сервис! Пользуюсь дополнением для NVDA и нарадоваться не могу, как классно теперь взаимодействовать с фотографиями. Желаю вдохновения и сил для дальнейшего развития проекта)
Источник: Анастасия Перевознюк, vk.com
По-моему, это лучшее, что появилось в плане доступности за последние годы. Автору просто гигантская благодарность и +100500 в карму. Надеюсь, проект будет развиваться дальше.
Источник: Александр Северский, vk.com
Источник: Comments Bot / Telegram
Сегодня открыла замечательную возможность копирования текста со слайдов презентаций, которые показывают в онлайн-трансляциях или записанных видео. Очень полезно при обучении, из этих текстов можно делать классные конспекты. Работает не во всех плеерах, в Potplayer идеально.
— Anastasia (@AnPer7) April 18, 2020
Обидно только, что это мое открытие случилось аж на четвертом занятии из 6 запланированных, первые 3 конспектировала как могла самостоятельно. Надо будет выделить время и покопировать слайды из предыдущих занятий, особенно из первого, там было много всего, что не успела записать
— Anastasia (@AnPer7) April 18, 2020
Я пишу с учетом специфики незрячих пользователей. Для копирования использовала два средства: распознаватель OCR в Виндовс 10 (комбинация Ins+R), но больше мне нравятся результаты дополнения Cloud Vision, распознавание текста у него более полное и более качественное.
— Anastasia (@AnPer7) April 18, 2020
Иногда распознавалка может отказывать, лично у меня так случается, возможно, какие-то личные особенности моего устройства или программ; тогда нужно просто перезагрузиться и все заработает.
— Anastasia (@AnPer7) April 18, 2020
А то целый час ломала голову над тем, почему днем при трансляции я могла копировать текст, а к вечеру он в скачанной записи перестал показываться. Очень расстроилась, но напоследок решила перезагрузиться и это помогло.
— Anastasia (@AnPer7) April 18, 2020
У меня уже были сомнения на счет того, что эти слайды не сохраняются в видео, но это не логично, если они были показаны в трансляции, значит и в оставшейся записи должны сохраниться. Так оно и есть и это очень радует.
— Anastasia (@AnPer7) April 18, 2020
О, спасибо за информацию, не знал. Отличная штука. Надо найти, как такое делать, изучить. Пригодится обязательно.
— Александр Супрунов (@_suprunov) April 18, 2020
Рада, что мои твиты оказались для кого-то полезными, всегда пожалуйста! Я сама до сегодняшнего момента об этом не задумывалась. А вот как-то нажала на распознавание и увидела удивительное, которое рядом :)
— Anastasia (@AnPer7) April 18, 2020
Решение: в панели управления, настройки электропитания, отключение дисплея ставьте "Никогда" и яркость экрана сделайте повыше.
[TC] Как повысить доступность vk
Здравствуйте.
Недвавно то ли в этой то ли в соседней рассылке давали ссылку на бот для
распознавания картинок. Попробовал его и решил поделиться, насколько
удобнее стало пользоваться vk и инстаграммом, с другими соцсетями не
пробовал. Может кому будет интересно.
Для общения в Вк я использую миранду, это важно для удобства.
Заходим сюда
https://vk.com/visiontest1
И вступаем в группу. После этого в миранде появится контакт vision bot
Дальше как обычно пользуюсь мобильной версией вконтактеm.vk.com
Очень часто встечаются фотографии бывает, что в группах темы состоят
изодной фотографии или фотки друзей. Встаем табом на нужную фотку,
контекстное меню и там Копировать ссылку, дальше переходим в миранду и в
сообщении новому боту отправляем ссылку, в ответчерез 3-5 секунд
получаем описание фотографии. Если есть текст, то он его распознает,
вполне прилично описывает изображенное на фото, определяет возраст
людей, вполне точно.Лично мне очень понравилось такое описание, после
него не видя фотку даже можно их коментировать. Так же боту можно
отправлять ссылки из инстаграмма или просто фотки.
Так же там можно найти плагин для nvda и скрипты для джавса, которые так
же описывают фотки, но со скриптами у меня получилось только описывать
фотки с компьютера. Так же от умеет описывать фотки по ссылкам на
яндекс диске, дропбоксе и некоторых других сервисах.
Про миранду я написал, потому, что лично для меня с ней быстро и удобно.
Будут вопросы пишите.
С уважением, Андрей,Андрей
Wed, 18 Dec 2019 19:58:31 +0300 (#3639379)Ответы:
Здравствуйте.
› показать цитату
Да, мне здесь эту штучку скинули несколько дней назад, это действительно
хорошая вещь, но ждать от неё детальных описаний не стоит.
Я загрузил туда одну фоточку, а потом попросил описать эту фотку зрячего
человека. Бот в целом правильно сообщил, что на фото изображена девушка
приблизительно 20 лет, так и было. Но то что она сидит перед монитором в
комнате, и то что у неё там есть что-то типа татуировки, и вообще, всё, что
связано с подробностями её внешности, этого он ничего не сообщил.
Так что надо иметь в виду, что бот может дать вам лишь общее понимание того,
что там изображено.Nktch16-63mrsh
Wed, 18 Dec 2019 20:38:59 +0300 (#3639383)Здравтвуйте.
Да, конечно ждать подробного описания не стоит, но в то же время я даже
не могу представить как такое описание создает машина, а не человек. Оно
гораздо понятнее и подробнее чем описания фоток в инстаграмме ина
фейсбуке. Ну а если знаешь чьи фотки ты смотришь и бот говорит возраст,
то все можно понять, вот скажем описание фотки моего друга.Мужчина со
светлыми волосами стоит, выглядит счастливо, 44 года, девочка с темными
длинными волосами плавает в океане 11 лет. Все понятно, все точно, ну
правда не в океане она плавает, а в пруду:)))
С уважением, Андрей.Андрей
Wed, 18 Dec 2019 20:58:50 +0300 (#3639389)добрый вечер.
а вот интересно, кошку от собаки на фото он отличит?
С уважением /Юрий.Юрий Петренко
Thu, 19 Dec 2019 17:56:55 +0300 (#3639481)Здравствуйте, Юрий. Да без проблем, причем называет цвет кошки. С уважением, Андрей.
Андрей
Thu, 19 Dec 2019 23:14:46 +0300 (#3639487)
Источник: Информационные технологии для незрячих и слабовидящих
@visiontest1bot - тэлеграм-бот, каб распазнаваць тэкст з малюнкаў/фота.
— Далікатна (@Dcntt_) March 19, 2020
Даўно і доўга шукала (хаця, можа, гэта я занадта павольна ўсё знаходжу),
і ён, дарэчы, значна дапамог з маёй справаздачай па практыцы і PDF-ам)
Иногда распознавать капчи помогает аддон для NVDA, который называется Cloud Vision. Помогает не всегда хорошо, но у меня однажды был случай, в котором справился почему-то только он.
— Anastasia (@AnPer7) January 13, 2020
Нет, это бесплатное приложение для получения описаний. Наводите фокус озвучки на любую фотку, нажимаете NVDA+Ctrl+I и через несколько секунд слышите описание. Почитать подробнее и скачать можно здесь: https://t.co/W3pnl8o8M8
— Anastasia (@AnPer7) January 13, 2020
Всегда пожалуйста) С этим приложением круто листать соцсети, можно получить более понятное описание, чем дает Фейсбук, например.
— Anastasia (@AnPer7) January 13, 2020
На дополнение есть спрос
[TC] дополнение cloud vision.
Здраствуйте.
Поделитесь обозначенным дополнением для NVDA 2019.2.1
Заранее спасибо.tutaur776
Sun, 26 Jan 2020 12:11:15 +0600 (#3642669)
Источник: Информационные технологии для незрячих и слабовидящих
И ещё очень много. Пользователи ежедневно пересылают между собой результаты распознавания, развлекаются, смеются, напишут о нём или у себя на страничке, или в Telegram канале, или благодарность мне на почту. Огромное им за это спасибо.
По всем вопросам пишем на почту aleks-samos@yandex.ru, в VK или Telegram @alekssamos
