Здравствуйте. Я новый человек на этом форуме - случайно попал через поиск Google ("как заработать на Kinect").
Сразу к делу. Идею я уже немного обсуждал с разными людьми - кому-то нравится, кому-то нет. Люди, которые создают фильмы, часто говорят, что это не очень хорошо (если синтезируется речь), но есть же качественные жвижки с хорошим синтезом речи, так? Кроме того есть хорошие графические ("игровые") движки трехмерной графики - они также создают хороший визуальный эффект, который продается. ... Идею я как-то озвучил в одном учебном заведении (Кино-театр), в отделе анимации - сказал примерно так (но проще) - "хочу сделать такую программу, - она автоматически преобразует текст - в (мульт)фильм. Есть скажем переводчик - ПРОМТ, Google Translate и т. д. - они переводят с одного языка (скажем китайского) на какой-то другой язык, допустим русский. В таких переводчиках в памяти создается некая схема предложения, устанавливается связь между словами, предложениями. Все это потом передается на модуль создания предложений на другом языке. Но можно этот результат передать не на модуль синтеза других предложений на естественном языке, а на модуль графического движка и звукового движка. Для синтеза речи, а также для отображения визуально сочетаний глаголов, существительных и т д... как в шахматах. Например, есть такой формат файлов- portable game notation. Компьютерные Шахматы записывают ходы людей в такой файл, а потом можно этот файл открыть - и программа воспроизведет последовательно комманды - такая фигура идет туда-то. Другая фигура - еще куда-то... И так все десятки или даже сотни ходов. Точно так же можно рассматривать и текст - это тоже такие "шахматы" - есть существительное и глагол. Существительное должно быть преобразовано в графический объект, например в шахматную фигуру, а глагол, связанный с этим существительным - в действие этой фигуры. Если добавить другие части речи - то это еще улучшает картинку (прилагательные добавляют разные "текстуры", предлоги - организовывают в пространстве и времени объекты/субъекты и т д). Проще говоря, должно быть два модуля искусственного интеллекта - один модуль это языковый модуль - анализ предложения - поиск слова в словаре, определение всех его свойств - часть речи и т д (например можно посмотреть Национальный корпус русского языка -
http://www.ruscorpora.ru/ - чтобы понять как программа разбирает предложение, какая информация есть для каждого слова в базе знаний), а второй модуль - графический. Проще всего графический модуль понять на примере программы Microsoft Agent. В этой программе (точнее - в в редакторе - Microsoft Agent Character Editor) можно загружать двухмерные персонажи (256 цветов - ограничение), задавать им голоса, а также создавать разные наборы анимаций (разные виды движений, но в растровой графике - слайд-шоу, аналогичное кадрам мульт-фильма, что-то подобное также есть в комп. играх). Вобщем, если использовать технологию Microsoft Agent - то можно загружать нужных персонажей из базы знаний (я использую просто системный реестр - для имени персонажа - соответственно свойство - "ключ" - путь к файлу Microsoft Agent - acs) - и давать им комманды - переместиться туда-то, выполнить такую-то анимацию, сказать (подумать) - то-то (таким-то голосом - если вслух). Технология простая, но для создания персонажа нужно время - как минимум найти одну картинку или в интернет, или нарисовать художнику. А если это анимация - то нужно еще и создать набор кадров, для "слайдшоу" (определенного действия персонажа)..."
Вобщем идею я озвучил, но тем людям она не очень понравилась. Но я так понял, они рассказали о ней своим знакомым и т д. Вконце-концов, на одном форуме искусственного интеллекта я узнал, что такую идею сейчас разрабатывают в Базелевс (кинокомпания снимала фильм "с легким паром. продолжение"). Был создан отдел Базелевс Инновации - а Фонд Сколково инвестировал от 150 000 000 рублей - до 20 000 000 долларов (возможно с другими источниками инвестиций) в эту идею. Вконце-концов, эта идея ожила (я пытался свою идею также им озвучить, вероятно это оживило технологию - персонажи начали говорить, ходить, жить своей жизнью). Создатель проэкта Киноязык - Тимур Бекмабетов сказал, что это - чудо - пишешь людой текст - и персонаж делает то, что ему сказал - он говорит, ходит и т д. Чудо. После поиска подобных технологий, патентов ничего подобного не нашли даже в Голливуде. Сказали, что тезнология полуавтоматического аудиовизуального воспроизведения текста востребована большинством кинокомпаний Голливуда (и не только). Что если можно сократить время создания минуты анимации с одного дня, затраты сократить чуть ли не к нулю (а ведь при таком технологии стоимость контента практически ноль) - то это очень хороший эффект. Как бы там ни было, есть такая технология - пре-виз, предварительная визуализация фильмов в виде компьютерной анимации - перед тем как снимать фильм. И этот пре-виз стоит дорого. Делается вручную. Но можно его также автоматизировать - запрограммировать комманды тем или иным персонажам - согласно сценарию (вначале на естественном языке - а потом и на языке программирования или на "языке сценариев"... В результате получается сценарий "мульт-фильма" в игровом движке, скажем unity3d).
Вобщем получается такая ситуация - идея я озвучил - одна компания ее поддержала (Базелевс), другая (Фонд Сколково) выделил деньги. Теперь это называется Киноязык. Авторские права у Тимура Бекмамбетова. Как говорят - идеи - бесплатные, ничего не стоят.. :-(
Я на этой идее не заработал ни копейки пока что. Что предлагается сейчас Базелевс, на сайте Киноязыка (
http://www.filmlanguage.net/) сказано так - нужен программист для разработки ядра, основы технологии киноязыка. Требования - талантливый программист с глубоким знанием программирования (С++, C#), приветствуется знание Unity3d. Базелевс запустили сайт обосмейся.ру, на котором демонстрируется как работает их технология - есть два робота - Чайник и шайба. Пользователь пишет сценарий - причем упрощенный (до 2000 знаков - как в языке сценариев или языке программирвания для microsoft agent, например, но максимально приближенный к человеческому), а не использует полноценный текст из любой книги (что я предполагал).
То есть получается, что идея у меня была большая (и есть), но она сузилась до того, что от меня требуется просто знание программирования и графического движка, что меня конечно не устраивает (ведь я еще интересуюсь языком искусственного интеллекта Lisp, или Boo - в том же unity3d). Вконце-концов, не понятно как на этом заработать.
Я общался в политехническом институте с людьми, которые поддерживают иновации. Как-то я им отправил анкету - вот такая у меня идея - визуализация текстов (знаний), хотя более широко - она происзодит из идеи Саентологии, прикладной религиозной философии Хаббарда - который также создавал фильмы. В частности его идея была в том что любой текст можно экранизировать (выложить в демо-наборе). Для этого нужно чтобы каждому слову соответствовал графический образ, как в словаре в картинках (picture dictionary), например.
C другой стороны, эту идею критикуют. Ну или часть ее технологии - скажем, в одной книге - компьтерная лингвистика, есть слова какого-то совесткого человека наверное 60-70-х годов (кто это я так и не нашел нигде в интернете) - что "компьютерные лингвисты - безумные и им нельзя доверять" (буквально - божевільні - то есть чуть ли не безбожники или атеисты).
Но ведь здесь противоречие, не так ли? Моя идея зародилась из прикладной религиозной философии - саентологии - как можно сказать что эта религиозная идея есть чем-то безумным или чем-то похожим на атеизм? Как верубщему человеку это мне не понятно (но эта критика иногда меня сддерживает углубляться в искусственный интеллект, хотя возможно ИИ в СССР и был безумным, но совсем друго дело - на западе - где он скорее связан с религией и есть чем-то более творческим, духовным... но это так, философия)...
Кстати, на том же сайте Киноязыка сказано - "да, мы знаем что идея звучит crazy, сумасшедшей, кто-то говорит что искусственный интеллект невозможен, но у нас есть план как это осуществить и у нас есть даже патенты!"... Как говорится - нужно уметь справляться с критикой - и в бизнесе думают не о том как решить философскую проблему "является искусственный интеллект атеизмом или религией", а скорее - как на этом заработать деньги...
Итак, к чему я пришел?... Есть две технологии -
1) Microsoft Agent
2) Unity3d
MSAgent позволяет мою идею реализовать более-менее в полном виде - хотя бы на уровне концепции. Я пишу простой сценарий - выделяю его - нажимаю вопсроизвести - появляется персонаж, он произносит текст. Если выбрана словосочетание - переместиться туда-то, сделать то-то - воспроизводится соответствующая анимация (если она есть в файле персонажа).
Вобщем-то ничего сложного нет. Когда персонаж начинает говорить искусственным голосом - это немного ухудшает впечатление, но если голос качественный (его значит тоже нужно купить? особенно для коммерческого использования) - то звучит хорошо.
Пока что программа работает очень просто - для каждого персонажа я ищу картинку - редактирую ее - записываю в файл 256 цветов, создаю в character editor msagent acs файл (добавляю голос). Персонаж готов. Но это только один кадр. Это не трехмерный персонаж каким он может быть в unity3d. Однако в unity3d все упрощается - если есть трехмерный персонаж (грубо говоря любое существо можено представить в виде скажем какого-то трезмерного смайла как символа существа или жизни, или даже души, или даже как человека - двурукого, хотя конечно это не подойдет для растений, птиц, рыб, животных - нужен отдельный подход для всех их... хотя можно решить все в виде "классов" существ - некая иерархия их есть также в переводчиках, ведь каждому существительному сопоставляется категория - одушевленное или нет, если одушевленное - то кто это и т д и т п... здесь надо углубляться в словарные статьи, а иногда решать многозначность, хотя часто это решается просто) - то этот персонаж можно анимировать любым способом. Например есть простая технология - microsoft Kinect (стоит такая штука всего 100 долларов) - если ее совместить с Unity3d - то можно любой глагол анимировать в трехмерной графике, причем для этого не надо покупать эти анимации в каком-то магазине, что хорошо - можно свои анимации создать самим. Так можно создать хоть не одну тысячу анимаций - для каждого глагола (или их групп) - и потом последовательно из воспроизводить (применительно к человеку, или двурукому существу, прежде всего, хотя можно так анимировать и животных и т - почему нет?) - так полуавтоматичесик текст будет преобразован - в некий набор анимаций, движений, как в игре. Только в игре человек сам управляет тем или иным персонажем, а в этой программе всем управляет сценарий, то есть искусственный интеллект, который подчиняется сценарию из книги (это может быть и философия, и религия или мифология - сказки - что угодно, даже с невероятными существами).
Вобщем, мне сказали в политезническом институтче, что моя идея прошла первый этап. Я показал как программа работает - есть простой сценарий - подобный тому, что в Киноязыке - и програма воспроизводит его.
Например, если взять простейшую небольшую сказку колобок. Для нее создаются 7 персонажей - старик, старуха, колобок, лисица, волк, медведь, заяц. Каждому задается голос (или же можно его выбирать случайно, но будет плохо - голоса должны отличаться, причем они разной высоты, есть мужской - волк, медведь, старик, есть женский - лиса, старуха и т д.). В системном реестре (это может быть любая другая база данных) - нужно создать список - колобок - файл колобок.acs
и т д - так для каждого персонажа - свой файл.
Вконце-концов, во время работы программы, считывается текст - имена персонажей, и они загружаются когда нужно - из "базы" существ (acs файлы). Потом им задаются комманды - что они говорят, как они перемещаются и т д. Таким образом, можно любой из этих персонажей потом использовать в любой другой сказке - где также есть те же существа - и их уже не нужно опять вручную создавать. В этом есть также плюс. И по времени выгодно.
Чтобы перевести это все в unity3d - есть некоторая сложность. во-первых синтез речи для unity3d платный. Без звука программа будет неполноценной. Но в unity3d намного разумнее обрабатывать анимацию - достаточно загрузить стандартного трехмерного персонажа, - и к нему можно применить анимацию. Эти анимации можно получить с устройства Microsoft Kinect (за 100$ - и создавать анимации хоть на тысячи долларов, и продавать - можно еще дороже и многим людям. Здесь может быть "точка прибыльности", окупности моей идеи - преобразования текста книги -- в анимацию/мультик с синтезом речи... ). Вобщем нужно создать базу знаний, в которой вместо microsoft agent acs - файлы unity3d. Эти трехмерные персонажи можно получить из программы 3d-моделирования - из того же 3dstudio max, blender, daz3d и т д... Есть даже сайт Mixamo - на котором все это объеденятеся в одну технологию - можно загрузить персонаж , применить к нему анимацию - и передать потом в Unity3d (но это тоже или платно, или бесплатно только совсем мало.)...
Теоретически можно создать большую базу знаний - с сотнями и тысячами трехмерных объектов, в т ч существ, и также для них - анимации.
Таким образом графическая часть решается...
Что касается лингвистической части - это не так просто. Насколько мне известно технологии вроде ПРОМТ (переводчика) - это закрытые технологии, но без таких или им подобных технологий - невозможно качественно разобрать предложение, чтобы передать на синтез речи и на графический движок. Даже для автомачтиеского синтеза речи нужно определить автоматически кто говорит (имя персонажа, чтобы сопоставить с трехмерным объектом unity3d), и что гооврит (текст может быть усложнен тем, что в реплику вставлены слова ". - сказал тот-то. - " и т д... Это все программа должна автоматически определить. От качества разбора предложения будет зависеть трехмерная анимация, и вообще будет ли она правильно определена...)...
Сейчас эта технология, Киноязык, также использует ABBYY Compreno - лингвистическую технологию для сопоставления слов - лингвистическим категориям, а потом - визуальным объектам (существам, анимациям и т д)... Но для полноценной реализации этой идеи надо еще добавить тезнологию аналогичную Google Translate | ПРОМТ и т д - чтобы из текста книги выделять хотя бы словосочетания существительное+глагол, и потом передавать их на графический и звуковой движок...
Итак, по тому, что идею поддержал Фонд Сколково (выделили порядка 20 000 000 долларов?) - понятно что идея интересна. Я не знаю как мне теперь заработать в этой ситуйации. Идея я озвучил - но я не получил с этого ничего. Что мне нужно сделать что-то что-то с этого заработать?
Допустим я был на курсах как открыть бизнес. Там рассказали - нужно составить бизнес план, найти точку прибыльности. Но еще нужно - найти подобные технологии, конкурентов, выучить рынок - кто что где подобное покупает, использует. Вообще-то я сейчас не ставлю вопрос что я с этого получу.
Как мне сказали посреднки с инвесторами - идея может развиваться как неприбыльная или как прибыльная. Если я скажу что я хочу на этом заработать - то я не знаю как я привлеку к этому заинтересованных людей. Но сделать ее совем бесплатной тоже как-то не очень хочется - потому хотя бы что я уже прошел большой путь (почти 15 лет от ее первого появления - где-то в 1999 году), перешел к этапу - "хоть идея и безумная - но мы знем как ее реализовать".
Нужно только ее оченить финансово. Вконце концовнадо найти конечный потребителей.
Я из виду так. Это может быть программа для интернета. Аналогичная сайту обосмейся. Но. Что-то посерьезнее. Допустим человек хочет прочитать любую свою книгу быстро. Он закачивает на сайт свою книгу (хотя конечно можно пойти в киностудию и дать сценарий - заплатить не одну тысячу долларов, подождать не один год - и может быть фильм по любимой книге снумут) - и программа разбирает текст (технологией искусственного интеллекта подобной итой к-рая есть в ПРОМТ и прочих переводчиках - part of speech tagging, и т д - есть много уровне анализа текста). Передает его на движок - и получается видео ролик, и звук. Вобщем что-то подобное сделали Киноязык, но там только два персонажа. Поэтому нужно сделать полноценную альтернативу. Точнее то, что я задумал ранее. Но чтобы все это заработало - нужен движок вроде ПРОМТ. Без него (технологии поиска в тексте существителных и глаголв, как минимум - ведь без глагола нет анимации, а это чуть ли не самое главное в книге. Ну еще важно, конечно, что говорят персонажи) - это будет просто еще один язык программирования (Киноязык), а это не совсем то что мне было нужно.
Такая вот идеалистическая идея. Бекмамбетов сказал, что пока эта идея станет приносить деньги наверное пройдет не один десяток лет... Я не знаю так ли это? Он сказал что только мечтатели из Сколково могли вложить в эту идею деньги. Я конечно рад, что идея все же реализовалась хоть как-то. Но этого недостаточно.
... Я уже написал достаточно много. Хочу узнать мнения людей форума - кто что думает о том что я написал? Хорошая илея или нет? Как можно на этом заработать? Я готов дать какой-то процент людям которые могут организовать продажу этой программы-технологии. Мне сказали посредники с инвесторами,что для меня могут сделать отдельню фирму, но нужно подумать как на этом заработать. Понятно что люди смотрят фильмы. Люди играют в игры. Они пользуются программами синтеза речи. Они пользуются переводчиками с одного языка на другой. И им было бы интересно еще иметь такую программу, которая бы их текст не просто переводила на другой язык - а переводила бы на аудио-визуальный ряд, не так ли? Кажется, что это значит обойти работу режиссеров, создателей фильмов? Но я не думаю, что это так. Это тоже интересно - пусть программа быстро воспроизведет текст как анимацию, пусть появятся персонажи из книги - начнут говорить, ходить, что-то делать что написано в книге. Разве это невозможно автоматизировать? Базелевс и Слоково сказали что они угадали, хотя это рисковое предприятие, но результат есть и заработало. Чудо произошло. Так может надо его и дальше развить? А если это чудо - то почему бы не заработать на этом деньги? Как вы думаете? Кто хочет помочь мне в этом (и самому заработать на этом) - пишите.
Голосование
1 (25%)
Автор
Тема: (Полу)автоматическое преобразования книг - в мультфильмы/анимацию (+речь) (Прочитано 5717 раз)