授業紹介

大学院授業「マルチモーダル・コミュニケーション特論」の紹介

| | コメント (0)

この授業では、コミュニケーションの仕組みを明らかにする方法について学びます。コミュニケーションは言葉によるやりとりだけでなく、視線やジェスチャー・身体の向き・服装・化粧など様々なモダリティから発される情報を駆使して行われています。この授業ではそれらのマルチモーダルな情報を分析する道筋を示し、大学院生自身のアイデアに基づくコミュニケーションの規則を発見する練習をしています。

授業の概要は以下です。

1.言語分析

 1.隣接ペア(第1回)

 2.話者交替(第2回)

 3.修復(第3回)

2.非言語分析

 1.視線(第4回)

 2.ジェスチャ・ポスチャ(第5回)

3.マルチモーダル・コミュニケーション分析

 1.着眼ポイントの発見・分析(第6回)

 2.データセッション(第7回)

第1回から第5回までは分析に必要な基礎理論の講義と会話データを用いた概念要素の発露部分の発見能力を養う演習をしています。第6,7回では、基礎理論では説明できない現象を各自が発見して、それを事例分析します。

例えば、第1回は「隣接ペア」という事象を見ます。隣接ペアとは以下のようなものです。

1部分 X

2部分 Y

Xの例

Yの例

質問

返答

太郎はどこ?

学校よ

依頼

承諾/拒否

塩を取ってください

はい

申し出

受諾/拒否

コーヒーはいかが?

ええ、いただきます

誘い

受諾/拒否

映画に行かない?

いいよ

感謝

承認/拒絶

ありがとう

どういたしまして

評価

同意/不同意

楽しかったね

そうだね

非難

否認/是認

その態度が良くないのよ

そんなことないさ

挨拶

挨拶

こんにちわ

こんにちわ

AさんがBさんに質問(「太郎はどこ?」)をすると、Bさんはそれに返答(「学校よ」など)をしなければなりません。このようにABの発話が対になるような内容のペアのことを指します。

演習ではこういったペアを会話の書き起こしデータの中からすべて見つけてマークする、というようなことを練習します。

文責:榎本美香

先端メディア・ゼミナール「コミュニケーション・サイエンス」の紹介

| | コメント (0)

この授業の目的は「コミュニケーションの原理に関する新しい発見をし、対外発表をめざす.文献購読によって世界各国で開発発展しているコミュニケーションの最先端分析手法を学習する.」というものです。

どういう文献を読むか、どういう分析手法を学習するかはある程度受講生の希望に沿って決めます。

現在の受講生は2年後期の重田くん1名です。重田くんはセマンティック・ウェブに関心があり、ユーザーの関心を抽象的に捉え、検索範囲を広げるということに興味がありました。例えばGoogleで検索したときに、検索したい対象のイメージはあるんだけど、名称が分からないと言う時、なかなかヒットしなくて困ることが多々あります。例えば、以下の画像のようにホテルのフロントにおいてあるお洒落な容器を探していたとします。

Photo

でも名称がわからない。とりあえず「ウォーターサーバー」という単語で検索し見ると、以下のような水自体を購入するサイトが引っかかります。

Photo_2

実は、お洒落な方は「ウォーターディスペンサー」というのですが、この単語がわからなければ、見つけるのに苦労します。もっと「水を冷やしておき(温めておき)、欲しい人が自由に飲めるもの」といった物の目的に応じた検索ができないか、というのが重田くんのやりたいことです。

彼は2年生前期に先端メディア学を受講し、その中で自身でPerl言語を用いてデータベースを整備する、関連する用語が多い教科は互いに関連付けるタグを用意するということを学習してきました。それに続く先端メディア・ゼミナールでは、セマンティックウェブに関連する論文を読む傍ら、検索エンジンApache Solr を使った検索が可能なようにそのプログラミング方法を学んでいます。

文責:榎本美香

先輩による企業紹介

| | コメント (0)

文責:榎本美香

本日の3年生の創生課題という授業の一幕です。この授業では、卒業研究の着手に向けて自身の興味のある研究の文献を購読してパワーポイントで発表するということをしています。

うちの研究室は人同士のコミュニケーションのルールを解明するという分野です。

本日の発表は以下でした。

井原くんの研究紹介

田澤魁樹 ドームスクリーンゲームにおける指示出しの有効性 2016年度東京工科大学卒業論文 

ドームスクリーン式戦術チーム対戦ゲーム『機動戦士ガンダム戦場の絆』対戦中の会話を分析したもの。全国大会優勝チームの会話を録音・録画し、互いにどういった攻撃の指示を出し合っているかを調べている。その結果、優秀なチームでは以下の内容の発話が多くなることを明らかにした。

・敵の状況の説明

・今後の自分の動きのホウコク

・対象物への指示

・対象物の位置の指示

・味方の動きの指示

小林くんの研究紹介

高銘鴻 顧客の気まずさ:リレーションシップ・マーケティングのジレンマ 一橋大学大学院博士論文(2011年) 

顧客が接客サービスを受けた後、買わないと気まずいと感じるメカニズムを調べる。

リレーションシップ・マーケティング(顧客との良好な関係を長期的に維持していく)を高めるための研究である。

顧客の気まずさ、接客サービス・パフォーマンスの高さ、再来店意図の3つの関係と他者の面子と自己の面子への配慮具合や店員と顧客の親密性の影響をアンケート調査により調べている。

接客サービス・パフォーマンスが高いと再来店意図も引き起こすが、同時に気まずさも高めてしまい、結果的に再来店意図を低くさせる。面子をあまり気にせず、店員との親密性が高いと気まずさを緩和する。

佐藤くんの研究紹介

北垣郁夫(2004年) 笑いとおかしみの累計および教育との接点について 笑い学研究, 11巻, p.11-18

ベルグソン(1938) 認識・知覚論から笑いを論じる。道化師の武骨な振る舞いがおかしみを引き起こす。

笑いの要因の類型化を行っている。

  1. おかしみの笑い:対象の価値が低下し、落差の確立を認知したときに発生する。勝ち負け・主従・強弱など。
  2. 喜びの笑い:緊張から弛緩したときに生じる笑い。
  3. 情報補完の笑い:相手の質問に対する回答や何らかの言明で、言葉で表現しにくい部分や表現するまでもない部分を補う笑い。
  4. 極限の笑い:日常的な笑いが発生し得ない極限の状態のときに生じる笑い。
  5. 身体の笑い:くすぐり笑いが典型。相手の懲らしめてやろうといった意図が見えたとき。

いじめには優劣の関係がある。セクハラやアカハラにも同様の関係がある。笑いに変えられれば、関係が変わる可能性がある

鈴木さん

樫木暢子(2013) 表出性言語障害のあるADHD幼児に対する遊びによる言語コミュニケーション発達支援 愛媛大学教育学部紀要 60, p. 193-111

表出性言語障害のあるADHD幼児に需要的な環境をつくり発語を増やす、要求の伝達や行動をコントロールする能力を向上させることを目的とする。

対象児Aの大学のプレールームでの支援場面のビデオ分析をしている。

A児が発した言葉を繰り返したり、音声模倣を行わせたりする。17回にわたる支援機会のうち、第14回目より名詞・オノマトペ・述語の仕様が大幅に増え、有意味語の使用頻度も増加している。

竹場くん

小笠原 裕城 LINEのスタンプによる会話終了連鎖の解明 2015年東京工科大学卒業論文

LINEでのやりとりの収束部分でどのようなスタンプが使われているかを調べる。

E. Schegloff の会話連鎖の終了に関する先行研究:先終了句がLINEでもあるか。

スタンプの中に「分かった」「了解」などの先終了句が書かれたものが多く使われている。

突然終了(48%)、スタンプ(13%)、画像(2%)、評価的発言(14%)、先終了句(6%)、最終交換(3%)、笑い(15%)の比率で会話が終わる。

また、これから始まる就職活動に向けて、先輩の堀くん(現4年生)が自身の内定先の「株式会社アウトソーシングテクノロジー(https://www.ostechnology.co.jp/company/)」さんの紹介を行ってくれました。

トヨタなどの大手企業に対してエンジニアを派遣する会社だそうです。アウトソーシングさんは先日、私の居室へご挨拶に来てくださり、堀くんに期待してますとおっしゃってくださいました。

3年生にむけて、面接でどんなことを話せばよいのか、どうすれば面接に通りやすくなるのかといった具体的な話もしてくれました。堀くんも最初は面接が苦手だったのですが、本学のキャリアサポートセンターで練習をしてもらい、自分のアピールポイントをきちんと話すだけで随分変わるよといったアドバイスを受けたそうです。するとすぐに2社から内定をもらうことができました。

Img_1360

先端メディア学「感性表現による音声コミュニケーション」続き紹介

|

みなさん、こんにちは、

先端メディア学「感性表現による音声コミュニケーション」スタート
を掲載しましたが、その後の様子をお話ししましょう。
音声認識や音声検索には音響特徴の分析が必要です。今週で10回目の授業になりますが、今までに、いろいろな音響特徴の分析法を勉強してきました。
 
スペクトル
サウンドスペクトログラム
雑音性特徴時系列
スペクトル重心時系列
ケプストラム時系列
スペクトル変化特徴時系列
各種スペクトル類似度
ベクトル空間法による検索
Graphical User Interfaceの作成
簡単な音声対話システム
 
などです。「時系列」という言葉がだくさん出てきますね。音響特徴の時間変化を表します。音声や音楽は音の三要素つまり音の大きさ、高さ、音色が時間的に変化するものですから、どうしてもその時間変化をとらえる必要があります。ケプストラムというのは対数スペクトルの逆フーリエ変換で、音声認識によく用いられます。声の高さを求めることもできます。ベクトル空間法というのは検索によく用いられる方法で、検索要求と検索対象のベクトルの類似度で検索を行います。

以上の音響特徴を求める方法は、それぞれ、MATLABのプログラムとして作成していますから、ずいぶん蓄積ができました。10回でこれだけマスターするのは、結構なハードワークですが、学生はバイタリティで克服してきました。
これらの技術がマスターできれば、いろいろな音声検索システムや音声分析システムが作成できます。
 
今後は、これらの基礎的方法を活用して、オリジナルの研究を進めることになっています。どのような研究が生まれるか楽しみにしています。
 
相川 清明

スウェーデン,ウプサラ大学との”3rd UU - TUT Game Workshop 2017”の学生作品発表

|

メディア学部の三上です

近藤先生から全体の報告がありました,スウェーデンのウプサラ大学とのワークショップ.
私のほうでは,ゲーム教育カリキュラムについて紹介し,その後3年生と4年生に今年の東京ゲームショウのために開発したゲームや,福岡ゲームコンテストで受賞したゲームを,英語でプレゼンテーションしてもらいました.

 

2017uutut01_4

続きを読む " スウェーデン,ウプサラ大学との”3rd UU - TUT Game Workshop 2017”の学生作品発表"

授業紹介「コンテンツマーケティング論」

|

メディア社会コースの進藤です。
今回は、「コンテンツマーケティング論」の授業をご紹介します。
この授業では、ゲームやアニメ、マンガやライブなどさまざまなコンテンツにかかわるマーケティングについて学んでいます。
こうしたコンテンツを、多くのお客様に買っていただき、楽しんでいただくためにはどうしたらいいかというのがテーマです。
コンテンツは作っただけでは、お客様に届けることはできません。
広告を出したり、お店に並べたりする必要があります。
こうしたことは、クリエイターのかたというよりは、プロデューサーのかたのお仕事になります。
すこし裏方のような感じがするかもしれません。
しかし、すてきなコンテンツを広く知っていただくお仕事はとても意味のあるものです。
みなさんも、メディア学部で「コンテンツマーケティング論」を学んで、プロデューサーになってみませんか。
お待ちしています。

先端メディアゼミナールの成果を学会発表

|

皆さん、こんにちは。
メディア学部の寺澤です。

2017年11月4日(土)に東京理科大学葛飾キャンパスで開催された The 14th IEEE Transdisciplinary-Oriented Workshop for Emerging Researchers (TOWERS) で3年の荒木君がポスター発表をしました。TOWERSはIEEEという学会の学生組織が主催するポスター発表会で様々な分野の研究をしている学生が一堂に会して行われます。審査委員がポスターを見て発表者の話を聞いて回って審査を行い、最後に表彰を行います。

Img_1295_2

Img_1296

荒木君は本年度前期に「先端メディアゼミナールII」の寺澤担当の「IoTシステム実践」テーマを履修しました。今回の発表はその成果をポスター発表したものです。先端メディアゼミナールという科目についてはこちらの記事で紹介しています。

続きを読む "先端メディアゼミナールの成果を学会発表"

大学院科目「自然言語処理特論」

|

大学院第3クォーターで現在開講している自然言語処理特論について紹介します.

 

そもそも自然言語処理とは,私たち人間が日常で読み書きや話す際に使用する日本語や英語などの自然言語をコンピュータが処理することです.スマートフォンでメールを作成する際に当たり前のように使っている「かな漢字変換」やGoogleYahoo!などの検索エンジンによる「情報検索」,しゃべってコンシェルやSiriなどの「音声対話システム」,日本語から英語に翻訳する「機械翻訳」など,自然言語処理技術は様々な形で実社会に応用されています.

 

メディア学部には自然言語処理について扱う講義がないことから,本大学院講義では初学者でも基礎的な面から理解できるように,前半は自然言語処理の基本技術について扱います.後半は,テキスト処理を中心とした応用技術を取り上げるとともに,招待講演(AIによる文章自動生成)や研究紹介(コンピュータの言語理解)も予定しています.

 

現在の履修者は,メディアサイエンス専攻の大学院生以外にもコンピュータサイエンス専攻の大学院生や,大学院進学を予定しているメディア学部4年生もいます.全員,毎回の講義後に提出する課題や事前学習課題(自然言語処理に関連する論文を読んでまとめる)にも積極的に取り組んでいます.研究テーマが自然言語処理と関係のない履修者がほとんどですが,この講義が少しでも修士の研究あるいは卒業研究に役に立てばと思います.

 

 

 

文責:寺岡

大学院授業「メディア信号処理特論」紹介

|

みなさん、こんにちは、

メディア学部の4年間が終わると、大学院メディアサイエンス専攻があります。その授業の1つ「メディア信号処理特論」を紹介します。本年度の授業ではいかのシラバスで行いました。大学院の授業はクォータ制で8回で終了です。

第1回 概要
第2回 信号の観測
第3回 聴覚情報処理
第4回 音響分析
第5回 特徴抽出
第6回 音声情報処理
第7回 音によるインタラクション
第8回 観測と分析演習

この大学院の授業では、学部では、「これはこういうものだ」、として学んできたことを一段掘り下げて、「これはこういうものだ」の根拠や理由、分析の背後にある条件や原理を学びます。例えば、概要では、フィルタには「因果性」と呼ばれる条件が必要であるという話をします。フィルタには信号が入る前に出力が出てはならないという「因果性」という条件が必要なのですが、学部ではこのような説明なしに、フィルタの演算を説明していたことを、大学院では、一歩踏み込んで考えます。
1回目の「信号の観測」では、観測の前提条件となる、信号の「定常性」や「エルゴード性」について言及します。また、1回目の「因果性」をさらに具体的に取り扱うための「ヒルベルト変換」に触れます。
5回目の「特徴抽出」では、最近のAIで用いられているディープラーニングの基礎となっているDNN(ディープニューラルネット)の基本原理を学びます。

みなさんもメディアサイエンス専攻に来て、事の本質を勉強しませんか?

相川 清明

先端メディア学「感性表現による音声コミュニケーション」スタート

|

みなさん、こんにちは、

 
メディア学部には1年次からハイレベルの研究学習を行う「先端メディア学」という授業があります。各教員がそれぞれテーマを用意し、少人数で研究を含む授業を行います。授業は1年後期から始まります。
 
1年後期:先端メディア学I
2年前期」先端メディア学II
2年後期:先端メディアゼミナールI
3年前期:先端メディアゼミナールII
 
3年後期には卒業研究の準備段階である「創成課題」という授業があり、4年次の卒業研究にスムーズにつながっていきます。
東京工科大学には学部3年半、大学院修士1年半、計5年で大学院修士まで終了できる早期終了プログラムも用意されています。
 
さて、先端メディア学のテーマの1つが「感性表現による音声コミュニケーション」です。このテーマでは、次のような課題に取り組みます。
 
感性による音楽検索
擬態語・擬音語による音声検索
音による感情伝達
音声分析
音声対話
音声インタフェース
 
今週で5週目ですが、今まで学習を振り返ってみると、以下のような授業を行ってきました。1週間に2コマ行いますので、以下のように進度はかなり早いです。
 
1:研究紹介
2:関連文献調査
3:MATLABによる音生成のGUI(Graphical User Interface)プログラム作成
4:音声音響時系列処理法とサウンドスペクトログラム生成プログラム作成
5:音声音響特徴抽出と類似度計測法
 
履修のための選抜がありますから、今期、履修学生は1年次生2名で、大変熱心に勉学を進めています。できれば学会発表できるよう、今後研究に取り組んでいきます。
 
相川 清明

より以前の記事一覧