ByteDanceがリリースしたAIアシスタント「豆包手机助手（Doubao Phone Assistant）」の技術プレビュー版のデモです。

動画で語られている主な内容をまとめると:
1. AIがスマホ画面の内容をリアルタイムで認識（テキスト、画像、動画など多様なデータを扱う）し、ユーザーの指示に基づいてスマホを操作します。クリック、入力、スワイプなど。
- 画面上のテキストを読み取り、要約したり、関連アプリを自動起動。
- クロスアプリ操作: 例えば、ブラウザで検索した商品を自動でショッピングアプリに転送して購入手続き。
- 従来のAIアシスタント（例: SiriやGoogle Assistant）と違い、画面の「視覚情報」を深く理解して行動に移す点が強み。動画では、AIが「画面を見て、何をするか」を即座に判断する様子がスムーズに流れており、遅延がほとんどないのが印象的です。

2. 唤醒方法と記憶機能
- **内容**: 音声、サイドボタン（AI専用キー）、BluetoothイヤホンでAIを呼び出せます。また、「Memory」機能で過去の会話や画面データをローカル（端末内）に記憶し、必要な時に自動で引き出します。プライバシーを重視し、ユーザーがオン/オフ可能。
- **動画のデモ例**:
- 「私の車はどこに停めた？」と聞くと、過去に撮影した写真から位置を思い出して地図を表示。
- 「荷物受け取りコードは何？」→ 過去のSMSからコードを抽出。
- 「高速鉄道の座席番号は？」→ チケットアプリの履歴から即答。
- 好み記憶: 「凡ゴッホが好き」と一度言うと、次回の美術館予約で自動的に関連展覧会を優先。

3. **リアルタイムビデオ通話とインタラクション
- **内容**: AIとビデオ通話が可能で、カメラの映像をAIが理解（例: 絵本のページを認識）。双方向で会話・説明ができ、子供向け教育などに活用。
- **動画のデモ例**:
- 親子で絵本を読みながらAIに接続。AIが絵本の内容を英語/中国語でリアルタイム解説し、クイズを出したり、ストーリーを拡張。
- **解説**: 動画のこのパートは特に魅力的で、AIが「仮想の先生」になる様子を親しみやすく実演。教育やエンタメの新用途を示唆しており、ByteDanceのTikTok事業との親和性が高いです。

4. **クロスアプリ操作
- **内容**: AIがスマホの権限を得て、複数アプリを横断的に操作。面倒なルーチンタスクを一括自動化。
- **動画のデモ例**:
- 全ネット価格比較: 「全ネットでこの商品の最安値を探して」と言うと、Taobao、https://t.co/B4OlDKxWBk、Temuなどのアプリを順次開き、価格を比較して最安の支払い画面に留まる。
- **生活サービス**: Teslaアプリでトランクを開放、予約アプリでレストランを予約、ポッドキャストの更新をチェックしてプレイリスト追加。
- **オフィス自動化**: Feishu（ByteDanceの社内ツール）で休暇申請をし、自動でチケット予約を連動。

5. **多模態生成と編集
- **内容**: システムアプリ（例: 写真アプリ）にAI生成をネイティブ統合。テキスト/音声指示で画像生成・編集。
- **動画のデモ例**:
- 写真アプリで「道端の通行人を消して」と言うと、AIがクラウドモデルを使って自然に背景を修復・再描画。

6. **Proモード: 複雑タスク処理（Pro Mode for Complex Tasks）**
- **内容**: 高度モードで、GUI操作（クリック）とAPI呼び出しを組み合わせ、曖昧な長文指示を論理的に分解・実行。推論能力が強化。
- **動画のデモ例**:
- 「来月パリに行く。收藏のレストランを地図にマークして、好きな展覧会のある博物館のチケットを予約して」→ AIがタスクを分解: 記憶から「凡ゴッホ好き」を思い出し、ルーブル美術館ではなくオルセー美術館を選択、地図アプリでピン立て、予約サイトでチケット確保。 December 12, 2025