Worldspace Wry

[MiniMinerX]

Does anyone know of any way we could start to include worldspace texture rendering and input mapping. I know this is a hard challenge but I am willing to work on it and would love to see websites rendered within bevy worldspace.

[not-elm]

Thank you for the suggestion! I also wanted this feature. I think there are two main approaches to rendering the WebView as a texture:

1. Parse the HTML yourself, essentially building your own browser engine—this is nearly impossible in practice.
2. Use a headless browser to render and send texture data to Bevy.

For approach 2, you’d leverage a headless browser’s API both for user input (keyboard, mouse, etc.) and for graphics.
For example, Ultralight provides a C++ SDK with a free tier that supports many features. To use it in Rust, you can either create bindings with a library like cpp or use an existing binding such as ul-next.

There is also a library called ultralight-sys with more stars, but it appears unmaintained, so it’s best to be cautious.

There are two ways to draw as texture: CPU binding and GPU binding.
The procedure is as follows: 1.

1. place the material.
2. create surfaces with ultralight
3. create a bitmap from the surface
4. create a bevy Image from the bitmap and rewrite the Image of the existing material.

2. create surfaces with ultralight

Please refer to Integrating With Games.

The surfaces created here should be components of the same entity as the material if they can be made thread-safe, and if not possible, it is recommended to create a HashMap called UltralightSurfaces and manage it as a NonSend resource.

struct UltralightSurfaces(bevy::platform::collections::HashMap<Entity, {SURFACE}>);

3. Create a bitmap from the surface

Please refer to Using a Custom Surface.

4. Create a bevy Image from the bitmap and rewrite the Image of the existing material.

As an image, it can be done by creating a system like the following and having it run myframe.

/// A marker component
#[derive(Component)]
struct UltraLightWebview;

fn draw_webview_bitmap(
    mut images: ResMut<Assets<Image>>,
    materials: Res<Assets<StandardMaterial>>,
    surfaces: NonSend<UltraLightSurfaces>,
    webviews: Query<(Entity, &MeshMaterial3d<StandardMaterial>), With<UltraLightWebview>>,
){
    for (webview_entity, handle) in webviews.iter() {
        if let Some(material) = materials.get(&handle.id())
        && let Some(surface) = surfaces.get_surface(webview_entity)
            && let Some(mut image) = images.get_mut(&material.base_color_texture)
        {
           *image = surface.bitmap().into();
        }
    }
}

Pre-translated text

英訳して 提案ありがとうございます！ 私もこの機能については欲しいと思っていました。 テクスチャとしてWebviewを表示させる方法は大きく分けて２つのアプローチがあると思います。 1. 自力でHTMLを解析する 2. ヘッドレスブラウザを使用してテクスチャ情報をBevyに送信する。

1.に関しては、言い換えれば自作のブラウザを実装する必要があります。これはほぼほぼ不可能だと断言していいでしょう。
2.に関しては、ヘッドレスブラウザのAPIを通じてキーボード入力などのユーザーイベントを処理やグラフィックを行います。

ヘッドレスブラウザの例としてはUltralightがあげられます。
これはC++のSDKを公開しており、無料範囲でもある程度の機能が使えるようなので有力な選択肢の１つだと思います。
Rustで使用するためには[cpp]https://docs.rs/cpp/latest/cpp/)のようなC++バインディングライブラリを使って自力でバインディングする方法や[ul-next](https://github.com/Amjad50/ul-next)のようにバインディング結果を提供しているライブラリを使う方法があります。
ちなみに他にもultralight-sysのようなライブラリがあり、そちらの方がスター数自体は多いですがおそらくメンテナンスされていないので注意してください。

テクスチャとして描画する方法はCPUバインディングとGPUバインディングの２つがあり、まずは簡単なCPUバインディングから実装することをお勧めします。
手順としては以下の通りです。

1. マテリアルを配置
2. ultralightでサーフェースを作成
3. サーフェースからビットマップを取得
4. ビットマップからbevyのImageを作成して既存のマテリアルのImageを書き換える。

2.ultralightでサーフェースを作成

Integrating With Gamesを参考にしてください。
ここで作成したサーフェースはスレッドセーフにできるならばマテリアルと同じエンティティのコンポーネントにし、無理ならば
UltralightSurfacesというHashMapを作成してNonSendResourceとして管理しておくことをお勧めします。　

struct UltralightSurfaces(bevy::platform::collections::HashMap<Entity, {SURFACE}>);

3.サーフェースからビットマップを取得

Using a Custom SurfaceにサーフェースからBitmapを取得する方法が記載されています。

4. ビットマップからbevyのImageを作成して既存のマテリアルのImageを書き換える。

イメージとしては以下のようなシステムを作ってマイフレーム実行させればできると思います。

[not-elm]

The app I'm creating will soon be ready for release, so I'll probably have some spare time.
Once I have time, I'm going to implement this feature - would that be alright?(I might give up partway, though.)
Or would you prefer to implement it yourself?

[not-elm]

@MiniMinerX
I’ve created bevy_cef—please feel free to use it. However, it currently supports macOS only.

[MiniMinerX]

This is amazing thanks!