动态字段使用方式疑惑

[ITAndyoo]

我们在实际使用动态字段时，把一些数据中未预料到的属性放到了$meta 里，但再次检索时，我看文档动态字段如果需要检出，需要在 output_fields 中定义，但此时我可能不知道$meta 里有哪些字段，我该如何检出$meta 中所有数据，为什么 milvus 要这么设计，请解惑，谢谢！

[yhmo]

$meta其实只是一个特殊的JSON类型字段，$meta是它的特殊名字，那些额外的属性都被以json key-value形式填充进这个特殊字段。
你可以用这个特殊字段名作为output_fields，就会输出这个字段的内容。不过它会把json中的数据平铺地显示。比如某一行里，你输入"a" = 2, "b" = 0.3这两个额外数据，那么它query出来会显示为 {"id": x, "a": 2, "b": 0.3}，其中，"id"是该行的主键，是必须返回的，其他的则是$meta里的内容。

    res = client.query(collection_name=COLLECTION_NAME,
                       filter="",
                       limit=10,
                       output_fields=["$meta"])
    for r in res:
        print(r)

[ITAndyoo]

谢谢回复，我之前尝试了$meta 的写法，是可以拿到动态字段的数据的。但就像你说的，milvus 会把字段平铺，这就很奇怪，我期望 拿到的是$meta。

[xiaofan-luan]

我们在实际使用动态字段时，把一些数据中未预料到的属性放到了$meta 里，但再次检索时，我看文档动态字段如果需要检出，需要在 output_fields 中定义，但此时我可能不知道$meta 里有哪些字段，我该如何检出$meta 中所有数据，为什么 milvus 要这么设计，请解惑，谢谢！

你不需要关心milvus存到了哪里。正常只有两种模式，你知道你要哪些列，那就指定。如果不知道就输出*
不推荐上面这个拿$meta的方法，能work，但是比较hack

[ITAndyoo]

谢谢，但没有太理解你说的不推荐$meta 的写法，我期望获取的就是一整个$meta，也就是所有动态字段的数据，应该如何获取？还是说只能通过*获取到所有平铺数据，再去根据 schema 拆出来？

[xiaofan-luan]

output("*") 就可以获取所有列了。
不用显示指定$meta

[yhmo]

获取动态字段的数据还是用output("$meta")比较好，不掺杂其他字段数据。用output(*)掺杂了其他字段数据，而且也是平铺的，反倒有干扰。
用output("$meta")获取数据，去掉pk的值，其他key-value自己组成一个json，并没有什么困难。$meta是一个对用户隐藏的东西，本身不建议用户使用，但你要获取动态字段的数据，就只能这么拿，没有其他方法。

[yhmo]

import random

from pymilvus import (
    MilvusClient, DataType, 
)

client = MilvusClient(uri="http://localhost:19530")
print(client.get_server_version())

COLLECTION_NAME = "AAA"

dim = 32
def gen_embedding():
    return [random.random() for _ in range(dim)]


if __name__ == '__main__':
    client.drop_collection(collection_name=COLLECTION_NAME)
    schema = MilvusClient.create_schema(enable_dynamic_field=True)
    schema.add_field(field_name="pk", datatype=DataType.INT64, is_primary=True, auto_id=True)
    schema.add_field(field_name="vector", datatype=DataType.FLOAT_VECTOR, dim=dim)

    client.create_collection(collection_name=COLLECTION_NAME, schema=schema)

    index_params = client.prepare_index_params()
    index_params.add_index(
        field_name="vector",
        index_type="AUTOINDEX",
        metric_type="L2",
    )
    client.create_index(collection_name=COLLECTION_NAME, index_params=index_params)
    client.load_collection(collection_name=COLLECTION_NAME)

    data = [
        {f"key_{k}": k, f"aaa_{k}": k/4, "vector": gen_embedding()} for k in range(1000)
    ]
    client.insert(collection_name=COLLECTION_NAME, data=data)

    res = client.query(collection_name=COLLECTION_NAME,
                       filter="",
                       limit=10,
                       output_fields=["$meta"],
                       consistency_level="Strong")
    for r in res:
        del r["pk"]
        print("Dynamic data: ", r)

Output:

Dynamic data:  {'key_0': 0, 'aaa_0': 0.0}
Dynamic data:  {'key_1': 1, 'aaa_1': 0.25}
Dynamic data:  {'key_2': 2, 'aaa_2': 0.5}
Dynamic data:  {'key_3': 3, 'aaa_3': 0.75}
Dynamic data:  {'key_4': 4, 'aaa_4': 1.0}
Dynamic data:  {'key_5': 5, 'aaa_5': 1.25}
Dynamic data:  {'key_6': 6, 'aaa_6': 1.5}
Dynamic data:  {'key_7': 7, 'aaa_7': 1.75}
Dynamic data:  {'key_8': 8, 'aaa_8': 2.0}
Dynamic data:  {'key_9': 9, 'aaa_9': 2.25}