数据中台系统与服务超市的演示实践

2025-11-19 07:11

小明：老王，我最近在研究数据中台系统，听说它在企业里挺重要的。你觉得我们公司现在适合引入吗？

老王：是啊，数据中台确实是个好东西。尤其是在像服务超市这种业务复杂的场景里，它可以统一管理数据资源，提升效率。不过，得先明确你的目标是什么。

小明：那如果我要做一个演示，展示数据中台的功能呢？有什么需要注意的地方吗？

老王：演示的关键在于展示数据中台的核心能力，比如数据采集、清洗、治理、分析和可视化。你可以从服务超市的订单数据入手，做一次完整的流程演示。

小明：听起来不错。那我可以先写一个简单的数据采集脚本，把服务超市的订单数据抓取出来吗？

老王：当然可以。我们可以用Python来实现这个功能。下面是一个简单的例子，模拟从数据库或API获取订单数据。


# 模拟从服务超市订单系统获取数据
import requests

def fetch_orders():
    url = "https://api.service-supermarket.com/orders"
    response = requests.get(url)
    if response.status_code == 200:
        return response.json()
    else:
        return []

orders = fetch_orders()
print(orders)

小明：这个代码看起来没问题。接下来是不是需要对数据进行清洗？比如处理缺失值或者格式转换？

老王：没错。数据清洗是数据中台的重要一环。我们可以用Pandas来做数据处理。


import pandas as pd

def clean_data(data):
    df = pd.DataFrame(data)
    # 假设数据中有'amount'字段，但可能有空值
    df['amount'] = df['amount'].fillna(0)
    # 转换日期格式
    df['order_date'] = pd.to_datetime(df['order_date'])
    return df

cleaned_df = clean_data(orders)
print(cleaned_df.head())

小明：这样处理后，数据就更规范了。那接下来是不是要存储到数据中台的某个地方？比如Hive或者MySQL？

老王：是的。数据中台通常会使用数据仓库或大数据平台来存储数据。我们可以将清洗后的数据存入Hive表中。


from pyhive import hive

def save_to_hive(df):
    conn = hive.Connection(host='localhost', port=10000, username='hive')
    cursor = conn.cursor()
    cursor.execute("CREATE TABLE IF NOT EXISTS orders_cleaned (id INT, customer_id INT, amount FLOAT, order_date STRING)")
    for index, row in df.iterrows():
        cursor.execute(f"INSERT INTO TABLE orders_cleaned VALUES ({row['id']}, {row['customer_id']}, {row['amount']}, '{row['order_date']}')")

save_to_hive(cleaned_df)

小明：这个操作好像有点慢，有没有更高效的方式？比如使用Spark？

老王：没错，如果数据量大，建议使用Spark。下面是一个简单的Spark作业示例，用于将数据写入Hive。


from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("DataPipeline").enableHiveSupport().getOrCreate()

df_spark = spark.createDataFrame(cleaned_df)
df_spark.write.mode("append").saveAsTable("orders_cleaned")

小明：明白了。那接下来是不是要做数据分析？比如统计每日销售额？

老王：对，数据分析是数据中台的核心价值之一。我们可以用SQL查询每天的销售总额。


query = """
SELECT order_date, SUM(amount) AS total_sales
FROM orders_cleaned
GROUP BY order_date
ORDER BY order_date
"""

result = spark.sql(query)
result.show()

小明：结果出来了，但是怎么展示给客户看呢？有没有什么好的方式？

老王：这时候就可以用数据可视化工具了。比如ECharts或者Tableau。我们可以用Python生成图表，然后嵌入到演示页面中。


import matplotlib.pyplot as plt

plt.figure(figsize=(10,5))
plt.plot(result.select('order_date').rdd.flatMap(lambda x: x).collect(), 
         result.select('total_sales').rdd.flatMap(lambda x: x).collect())
plt.xlabel('Date')
plt.ylabel('Total Sales')
plt.title('Daily Sales Trend')
plt.xticks(rotation=45)
plt.tight_layout()
plt.savefig('daily_sales.png')

小明：这个图能直接放到演示页面上吗？有没有更专业的工具？

老王：如果你要制作一个交互式的演示页面，可以用D3.js或者ECharts。下面是一个简单的HTML + ECharts的例子。