개요

1. 기능 기획

2. LLM API 호출을 위한 로컬 세팅

3. LLM API production 반영

기능 기획

기획적인 문제

기획적인 개선안

기술적인 문제

1. 현재 ISR 로 인한 외부 API 호출 수가 너무 많음.

2. dev 환경에서 개발 시, 잘못하면 무수히 많은 횟수의 API 를 호출하게 될 수 있음.

기술적인 개선안

LLM API 호출을 위한 로컬 세팅

Ollama 란?

ollama pull gemma3:1b

ollama serve

ollama -v

ollama run gemma3:1b

프로젝트 로컬 환경 세팅

1. 프로젝트를 vscode 에서 열면 로컬 LLM 서버 자동 실행

2. dev 모드 일 때는 로컬 LLM, production 모드 일 때는 OpenAI LLM API 를 사용

프로젝트 열면 바로 ollama serve 동작시키기

{
  "version": "2.0.0",
  "tasks": [
    {
      "label": "Ollama Serve",
      "type": "shell",
      "command": "pgrep -x ollama >/dev/null || ollama serve",
      "presentation": {
        "reveal": "always",
        "panel": "dedicated"
      },
      "runOptions": { "runOn": "folderOpen" }
    }
  ]
}

LLM 모델 선택

프로젝트에서 로컬 LLM API 활용하기

import OpenAI from "openai";
import { modelConfig } from "../config";

const client = new OpenAI({ apiKey: process.env.OPENAI_API_KEY });

// 블로그 포스트 길이 제한
function safeSlice(text: string, tokenLikeLimit = 8000) {
  const words = text.split(/\s+/);
  return words.slice(0, tokenLikeLimit).join(" ");
}

// 모델 정보 리턴 함수
// role 은 openai API 사용 시 타입 에러가 남
// 원인은 openai client 에서 제공하는 role 타입이 user | system 등 특정 문자열 유니온으로 되어있기 때문
const getModelInfo = (title: string, content: string) => {
  const system = {
    role: "system" as const,
    content:
      "블로그 글이 어떤 내용을 담고 있는지 2문장 이내로 간단히 알려주는 역할. 과장/추측 금지. 부가설명 금지. 마크다운 표현 금지. 정중한 표현 사용.",
  };

  const user = {
    role: "user" as const,
    content: [`제목: ${title}`, "본문:", content].join("\n"),
  };

  return { system, user };
};

async function _getAISummary(postTitle: string, plainText: string) {
  const content = safeSlice(plainText, 8000);

  const { system, user } = getModelInfo(postTitle, content);

  const res = await client.chat.completions.create({
    model: "gpt-4o-mini",
    temperature: 0.2,
    messages: [system, user],
  });

  return res.choices[0]?.message?.content?.trim() ?? "";
}

async function _getAISummaryLocal(postTitle: string, plain_text: string) {
  const content = safeSlice(plain_text, 8000);

  const { system, user } = getModelInfo(postTitle, content);

  const response = await fetch(`${process.env.LOCAL_AI_ENDPOINT}/api/chat`, {
    method: "POST",
    headers: {
      "Content-Type": "application/json",
    },
    body: JSON.stringify({
      messages: [system, user],
      stream: false,
      ...modelConfig.local,
    }),
  });

  if (!response.ok) {
    throw new Error("Failed to fetch summary from local AI");
  }

  const data = await response.json();

  return data.message?.content;
}

export const getAISummary =
  process.env.NODE_ENV === "development" ? _getAISummaryLocal : _getAISummary;

LLM API production 반영

1. 매번 API 를 호출하면 메인 화면에 접속 시 글 1개당 8000 토큰 정도 되는 API 요청을 모든 글에 하게됨

2. LLM 은 같은 요청을 하더라도 거의 다른 응답을 하기 때문에, 매번 사용자들은 통일되지 않은 요약본을 보게됨

import { revalidatePath, revalidateTag } from "next/cache";
import { type NextRequest, NextResponse } from "next/server";
import {
  getNotionPostContentForSummary,
  patchNotionPostSummary,
} from "@/entities/notion/model";
import { getAISummary } from "@/entities/openai/model";

export async function PATCH(
  _: NextRequest,
  { params }: { params: { postId: string } },
) {
  const { postId } = params;

  try {
    // 1. 포스트 내용 가져오기
    const { title, content, isSummarized } =
      await getNotionPostContentForSummary(postId);

    if (isSummarized) {
      throw new Error("이미 요약이 생성된 포스트입니다.");
    }

    // 2. AI 요약 생성
    const newSummary = await getAISummary(title, content);

    // 3. Notion 업데이트
    await patchNotionPostSummary(postId, newSummary);

    // 4. 캐시 무효화 (API Route에서 직접 호출)
    revalidateTag("posts");
    revalidatePath("/posts");
    revalidatePath("/");

    const result = {
      success: true,
      summary: newSummary,
      message: "AI 요약이 성공적으로 생성되었습니다.",
    };

    return new NextResponse(JSON.stringify(result), {
      status: 200,
      headers: {
        "Content-Type": "application/json",
      },
    });
  } catch (error) {
    console.error(`❌ [API Route] AI 요약 업데이트 실패 (${postId}):`, error);

    let errorMessage = "AI 요약 생성에 실패했습니다.";

    if (error instanceof Error) {
      if (error.message.includes("unauthorized")) {
        errorMessage = "Notion API 권한이 부족합니다.";
      } else if (error.message.includes("not found")) {
        errorMessage = "포스트를 찾을 수 없습니다.";
      } else if (error.message.includes("rate limit")) {
        errorMessage = "요청 제한에 걸렸습니다. 잠시 후 다시 시도해주세요.";
      } else {
        errorMessage = error.message;
      }
    }

    return new NextResponse(
      JSON.stringify({
        success: false,
        error: errorMessage,
      }),
      { status: 500 },
    );
  }
}

정리

1. Ollama 를 통해 클라이언트에서 LLM 에게 요청하는 것은 다른 상용 LLM 서비스들과 방식이 유사하다.

2. 그래서 Ollama 를 통해 로컬 LLM API 테스트를 할 수 있다.

3. VSCode Tasks 기능을 통해 로컬 LLM API 서버를 자동으로 활성화 할 수 있다.(커서도 가능)

4. 타입스크립트: 리터럴 문자열 쪽에서 타입 에러가 날 시, 리터럴 문자열 유니온 타입 쪽 문제가 아닐지 의심해볼만 하다.