본 포스팅은 테디님의 Git을 참고하여 작성되었습니다.
https://github.com/teddylee777/langserve_ollama/tree/main
Ollama 사용법은 이전 포스팅을 참고해주세요.
LangServe 사용법은 이전 포스팅을 참고해주세요.
0. Ngrok
로컬 개발 환경에서 인터넷을 통해 웹 애플리케이션에 접근할 수 있도록 도와주는 도구입니다.
Ngrok을 이용하여, localhost에서 사용중인 LangServe 프로젝트를 누구나 사용할 수 있도록 해보겠습니다.
1. Ngrok 설치
2. Ngrok 회원 가입 및 Authtoken 가져오기
Copy 버튼을 클릭하여 Authtoken을 복사한 후 ngrok.exe가 설치된 경로로 이동하여 아래와 같이 $YOUR_AUTHTOKEN에 붙여 넣기 후 실행합니다.
ngrok config add-authtoken $YOUR_AUTHTOKEN
3. Ngrok 도메인 발급
4. Ngrok 포워딩
발급받은 도메인을 $YOUR_AUTHTOKEN에 넣고 실행합니다.
ngrok.exe http --domain=$YOUR_DOMAIN 8000
실행 후 Forwarding을 보면 Ngrok에서 발급받은 도메인이 http://localhost:8000으로 포워딩 된 것을 확인할 수 있습니다.
이제 발급 받은 도메인 주소로 외부에서도 접속할 수 있습니다.
최초 접속 시 아래와 같은 화면이 나오면, Visit Site를 눌러주면 됩니다.
'AI > LLM' 카테고리의 다른 글
[LLM] LangServe (8) | 2024.10.06 |
---|---|
[LLM] Ollama (1) | 2024.10.05 |