#include <server_core.h>
ServerCore מכיל שיטות מדינה עוזר המאפשרות בניית ModelServers התומכים ממשקים מרובים.
כל הפונקציונליות ServerCore אינו תלוי בשום APIs ספציפי תחום תלות בסביבה.
מבחינת המדינה, ServerCore מאותחל עם ושומרת סטטי ModelServerConfig, שממנה bootstraps AspiredVersionsManager ומבני נתונים עזרו לתמוך מנה יעילה.
הממשקים הבנויים מעל ServerCore , הטמעות שירות RPC למשל, יישארו חסרי ויבצע את כל חיפושי של servables (מודלים) באמצעות ServerCore .
~ServerCore () |
CustomModelConfigLoader | באמצעותstd::function< Status(const ::google::protobuf::Any &any, EventBus< ServableState > *event_bus, UniquePtrWithDeps< AspiredVersionsManager > *manager)> פונקציה שאחראית על יצירת מופע וחיבור של המקורות המותאמים אישית ומתאמי המקור הדרושים למנהל בהתבסס על תצורה שעברה (כל). |
PreLoadHook | באמצעותAspiredVersionsManager::PreLoadHook |
ServableStateMonitorCreator | באמצעותstd::function< Status(EventBus< ServableState > *event_bus, std::unique_ptr< ServableStateMonitor > *monitor)> |
ServerRequestLoggerUpdater | באמצעותstd::function< Status(const ModelServerConfig &, ServerRequestLogger *)> חתימת פונקציה המשמשת לעדכון server_request_logger. |
test_util::ServerCoreTestAccess | friend class |
GetServableHandle (const ModelSpec & model_spec, ServableHandle < T > *const handle) | Status מחזירה ServableHandle קיבל ModelSpec. |
ListAvailableServableIds () const override | virtual std::vector< ServableId > מקבל רשימה של כל המזהים הזמינים להגשה, כלומר |
Log (const google::protobuf::Message & request, const google::protobuf::Message & response, const LogMetadata & log_metadata) | virtual Status כותב את היומן עבור הבקשה המסוימת, התגובה והמטא נתונים, אם נחליט לדגום אותו ואם רישום בקשות הוגדר עבור הדגם המסוים. |
ReloadConfig (const ModelServerConfig & config) | virtual Status מעדכן את ליבת השרת עם כל הדגמים והמקורות לפי ModelServerConfig. |
predict_response_tensor_serialization_option () const | internal::PredictResponseTensorSerializationOption |
servable_state_monitor () const | virtual ServableStateMonitor * החזרות ServableStateMonitor כי ניתן להשתמש כדי לבצע שאילתה מדינות servable. |
Create ( Options options, std::unique_ptr< ServerCore > *core) | Status יוצר ServerCore למשל עם כל הדגמים ומקורות לפי ModelServerConfig. |
ServerCore ( Options options) |
tensorflow :: המשרתים :: ServerCore :: אפשרויות | אפשרויות עבור קינפוג ServerCore אובייקט. |
std::function< Status(const ::google::protobuf::Any &any, EventBus< ServableState > *event_bus, UniquePtrWithDeps< AspiredVersionsManager > *manager)> CustomModelConfigLoader
פונקציה שאחראית על יצירת מופע וחיבור של המקורות המותאמים אישית ומתאמי המקור הדרושים למנהל בהתבסס על תצורה שעברה (כל).
הדפוס הצפוי הוא שניתן להעביר את הבעלות על המקורות/מתאמי המקור שנוצרו למנהל.
AspiredVersionsManager::PreLoadHook PreLoadHook
std::function< Status(EventBus< ServableState > *event_bus, std::unique_ptr< ServableStateMonitor > *monitor)> ServableStateMonitorCreator
std::function< Status(const ModelServerConfig &, ServerRequestLogger *)> ServerRequestLoggerUpdater
חתימת פונקציה המשמשת לעדכון server_request_logger.
friend class test_util::ServerCoreTestAccess
Status GetServableHandle( const ModelSpec & model_spec, ServableHandle< T > *const handle )
מחזירה ServableHandle קיבל ModelSpec.
מחזיר שגיאה אם לא ניתן להגשה כזה זמין, למשל עדיין לא נטען, הופסק/פרק, וכו'. המתקשרים עשויים להניח שסטטוס אישור מציין נקודת אחיזה שאינה אפס.
חשוב: על המתקשר להחזיק בידית רק לזמן קצר, למשל למשך בקשה בודדת. החזקת ידית לאורך זמן תמנע טעינה ופריקה שניתן להגיש.
אם 'options_.allow_version_labels==true', מזהה שתי תוויות גרסת דגם ספציפיות "יציב" ו-"canary" ופותר אותן לגרסה הקטנה והגדולה ביותר הזמינה, בהתאמה.
virtual std::vector< ServableId > ListAvailableServableIds() const override
מקבל רשימה של כל המזהים הזמינים להגשה, כלומר
ניתן לאחזר כל אחד מאלה באמצעות GetServableHandle.
virtual Status Log( const google::protobuf::Message & request, const google::protobuf::Message & response, const LogMetadata & log_metadata )
כותב את היומן עבור הבקשה המסוימת, התגובה והמטא נתונים, אם נחליט לדגום אותו ואם רישום בקשות הוגדר עבור הדגם המסוים.
virtual Status ReloadConfig( const ModelServerConfig & config )
מעדכן את ליבת השרת עם כל הדגמים והמקורות לפי ModelServerConfig.
כמו יצירת () , ומחכה כל servables מוגדרת באופן סטטי על מנת להעמיד לרשות לפני החזרה, וחוזר שגיאה אם כל מודל כזה נכשל עומס. (לא בהכרח ממתין לדגמים שהוסרו מהתצורה כדי לסיים את הפריקה; זה עלול להתרחש באופן אסינכרוני.)
חשוב: זה חוקי רק לקרוא לשיטה זו יותר מפעם אחת אם משתמשים ב-ModelConfigList (לעומת תצורת מודל מותאם אישית).
internal::PredictResponseTensorSerializationOption predict_response_tensor_serialization_option() const
virtual ServableStateMonitor * servable_state_monitor() const
החזרות ServableStateMonitor כי ניתן להשתמש כדי לבצע שאילתה מדינות servable.
virtual ~ServerCore()=default
Status Create( Options options, std::unique_ptr< ServerCore > *core )
יוצר ServerCore למשל עם כל הדגמים ומקורות לפי ModelServerConfig.
עבור דגמים המוגדרים באופן סטטי עם ModelConfigList, ממתין עד שהם יהיו זמינים (או פגעו בשגיאה) להגשה לפני החזרה. מחזיר סטטוס שגיאה אם דגם כזה לא מצליח להיטען.
ServerCore( Options options )
אלא אם צוין אחרת, התוכן של דף זה הוא ברישיון Creative Commons Attribution 4.0 ודוגמאות הקוד הן ברישיון Apache 2.0. לפרטים, ניתן לעיין במדיניות האתר Google Developers. Java הוא סימן מסחרי רשום של חברת Oracle ו/או של השותפים העצמאיים שלה.
עדכון אחרון: 2020-08-12 (שעון UTC).